重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
本篇内容主要讲解“spark的配置方法分享”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“spark的配置方法分享”吧!
创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都网站设计、网站制作、五莲网络推广、小程序制作、五莲网络营销、五莲企业策划、五莲品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供五莲建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com
1. spark 可以在3处配置系统:spark properties控制大多数应用程序的参数,通过SparkConf对象或者Java系统property设置;环境变量在每一台机器上可以通过conf/spark-env.sh单独设置;Logging可以通过log4j.properties设置
2. SparkConf单独为每个应用程序设置,可以设置masterURL,应用程序名,以及任意的键值对,通过相应的set方法。spark-shell和spark-submit支持两种动态加载配置的方式,第一是通过命令行参数,第二是通过--conf标志。./bin/spark-submit --help可以查看命令参数。bin/spark-submit也将从conf/spark-defaults.conf文件中加载配置信息,文件中包含以空格分隔的键值对。配置的优先级从高到低依次是SparkConf > 传递到spark-shell或spark-submit的参数 > spark-defaults.conf文件。
3. 常用的应用程序配置参数
spark.executor.memory
到此,相信大家对“spark的配置方法分享”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!