建站
咨询
售后
建站咨询
这篇文章将为大家详细讲解有关如何分析spark-submit工具参数，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。
创新互联建站网络公司拥有10多年的成都网站开发建设经验，上1000+客户的共同信赖。提供网站制作、成都网站建设、网站开发、网站定制、卖友情链接、建网站、网站搭建、响应式网站、网页设计师打造企业风格，提供周到的售前咨询和贴心的售后服务
执行时需要传入的参数说明
Usage: spark-submit [options]
参数名称 | 含义 |
--master MASTER_URL | 可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local |
--deploy-mode DEPLOY_MODE | Driver程序运行的地方，client或者cluster |
--class CLASS_NAME | 主类名称，含包名 |
--name NAME | Application名称 |
--jars JARS | Driver依赖的第三方jar包 |
--py-files PY_FILES | 用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表 |
--files FILES | 用逗号隔开的要放置在每个executor工作目录的文件列表 |
--properties-file FILE | 设置应用程序属性的文件路径，默认是conf/spark-defaults.conf |
--driver-memory MEM | Driver程序使用内存大小 |
--driver-java-options | |
--driver-library-path | Driver程序的库路径 |
--driver-class-path | Driver程序的类路径 |
--executor-memory MEM | executor内存大小，默认1G |
--driver-cores NUM | Driver程序的使用CPU个数，仅限于Spark Alone模式 |
--supervise | 失败后是否重启Driver，仅限于Spark Alone模式 |
--total-executor-cores NUM | executor使用的总核数，仅限于Spark Alone、Spark on Mesos模式 |
--executor-cores NUM | 每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式 |
--queue QUEUE_NAME | 提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式 |
--num-executors NUM | 启动的executor数量，默认是2个，仅限于Spark on Yarn模式 |
--archives ARCHIVES | 仅限于Spark on Yarn模式 |
关于如何分析spark-submit工具参数就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
分享文章：如何分析spark-submit工具参数
本文网址：http://lswzjz.com/article/pcsdep.html
