集群提交spark任务命令
>>spark-submit --class WordCount DataMining.jar /dept_ana/part-00000 /dept_ana/output/wordCountResult --master yarn --num-executors 30 --executor-memory 4g --executor-cores 2 --name test_wordcount微信
--name 任务名称大数据
/dept_ana/part-00000 程序读取的文件路径
spa
/dept_ana/output/wordCountResult 输出的文件路径
it
更多精彩内容，欢迎扫码关注如下微信公众号：大数据技术宅。大数据、AI从关注开始
相关文章
- 1. Spark集群任务提交
- 2. Spark-submit提交任务到集群
- 3. spark集群提交任务过程
- 4. spark提交任务到集群
- 5. spark-submit提交任务到集群
- 6. Docker中提交任务到Spark集群
- 7. spark任务提交
- 8. 远程提交Spark任务到yarn集群
- 9. Java Web提交任务到Spark Standalone集群并监控
- 10. 在kerberos化hadoop集群提交spark任务
- 更多相关文章...
- • Swarm 集群管理 - Docker教程
- • SVN 提交操作 - SVN 教程
- • Docker 清理命令
- • Spring Cloud 微服务实战(三) - 服务注册与发现
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 安装cuda+cuDNN
- 2. GitHub的使用说明
- 3. phpDocumentor使用教程【安装PHPDocumentor】
- 4. yarn run build报错Component is not found in path “npm/taro-ui/dist/weapp/components/rate/index“
- 5. 精讲Haproxy搭建Web集群
- 6. 安全测试基础之MySQL
- 7. C/C++编程笔记：C语言中的复杂声明分析，用实例带你完全读懂
- 8. Python3教程(1)----搭建Python环境
- 9. 李宏毅机器学习课程笔记2：Classification、Logistic Regression、Brief Introduction of Deep Learning
- 10. 阿里云ECS配置速记
欢迎关注本站公众号,获取更多信息
