更新关于IDEA上配置环境能够参看(https://blog.csdn.net/a532672728/article/details/79455024)这篇博客shell
---------------------------------------------------分割线---------------------------------------------vim
最近由于项目须要在Xshell上操做(SPARK在IDEA上太难配置了,最终暂时先放弃了),因此整理下服务器上修改运行scala时一些可能用到的的命令。服务器
一,先进入目标目录:网站
很基础,简单一说,相对路径cd usr/local/bin,绝对路径cd /usr/local/bin,返回上一级cd .. 返回根目录cd /spa
二,创建一个本身的文件夹方便管理:.net
mkdir fengqiaoxue;scala
三,操做代码前最好复制备份下:3d
cp -r limingdao/DistanceEstimation fengqiaoxue/test1 其中-r是递归参数,即将文件夹下文件也一并复制,删除(rm),移动(mv)时也同理blog
四,使用VI/VIM修改代码:递归
vi src/main/scala/MakeGraph.scala,进入VI以后按I进入插入状态,能够经过上下左右移动光标,或空格、退格及回车等进行编辑内容,编辑好后按Esc退出插入状态,以后若是保存退出就输:wq或shift+zz快捷键,不保存退出直接输:q
五,编译scala代码:
SBT安装参见网站(https://blog.csdn.net/a532672728/article/details/72477591)
配好后编译首先须要确保包结构符合要求,以后运行/usr/local/sbt/sbt package命令便可,尝试了下应该是没问题了。
/usr/local/sbt/bin/sbt package
六,提交运行:
进入到target中刚生成jar包的文件目录里,spark-submit下就能够了
spark-submit --class test4 --master spark://master:7077 simple-project_2.11-1.0.jar
-------------------------------------------------------------------------------------------
补充关于HDFS上文件查看,上传文件等操做
查看HDFS内容:hdfs dfs -ls / (最后是hdfs的目录)
上传HDFS文件:hdfs dfs -put /home/hdfs/files/test.txt /input (前面为服务器中文件路径,后面为HDFS中文件路径)
显示文件中的内容:hdfs dfs -cat /small2.txt
也能够切换到相应目录使用vim打开查看