最近申请使用EC2免费服务器,将EC2使用时的一些心得记录下。java
一、首先须要注册一个帐户,此帐户免费,可是申请帐户的时候须要绑定信用卡,在绑定后申请EC2云服务器的时候,aws为了测试帐户可用性,象征性的扣去信用卡1美圆,下个月自动返回到你本身的帐户。web
申请地址:https://aws.amazon.com/cn/free/?sc_channel=PS&sc_campaign=acquisition_CN&sc_publisher=baidu&sc_category=pc&sc_medium=cloud_computing_b&sc_content=aws_cloud_e&sc_detail=aws%20%E5%85%8D%E8%B4%B9%E4%B8%80%E5%B9%B4&sc_segment=100015479&sc_matchtype=phrase&sc_country=CN&s_kwcid=AL!4422!88!14697818373!!22918598251&ef_id=W3F0BQAAAR0Y3w-R:20180819082825:sshell
二、注册后选择免费的EC2,而后添加实例。ubuntu
最后添加成功后以下:vim
1.1:在建立实例的时候会生成一个秘钥,会提示离下载,下载后在xshell 登陆的时候选择public keys而不是passwd。而后将下载的秘钥导入进xshell就能够直接登陆,不须要密码。用户名:你在选择实例的时候选择的是ubuntu就是ubuntu(小写),centos就是centos。其余的没试过。centos
1.2:以上的方法比较麻烦的是你在另一台电脑登陆时候须要把秘钥复制到电脑。如下这种方法能够直接IP/用户名/密码登陆。安全
首先仍是须要第一次秘钥登陆,登陆后进root用户,而后修改配置文件:bash
[root@EC2 ~]# vim /etc/ssh/sshd_config
修改如下:服务器
而后从新登陆使用IP/用户名/密码就能够了ssh
xshell登陆上去之后首先修改root和centos/ubuntu密码。
1 sudo passwd root 2 3 sudo passwd centos 或者 sudo passwd ubuntu
在启动实例过程当中,要求你选安全组,此时若是是本身测试用最好端口全放开,这样在后面部署web服务时候省得麻烦。
centos默认是没有安装的,因此直接在EC2 wget下载后解压,最好安装在root用户下,这样全部的用户均可以用,wget 如下这个连接,scala同理,有个坑就是Ubuntu好像会自带安装包,可是那个jdk版本有点不合适,因此建议下载时候看好是1.8版本的。
4.一、下载
4.二、安装位置:
4.3配置环境变量:
vim /etc/profile
最后spark这个环境变量配置最好将启动命令目录配置进去,这样启动中止集群的时候方便,以上:$SPARK_HOME/sbin即是。
4.四、关于配置文件/etc/profile和 .bashrc区别
/etc/profile :是root用户下配置环境变量,此处配置后全部用户都有效
.bashrc :则是单个用户的配置文件,只是对当前用户有效。
这两个文件是cp 出来,而后修改的。spark-env.sh只要增长如下即可:
系统环境变量参照上一步/etc/profile配置就ok。这样单机版的spark就能够了。
在这个上面踩过好多坑,其实只要IP+端口,就能够了。
就是你的:公网IP+8080,单机版就是这样就ok。没有什么7077一堆的配置。
而后sparkshell是:IP+4040
以上的前提保证是你的安全组像上面讲的,选择了全部流量,全部IP。
转:https://blog.csdn.net/caizi001/article/details/38659189
先写到这。。。后续想起来更新。