Linux本地数据上传到阿里云OSS

这篇文章主要是介绍如何将服务器本地的数据上传到阿里云OSS的指定bucket中，最重要的参考文档是数据迁移单机部署。我第一次上传数据到OSS上时，步骤要比前面的连接中介绍的要麻烦，ossimport工具仍是v2.1，如今已经更新到了v2.2，并且阿里云的工程师将不少步骤封装了起来，所以流程简化了很多，你们能够直接参考前面的文档。我这份主要是针对linux服务器单机模式数据上传的，Windows的请直接移步前方连接。

1. 环境配置和工具下载

第一步，要确保Linux本地已经有了Java 1.7及以上的运行环境。查看本机java版本，使用命令 java -version 便可。若是没有，请去网上搜相应的安装教程，有不少，这个不难；

第二步，请从ossimport-2.2.1.zip此连接处下载ossimport工具，使用wget命令便可。

下载到本地后，新建一个my_oss_work文件夹，再利用下述命令

unzip -o ossimport-2.2.1.zip -d my_oss_work

将压缩文件解压到my_oss_work文件夹，完毕。

2. ossimport的相关配置

这一步主要是配置local_job.cfg和sys.properties这两个文件，它们都在上一步解压的my_oss_work/conf文件夹下。

第一步，修改local_job.cfg文件：首先，必定不要修改local_job.cfg的名称和位置，保持不动便可。而后利用vim打开该文件，更改以下设置

srcType=local     //由于是本地上传，因此此处设置为local

srcPrefix=/home/my_name/my_data    //这里是你本地须要上传的文件夹

destAccessKey=LTAI******bLeL     //这个是你阿里云帐户的access key，须要你去你的阿里云帐户上去找

destSecretKey=A3Ludf*********qbvEUz08DR  //这个是你阿里云帐户的secret key，也须要你去你本身的帐户上去查找。access key 和secret key都是用来对你的身份进行验证的，至关于你传数据到阿里云上时的钥匙，这个钥匙能惟一肯定你的OSS

destDomain=http://oss-cn-beijing.aliyuncs.com  //这一步很重要，这是你的endpoint，是由你的实际OSS区域肯定的。若是你购买了阿里云ECS服务，且是将你ECS主机上的数据上传到OSS，那么这里设置http://oss-cn-beijing-internal.aliyuncs.com；若是你不只购买了ECS，还设置有VPC专有网络，那么此处设置http://vpc100-oss-cn-beijing.aliyuncs.com；若是你是将本身的服务器（并非阿里云的ECS主机）好比你学院里的机房上的数据上传到OSS，那么这里设置http://oss-cn-beijing.aliyuncs.com。这些信息均可以在你的OSS帐户里面查到。endpoint中的beijing说明我购买的是OSS区域在华北，若是你的在杭州，那么就改成hangzhou。这些都是能够在你的帐户里查到的。

destBucket=my_bucket  //这是你的OSS的bucket名，你要把数据传到这个bucket上，注意，不要在bucket名字后面加斜线/

destPrefix=my_oss_data  //这是你的目标文件夹，你要讲数据传到上面指定的my_bucket的my_oss_data文件夹下，注意此处文件夹开头不要加斜线/

jobName=local_test  //这是你的任务名称，注意，此处不须要修改，保持不变便可！！ossimport v2.2单机模式要求这个名称不能更改！！

除了上面几个须要设置和注意之外，其它的都不须要动！保持不变便可！

第二步，修改sys.properties文件：

workerMaxThroughput(KB/s)=0  //这是设置你的上传速度上限，设置为0表示不限制。

注意，sys.properties中的配置项workingDir、workerUserName、workerPassword、privateKeyFile请不要修改！！保持不变便可！！

到此，ossimport的配置到此结束。

3. 运行ossimport和上传数据

使用下述命令

cd my_oss_work

切换到刚才解压的文件夹下，即与import.sh这个文件保持同级，你当前目录下存在着一个叫作import.sh的文件。这个文件将数据上传的操做封装在了一块儿，你无须管它里面写了什么，只要你前面local_job.cfg和sys_properties这两个文件正确设置了，那么运行命令

bash import.sh

ossimport工具就会依据你以前的设定，将你本地/home/my_name/my_data文件夹下的全部数据上传到你阿里云OSS的my_bucket的my_oss_data文件夹下。整个过程持续的时间，取决于你文件的大小和数量。

上传完毕以后，你就能够去你的OSS上去查看了。

4. 查看上传数据的状态

若是数据量很大，上传须要花费不少时间，咱们就能够选择暂时断开链接。断开后，ossimport仍会继续上传数据。当咱们再次登录时，想看一下数据上传的进度，这时就能够切换到my_oss_work文件夹下（也即ossimport的工做目录下），执行下述命令

bash console.sh stat

若是数据仍在上传，则会显示出当前的工做状态和正在运行的任务；若是已经上传结束了，就会显示 JobState:Succeed

5. 其余状况

上述是一键上传，其实也能够逐步上传，这个数据迁移单机部署这个连接处也有介绍，可是要麻烦不少，不建议新手去尝试，直接采用上述一键上传的步骤便可。是否上传成功，取决于你在上面的每一步配置是否正确！

做者：余含军 连接：https://www.jianshu.com/p/ab75de4cb1a6 來源：简书 简书著做权归做者全部，任何形式的转载都请联系做者得到受权并注明出处。