百万数据解析-python-oss-python（2-历史数据）

上传oss工具安装 阿里文档： 实际运行，如下图： 服务器历史文件：3000多个  100多G 经过解析后的txt文件： 调用命令上传文件： oss结果： 新建odps外表及设立分区： 使用数据： 小插曲： 建表时最好用String，因为可能存在脏数据，odps在转换成 bigint 或者 decimal的时候可能会报错。 最后最后，shell脚本开启并行 python程序飞起来：

>>阅读原文<<