多来源数据采集、处理的数据流程

数据平台数据处理流程图 数据准备： 主要分为几个来源：FTP数据来源，合作方推送的数据，从携程对外开放的API接口获取数据，酒店管理系统日志数据以及在线旅行社网站的数据源。 数据接入： 针对数据多来源的特性开发针对特定场景的数据接入方式。 a.FTP来源的数据：采用shel脚本开发，包括检查数据是否准备就绪、开始下载、解密解包、lzop压缩、put方式上传文件到HDFS b.合作方推送的数据：搭建

>>阅读原文<<