搭乘阿里云Data Lake Analytics快车,探索区块链大数据世界

笔者创业做推广方向的大数据业务,之前一个很大的问题就是离线数据、冷备数据的处理问题。 像我们每天要抓取几亿条苹果应用市场的搜索结果数据,出于成本考虑,一般线上DB就存1个月的数据,历史数据一般都备份在阿里云存储OSS上,需要用的时候再导入到DB或者Hadoop集群上。还有如用户点击日志数据,如果不是财大气粗,一般也都是采用了类似的模式。这种方法很大的问题就是流程麻烦,需要大量的ETL导入导出工作。
相关文章
相关标签/搜索