大数据开发有哪些难点？

今天我们聊聊大数据开发，大数据开发共有四个阶段：数据采集，数据汇聚，数据转换和映射，数据应用 。那么每一个阶段，他们的难点有都是什么呢? 数据采集 数据采集有线上和线下两种方式，线上一般通过爬虫、通过抓取，或者通过已有应用系统的采集，在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫（使用python或者nodejs制作爬虫软件），ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页

>>阅读原文<<