关于多源统一数据接入的思考

统一数据接入 数据接入就是对于不一样的数据来源、不一样的合做伙伴，完成数据采集、数据传输、数据处理、数据缓存到行业统一的数据平台的过程。 java 大数据接入处理面临的问题 数据接入的三个阶段 前期 非结构化数据----（word，excel，图片，pdf，扫描件，视频） 1.文本文件----(txt，csv)----utf-8 （踩过的坑-gbk编码和数据中换行符触发spark2.2 加载文件的

>>阅读原文<<