大数据模块开发----数据预处理

1． 主要目的 过滤“不合规”数据，清洗无意义的数据 格式转换和规整 根据后续的统计需求，过滤分离出各种不同主题(不同栏目path)的基础数据。 2． 实现方式 开发一个mr程序WeblogPreProcess(内容太长，见工程代码) [AppleScript] 纯文本查看 复制代码 ? 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 1

>>阅读原文<<