大数据开发的五个步骤

大数据的开发过程,如图1-1所示。 图 1-1大数据开发通用步骤图 上图只是一个简化后的步骤和流程,实际开发中,有的步骤可能不需要,有的还需要增加步骤,有的流程可能更复杂,因具体情况而定。 下面以Google搜索引擎为例,来说明以上步骤。 1. 大数据采集 Google的数据来源于互联网上的网页,它们由Google Spider(蜘蛛、爬虫、机器人)来抓取,抓取的原理也很简单,就是模拟我们人的行为
相关文章
相关标签/搜索