【文智背后的奥秘】系列篇——海量数据抓取

大数据已经是个非常热门的话题，文智平台正是基于大数据的背景，利用并行计算系统和分布式爬虫系统，结合独特的语义分析技术, 一站式满足用户NLP、转码、抽取、全网数据抓取等中文语义分析需求的开放平台。现有的研究、工程应用方向基本上都是围绕着大数据的存储、计算等方面展开，但是对于一个基础环节——数据获取却很少有相关的介绍。本文重点围绕如何获取垂直海量数据展开讨论。 一.引言 数据的作用不言而喻，在各行各

>>阅读原文<<