数据架构——非重复型分析

大数据分为重复型数据和非重复型数据，重复型数据的处理相对容易，而非重复型环境中的每一个数据单元都需要单独进行解释，因此处理相对复杂。 大数据环境中的非重复型数据的例子包括： 电子邮件数据 呼叫中心数据 企业合同 质保索赔 保险索赔 当有文本进入大数据环境时，大数据中存储的数据单元是非重复型的。采用搜索技术是处理非重复型数据的方式之一。搜索技术可以用于完成扫描数据的任务，而搜索技术存在的缺陷在于一方

>>阅读原文<<