对于数据，科技小白提出了灵魂三问：从哪儿来？到哪儿去？能干什么？

做为科技圈小白，常常被数据搞得头晕脑胀，数据打哪儿来？到哪儿去？能干什么？那么多数据怎么区分谁有用谁没用？其实数据就在咱们身边，每一个人都是数据的生产者，从人类文明诞生的那一刻起，数据就伴随咱们而生。今天这篇文章，小编就带你查一查数据采集技术的水表。

1、数据从哪儿来

数据是经过采集的方式得到的，可是采集过程并不简单。好比，数据粮食有的是粗粮有的是细粮，可以拿到细粮的几率过低了。为了筛选出真实有效的数据，你们一般的作法就是把粗粮先搞回来再加工，这种状况就致使花大力气搞回来的粮食筛到最后能吃的不到10%。

并且，不是全部的数据都是现成的，有些状况下须要自给自足去种地，从撒子秧苗开始培育本身的数据，至于哪一个环节出问题致使数据收成很差那都是靠天吃饭的随机性了。

就算是本身动手丰衣足食也存在秧苗生长不统一的问题，数据有很大的主观性，常常按照本身的想法长，你们都不同，那口感就不一致了，我们觉得这是一碗大米饭，可能最后出来的是杂豆饭。

2、数据到哪儿去

数据中隐藏着系统或设备运行的规律，也含有突发的状态变动信息，更是潜藏着异常或灾难发生前细微的蛛丝马迹。所以，它的用途很是普遍，传统行业中能够收集生产设备的运行状态数据实现系统的监控和运维工做，信息产业中各类各样的数据是支撑整个产业发展的基石，在将来，人工智能技术大规模应用到各行各业中，更是离不开丰富的数据支撑。

咱们既然拿粮食比喻数据，那么数据对于人工智能来讲就是吃到肚子里去。数据采集难度系数不低，咱们怎么更简便地获得数据，更快地解决人工智能的温饱问题呢？聪明的人类又开始思考如何为本身快速搞到数据。

首先，咱们能够本身搞一个高定制化的统一收割系统，用统一的机器作数据粮食收割效率很是高，但这也致使了最终的数据粮食虽然统一，彻底没有惊喜，毕竟收割机高度就是这么高，这一茬被收割，一些良莠不齐的数据却侥幸继续野蛮生长没法收割。从下面的曲线能够看出：高度定制化能够带来极简的使用体验，但也牺牲了灵活性。

极简和灵活性如何取舍，仍是要落地在场景中。按照2-8原则，80%的数据咱们采用高端定制的模式来收割，剩下的20%的数据手动收割，这样咱们既能高效的获取整齐划一的粮食也能参杂一些小惊喜，一箭双鵰。

下面咱们以网络人工智能业务为例，来看看具体的操做：

网络人工智能业务所使用的80%以上数据，是电信网络的设备数据，因此这一部分能够直接进行网络打通，系统自动完成对接协商、数据采集和标准化处理，使用者可直接获取想要的小区性能指标，进入下一业务环节。

80%的数据采集场景作到了极简，大部分用户的体验获得保障。剩下20%的场景，经过灵活通用的采集能力来解决，用户配置数据源对接参数便可完成数据采集。

还有一些数据并不能经过简单采集得到，好比，无源设备、以及没法产生状态数据的软硬件系统，这就须要一波高端操做——探针自主采集。探针技术自己比较成熟，各行业都有普遍应用，弊端是部署成本高、推广难度大。探针技术也有软硬之分，从名称上就能看出，软探针就是经过独立可执行的软件或可被集成的SDK，在用户受权的状况下，采集网络体验数据。硬探针基本上就是传感器、探测设备等，专业性较强，数据收集准确性高。

3、数据能干什么

数据能干的事情太多了，能够用来分析用户喜爱和需求，得到对电信网络真实客观的使用反馈，可以快速得知产品有何不足，对应更新更多的业务模式，可以帮助实现业务改善。好的数据可以帮助企业得到更大对竞争力。但这些数据的背后是人，人的主观性越强，需求就越明确，对产品能力的提高就越有帮助。这些数据就比如是食物中最顶端的高端食材，口感一流品质上乘，可是价格不菲。

以下图所示：

体验数据很差得到，这些数据基本上要经过问卷调查、实验、端侧体验指标采集等方式得到，不只成本高并且可得到的数据量也有限。这就好像你是个网店卖家，辛苦作出的产品想要获得五星好评或真实超过10个字的评价感觉，须要给客户搞一个好评返现红包。鉴于你们都比较忙，给有字评价的客户依旧很少，那就须要用插补的方式，基于少许真实评价估计一个所有用户的总体感觉。

在网络人工智能业务中，咱们是如何得到高质量数据的？首先，咱们开发了专业的APP，对于用户来讲，除了能随时感知本身所处网络的速率和时延，还能针对室内覆盖帮助用户进行信号仿真，实现Wi-Fi的组网规划，真正解决用户的体验问题，除此以外，还具有游戏的代入感和使用体验，能更好的吸引用户，实现网络体验数据的采集。其次，咱们还提供了可基于有限采集数据，经过算法进行数据插补的能力，对于采样点少或缺失的区域进行数据补充，该方法引入了地理统计计算的相关算法，在必定采样条件下，插补的偏差RMSE小于5，高于物理测量设备的仿真结果。

4、保卫数据安全才是正经事

在开头咱们讲过，数据采集有不少难处，在收集、存储、传输上都须要更安全的环境。只有保障数据采集系统安全可靠，才可以有效的保护数据需求者和提供者的权益。网络人工智能在数据采集安全方面也作了很多针对性的措施。好比在数据收集环节的数据脱敏、最小采集范围、密级控制等，避免“顺手牵羊”；在传输过程当中也提高了运输大队的军火储备和隐蔽能力，争取让劫匪找不到本身的数据，或者遇到劫道儿的也能从容迎战保卫数据安全；在存储环节的访问控制和权限隔离等技术，避免越权访问和数据泄露问题。

网络人工智能在数据采集安全方面所作的措施以下图所示：

随着数据安全和隐私保护法规的不断完善，应对数据安全的软、硬件措施也逐步完善，每个安全措施都是不断完善的长久工程，数据安全没有终点，只有与时俱进不断进步，才能持续知足人们对数据的安全感，从而更充分的发挥数据价值。

5、数据采集技术还在不断成长

数据采集不是一蹴而就的，随着产品或服务的迭代升级，各行业技术的发展，用户需求的提高，政策法规的完善，数据采集技术在安全和隐私保护、数据可得到性、体验等都须要不断演进发展。数据采集不只是数字化转型的基础，仍是人工智能的精神食粮，更须要作到保障数据通道的畅通无阻。

做为华为ICT基础设施业务面向全球开发者的年度盛会，华为开发者大会2021（Cloud）将于2021年4月24日-26日在深圳举行。本届大会以#每个开发者都了不得#为主题，将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者，共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代，每个开发者都在创造勇往直前的奔腾时代。世界有你，了不得！

点击连接，了解大会详细信息。https://developer.huaweicloud...

点击关注，第一时间了解华为云新鲜技术~