挨踢部落坐诊第五期:数据采集与前端运用

活动说明：挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，咱们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程当中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

话题关键词：大数据来源/数据安全/云计算/Linux

部落阵容：51CTO社群智囊团

面向对象：Java工程师、大数据开发工程师、IT运维、数据分析师

参与方式：加入51CTO开发者QQ交流群（群号370892523（已满）、请加312724475），有任何技术问题，在群里提问，或发给群主小官。

活动详情：

---

 Android-小包-重庆：我有个疑问，大多盈利性质的商业公司和企业都不会轻易泄露本身的数据、建模方法和分析过程，那么大数据的来源是什么？

云计算-恩威-成都：数据的来源：一、自有用户的数据库；二、采集网络（爬虫）；三、买数据接口或者购买数据；四、聚合数据API市场。四种常见的大数据的数据来源。

Android-小包-重庆：买数据接口或者购买数据，这个可能又要涉及到另外一个问题，数据安全性。好像存在一个因果关系：要实现大数据的核心价值，第一步是经过“众包”的形式收集海量数据，第二步是经过大数据的技术途径进行“全量数据挖掘”，最后利用分析结果进行“资源优化配置”；但收集海量数据就得先解决数据安全性问题，才能进行“全量数据挖掘”，才有后续的发展。不知道理解得对不对？

云计算-恩威-成都：讲的好，每一步的语言都是精炼，提到点上。目前大数据还处于开始阶段，不少问题都尚未解决，安全性是任何行业的通病。

Java+李赛+郑州：输入法的数据收集么？像输入法，不少人的打字数据能不能算上大数据？

云计算-恩威-成都：大数据要通过处理分析才算的上是大数据，不然仅仅是大容量的二进制数据。例如这个，都是在输入基础之上通过提炼分析的结果。

输入法

Java+李赛+郑州：大数据是Java的进阶么？

1>App-zee-重庆：算是Java一个方向吧。

2>云计算-恩威-成都：若是采用的是 Hadoop平台，那边无疑是Java语言又一场景的使用。

Java+李赛+郑州：在作大数据么？云计算是作哪些？有什么关系？

1>云计算-恩威-成都：云计算和大数据，应该是不分家的，由于大数据的分析离不开云计算的基础平台。

2>后端接口开发-刘声杰-成都：云计算和大数据是分不开，没有云计算，大数据永远只是数据，对咱们没有任何价值。

Java-太阳-深圳:话说有人知道单元测试怎么写么？这样是否是证实装好了？

Java-笨鸟先飞-北京：参考这里>>

网络编程-付振华-武汉：请教下各位，我如今有个需求，在一个电脑上对上百个网站首页进行轮询打开，若是打不开就弹出提示，或者发邮件。有现成的软件实现这个功能么？

云计算-恩威-成都：URL的监控HTTP状态检测（200 ok）。

Java网编－海本无因－长沙：我是问HTML5在大数据里不是代替了Java？

1>PHP-Coeus-安徽：这两个在大数据上扯不上。H5是负责展现、动效，数据方面的处理仍是看后台的。数据是五花肉，处理语言是材料，HTML5就是红烧肉出锅时候的葱花吧。HTML5和浏览器就像Java和JVM，分工不一样罢了。随着HTML5的规范完善，本地存储、WebSocket、内存管理都已经作的很不错了。

2>架构师-崔一凡-北京：HTML5能够作报表，有用的，各类数据展现、报表，处理前，处理中，处理后。

3>网络编程-付振华-武汉：HTML不就是个表示语言吗，用来编网页游戏的也挺厉害的。但没有浏览器时它没法交互吧，基于浏览器就各类调试。Java程序只要有对应操做系统的JVM就能干活，内存回收机制也完善些吧。

App-zee-重庆：有用过Vue那个Mint UI的吗？mt-loadmore的加载更多嵌入到iframe在苹果的浏览器上面上拉有问题，有碰见过的没？

半吊子全栈工匠-曹洪伟-北京：不少IM 的提供商都提供了客服方案的，能够集成到本身的系统中来。

新人-菜鸟-苏州：问一下大佬，我若是要研究Linux，想经过乌班图入手，我是要看linux的书仍是Ubuntu的书？半路出家搞IT要从哪里入手呢？linux和Unix不同吧？

1>学习-JSON-重庆：看这个《UNIX环境高级编程》。

2>运维-华子-武汉：差很少，Linux门槛低，适合PC机折腾。

Java-气-北京：有没有人对Spring Data JPA有熟悉的吗？是一个趋势，最近在作。复杂查询还行，updata碰到坎上了，感受SpringBoot慢慢要赶超SpringMvc。而SpringDataJpa技术是标配之一。但愿你们能够看看，有问题一块儿交流。

Java-哈韩浪子-成都：SpringData作持久层的，我的感受很差用啊，没有Hibernate好用。由于用了好久的Hibernate，因此不习惯其余的了。

Java-Derrick-北京：有谁在用Linux系统？我的用了一个Ubuntu17.0，主要是算法和设计模式 。

1>铲屎官-项目经理-北京：我的用，乌班图不错，企业级，红帽，等都挺好。

2>Java-气-北京：公司用centos比较好，和红帽同样。

您对这些解答方案是否仍有疑问？欢迎加51CTO开发者QQ交流群 312724475 讨论。

下期活动预告：6月8日

关键词：智能客服、Android权限、Java方法、App

活动回顾：挨踢部落第一期:Spark离线分析维度

挨踢部落第二期:大数据在医疗领域的应用和实践

挨踢部落坐诊第三期:Python在大数据处理上的优点分析

挨踢部落故事汇第四期:Java消息队列的应用场景和做用