大数据争论：批处理与流处理的C位之战

　　数据无疑是当今数字经济中的新货币，但要跟上企业数据变化和递增的业务信息需求，仍然是很是艰难。这也就解释了公司将数据从传统基础构架中迁移至云中，以衡量数据驱动决策的缘由。这可确保公司宝贵资源——数据——受到监管，值得信任，方便管理和访问。

　　虽然企业也承认：基于云的技术是确保跨企业间的数据管理、数据安全、隐私和流程合规性的关键，但关于如何更快地处理数据仍然存在一个有趣的争论。那就是批处理与流处理之间的PK。

　　每种处理方法都有其优缺点，但如何选择仍是依据具体的业务需求。下面会深刻探讨哪些用例须要使用批处理，又有哪些用例须要使用流处理。

　　批处理和流处理之间有什么区别？

　　批次是在特定时间间隔内组合在一块儿的数据点集合。一般用于此的另外一个术语是数据窗口。流处理，用于处理连续数据，是将大数据转换为快速数据的关键。这两种模型都颇有价值，每种模型均可用于解决不一样的用例。他们甚至能够“融合”，能够在数据流中作数据窗口，也就是微批量。

　　虽然批处理模型须要时间段内收集的一组数据，但流处理须要将数据送入分析工具中，一般以实时微批量方式送入。处理来自传统架构的大量数据或数据源时常用批处理，而在流中直接处理数据是不可行的。根据定义，批处理数据还须要将批处理须要的全部数据加载成某种类型的存储、数据库或文件系统，而后才进行处理。有时，在开始分析阶段以前，IT团队可能会无所事事地等待，直至全部数据加载完成。

　

　　流处理也能够用于处理大量数据，可是当您不须要实时分析时，批处理工做效果最佳。因为流处理负责处理运动中的数据并快速提供分析结果，所以它能够用Apache Spark和Apache Beam等平台生成近乎即时的结果。

　　

　　例如，Talend最近发布的Talend Data Streams是一款免费的亚马逊市场应用程序，由Apache Beam提供支持，可简化并加速大量数据，摄取各类实时数据。

　　批处理必定比流处理好吗？

　　不管您喜欢批处理仍是支持流处理，二者“融合“时会更好。虽然流处理最适合时间很重要的用例，批处理在收集全部数据时运行良好，但这不表明哪个比另外一个好-这实际上取决于您的业务目标。

　　然而，咱们看到试图利用流处理的公司发生了重大转变。最近对超过16,000名数据专员的调查显示，数据科学面临的最多见挑战包括脏数据、总体访问、或数据可用性等各方面。不幸的是，因为数据处于运动状态，流式传输每每会加重这些挑战。在“跳槽”至实时的流处理以前，解决这些可访问性和数据质量问题是关键。

　　

　　当咱们与企业讨论他们如何收集数据并加速创新时，他们一般回答说：“想要实时的数据”，咱们再问：“实时对您意味着什么？”

　　商业用例可能会有所不一样，但实时取决于事件建立或数据建立相对于处理时间的比例，多是每小时，每五分钟或每毫秒。

　　公司为什么将数据批处理转换为数据流处理？下面我打一个比方。想象一下，你刚刚从你最喜欢的啤酒厂订购了一批啤酒，客人已准备好喝酒了。但在你能喝酒以前，你必须根据啤酒花的味道对啤酒进行评分，并编辑在线评论对每种啤酒进行评分。若是你知道每换一种啤酒喝就要完成相同的、重复的过程，那么从一种啤酒到另外一种啤酒须要至关长的时间。对于一个企业来讲，啤酒至关于管道数据。不是等到你全部的数据后进行处理，而是你能够在几秒或几毫秒内微批量处理它（这意味着你能够更快地喝啤酒！）。

　　为何选流处理？

　　若是你长时间没使用过流处理，你可能会问：“为何咱们不能像之前同样批处理？”你固然能够，但若是你有大量的数据，什么时候须要提取数据很简单，但什么时候须要使用它很难。

　　公司将实时数据视为游戏规则改变者。但若是没有适当的工具，实现这一目标仍然是一个挑战，特别是由于企业须要处理递增的数量、种类和数据类型，它们来自众多不一样数据系统（如社交媒体）的。在Talend，咱们看到企业一般但愿拥有更灵活的数据处理，以便他们可以加速创新，并更快地应对竞争威胁。

　　例如，来自风力涡轮机上的传感器始终开启着。所以，数据流不间断地流动。因为没有数据的启动或中止，所以典型摄取或处理此数据的批处理方法已过期。这是一个使用流处理的完美用例。

　　大数据争论

　　很明显，企业正在将实时分析/流处理的优先级转移到实时收集可操做的信息。虽然过期的工具没法应对分析数据所涉及的速度或规模，但今天的数据库和流处理应用程序已经准备好应对当今的业务问题。

　　如下是大数据争论中的重要内容：仅仅由于你有锤子并不意味着这是工做的正确工具。批处理和流处理是两种不一样的模型，它不是二选一的游戏，它是关于如何肯定哪种更适合您的用例的判断。