从ETL到API

在IT领域，ETL（提取，转换，加载）流程长期以来一直用于构建数据仓库和数据分析报告系统。企业使用面向商业智能化（BI）的ETL流程，从高度分布的数据源中提取各类数据，经过操做、解析和格式化转换这些数据，并将其加载到临时数据库中。而后对这些临时数据作总结、统计和分析，并用于填充企业的数据仓库。

ETL工具如何完成企业运营中的数据集成

须要确定的是，ETL工具在IT环境中占有一席之地，众多数据库管理员利用ETL工具来促进流程并为业务提供最佳价值。

•数据仓库：从历史上看，ETL工具的主要用途是实现商业智能化。ETL工具将数据库、应用数据和参考数据拖入数据仓库中，可使企业随时了解其运营状况，并使管理层可以作出更好的决策。

•数据集成：数据集成容许企业在各类系统之间快速有效地迁移，转换和整合信息。 ETL工具减小了手动输入数据的痛苦，并容许来自不一样系统的数据进行交互，同时提供统一的数据视图。

领先的ETL工具，例如Informatica PowerCenter等在数据集成领域有着悠久的历史。它的成功可归功于其在不一样系统间交互能力，可重用组件和自动化流程。PowerCenter针对批量方式移动大量数据进行了优化，和其余相似的ETL工具一块儿，已被普遍用于跨异构环境集成企业应用程序的场景中。

用于企业运营数据集成的ETL工具

企业的运营数据库中一般包含事务型数据，例如员工信息、销售、客户反馈和PoS信息等等。这些数据库为运行业务所需的运营系统和应用程序提供了基础支撑。随着企业的运营愈来愈须要这些系统之间可以相互集成，现有的ETL工具提供了一个明确的解决方案。 现代的ETL工具已经支持与许多流行数据库和应用程序在数据层面上的链接，成为一种快速，而且看似简单的链接和数据移动方式。在API还不够丰富的时代，ETL工具是企业运营中，实现相似场景的首选解决方案。

ETL工具变得更加复杂

ETL工具确实提供了数据库和应用程序之间的一种通讯方法，但随着时间的推移，ETL工具在企业中的应用会面对愈来愈大的挑战。因为建立此类链接须要全面了解每一个运营数据库或应用程序，所以须要实现很是具备侵入性的自定义集成方法，所以系统之间的互联将会变得更加复杂。

随着时间的推移，这种集成方法变得愈来愈复杂。而且互联的系统数量越多，事情也就越复杂。此外，因为这种紧密耦合，即便系统中进行了最轻微的改变，相互之间的依赖也会产生巨大的，不可预测的影响。此时，自定义的点对点数据级集成将成为一个脆弱的链接网络，很快开始看起来像一团“意大利面条代码”。

随着IT环境向云迁移，（因为安全等缘由）缺少对云数据库和应用程序内部的可见性一般使得在本地和云的混合场景中没法轻易实现基于ETL的集成。此外，向云的过渡意味着完成实时集成和更新的价值更大，而这类价值ETL工具没法轻松提供，由于它们主要是面向批处理过程的。

API简化了数据集成

API普及程度的提升使得建立链接变得更加容易。经过API，开发人员能够访问数据端点并构建链接，而无需深刻了解系统自己，从而极大地简化了数据集成流程。因为ETL工具仍然更多地关注BI和大数据解决方案，而且传统的运营数据集成方法随着云计算的普及而变得过期，API成为建立链接的更好选择。

企业服务总线（ESB）以及API应用服务器软件产品能够提供基于API的链接以及实时集成。与用于数据集成的传统ETL工具不一样，基于API的链接和集成方法经过提供中间服务层将应用程序和数据库彼此隔离。该抽象层经过系统解耦来减小系统之间的依赖性并提供高度的灵活性。开发人员能够利用预先构建的链接器轻松建立应用集成，而无需了解特定应用程序和数据库内部实现，而且能够快速地对系统中的某部分链接进行更改，而不须要担忧整个集成系统崩溃。经过API实现的屏蔽，应用程序和数据库能够进行修改和升级，而不会产生意外后果。与使用ETL工具进行操做集成相比，基于API的链接和集成提供了更加合理，且定义明确的方法来实现此类计划。

灵长科技提供应用集成平台

灵长的核心产品CEAMS通用企业应用接口管理系统，能够帮助企业知足其应用集成需求。CEAMS系统的核心组件CDIF是一个高性能的Node.js API应用框架，以及数据交换平台。可帮助企业链接SaaS，云，移动及本地应用程序，服务和各种数据源。 CEAMS系统经过完整支持Node.js开源生态中的全部组件，为企业提供强大的集成解决方案：

•应用集成：CEAMS系统经过应用提供的JSON格式的API规范，将被集成的各种外部系统天然地划分为多个服务，平台上部署的每一个应用对应于一个外部系统或数据源。应用具有本身独立的CPU资源和内存空间，并支持经过高效的异步通信模式在不一样的应用之间交换JSON格式的数据。相对于传统的同步模式，这样的设计能够大大提升数据集成时的运行效率和吞吐量，而且下降了系统间的耦合性，在某个应用崩溃出错，无响应，或CPU死锁时不会影响到其余应用的正常运行。

•数据转换：CEAMS系统在完成应用集成时，首先对来自不一样系统和数据源的数据统一自动转换和封装成JSON格式的API。经过完整地支持整个Node.js技术生态中，全球上百万开发者正在使用的，各种基于Node.js的JSON数据转换和处理工具，开发者能够很轻松地在CEAMS系统上，在统一的JSON格式基础上完成数据转换和应用集成任务。

•链接器：经过完整支持高度发达的Node.js生态，CEAMS系统能够实现与数百种流行应用程序，协议，和服务的即时API链接，从而能够轻松地将数据提取和加载到流行的数据源和端点。

•文件类型支持：经过支持平面和结构化数据格式（如XML，JSON，CSV，Excel等），企业能够灵活地使用哪一种数据格式。

•数据库级链接：对于须要与数据库直接交互的状况，CEAMS系统提供ORM，Raw SQL等链接到各种关系型数据库的方法，同时提供Elastic Search， Solr等全文搜索引擎，以及MongoDB，Cassandra，和Hadoop等新兴的大数据平台。

灵长科技提供多种解决方案，帮助企业克服集成难题，并将自身转变为高效的新企业。在众多不一样的系统和应用程序经过ETL工具集成在知足新企业需求方面受到限制时，灵长科技的CEAMS系统能够提供基于API的实时，高性能，可扩展的操做功能。了解有关灵长科技产品的更多信息，或者与咱们联系（email: sales@apemesh.com, 企业QQ技术支持群：618450152），可得到与CEAMS系统相关的更多信息。