Tapdata 实时数据融合平台解决方案(一):现代企业数据架构及痛点

 
做者介绍: TJ,唐建法,Tapdata 钛铂数据 CTO,MongoDB中文社区主席,原MongoDB大中华区首席架构师,极客时间MongoDB视频课程讲师。
 
“怎样能够来搭建一个数据中台?” 身处数据处理行业,常常被客户问到这样的问题。
 
数据中台究竟是什么,是产品、技术仍是一个架构……,
在关于数据中台的概念铺天盖地的时候,咱们来聊一聊数据中台的架构,技术上实现,以及如何在企业落地,实实在在解决问题。
 

1、现代企业数据架构及痛点

– 数据孤岛:低效率和利用困难的根源
– 应用瓶颈:传统方案数据仓库、数据湖的不足
 
咱们先以航空公司的场景为例:
航空公司的市场部计划推出一个新产品或者是一个客户活动,会但愿了解哪种渠道是某类客户最经常使用的?当想到这个问题的时候,发现航空公司的客户触点太多了。
PSDP行程订单,投诉、行李系统,常旅客系统,手机App系统等等。这些系统都是航空公司在不一样阶段,不一样的业务部门创建的应用。这些应用在部署时只会以本业务为目标,而不会考虑到企业其余业务可以很好的对接。若是这些应用中的数据没有作到统一的话,那要花费数天或者数周才能获得结果,甚至都不知道哪里可以拿到数据。有时就算知道,还要协调其余业务部门来正确地给到。
再来看一个保单贷小程序的案例。
当客户经过这个保单贷小程序申请现金贷的时候,若是客户在保险公司中已购买太重疾险、人寿险或财产险,系统能够根据客户的保单额,在一分钟内判断出提供给客户适合类型的现金贷。
在上线的时候发现,这个保单贷小程序很快开发好了,可是数据在人寿、重疾、财险等不一样的系统里面,有些还须要推荐系统和标签系统。因此要花不少的时间来作数据的对接,这个时间是数周、甚至数月。由于其中不仅是数据问题,还涉及到权限等问题。
 
以上的情形都是企业中常见的数据孤岛的问题,并且随时 IT 建设的发展,这个问题会原来越常见。
数据孤岛成因,是因为事业部门在建设 IT 服务的时候,分别以各自业务建设为核心,而不是以数据建设为目标而造成的。
 
其次,经常使用的数据库如Oracle, SQLServer, DB2, Sybase,这些关系型数据库一直以来存在性能扩展的瓶颈。致使在上大的系统,或者客户量增长时,须要采用分库分表的方式。由于单个库没有办法支撑到太多的业务量。这也造成了大量数据孤岛。
 
数据孤岛带来的影响严重阻碍了新业务对已有数据的重复利用:
  • 须要大量时间对接和同步;
  • 用户体验降低,数据不完整不实时;
  • 重复建设,复用率低等。
为了解决数据孤岛的问题, 目前的解决方案,有应用层面 ESB 企业总线、MQ等;从存储角度来讲,有数仓Teradata,Greenplum,以及数据湖。这些方案均可以在必定层面上解决问题,可是存在局限性:
首先,这些方案都是面向分析场景,对于数据抽取不及时,多数是 T+1 方式,也就是说业务获取的数据,是系统昨天生产出来的。这些数据在数仓及数据湖中处理造成了大量报表及结果数据,经过下载、导出等方式进行交付,形式粗放。全部目前市面上的大数据平台,大部分的场景是偏重于分析,主要用于作BI,作报表、Dashboard,来对企业的运营和客户有所洞察。
 
而对于企业运营来讲,关键的、核心的能力不是后端的分析,而是在前端与客户交互,与业务交互,与流程交互。
基于上述状况,数据中台应运而生。
 

Tapdata 钛铂数据
新一代实时数据融合平台产品和解决方案提供商
行业领先的同异构数据库实时同步解决方案提供商
联系咱们获取企业版 Demo:team@tapdata.io
当即体验线上异构数据库同步服务:cloud.tapdata.net
相关文章
相关标签/搜索