7月30日，Kyligence 在上海成功举办 Data & Cloud Summit 2021 行业峰会，本次峰会以"云 · 数据 · 智能"为主题，聚焦数据服务与管理领域的前沿趋势、领先技术及最佳实践。峰会现场，中国通讯学会副秘书长文剑，以及经济学博士、亚洲金融合做协会创始秘书长杨再平进行了开场致辞；来自Gartner、招商银行、微软、联合利华等企业嘉宾进行了精彩的主题演讲，同时各领域合做伙伴也带来了金融科技、云上创新、数字化转型、开源有道四场近 30 个专业的主题分享，总计超过 1000 位嘉宾齐聚现场并进行了热烈讨论。数据库
Kyligence 联合创始人兼 CEO 韩卿在现场正式对外宣布了企业全新"智能数据云"战略、Kyligence 最新产品以及一系列合做伙伴计划。如下是韩卿在峰会现场的演讲实录，他从专业的视角分析了目前企业数据管理面临的痛点，以及进一步详细地阐述了"智能数据云"战略，但愿能够给您带来一些启发。后端
如下是演讲正文：安全
你们早上好！网络
很是高兴在今天举办 Kyligence 行业峰会。很是遗憾去年的疫情让咱们缺失了一届，不过此刻的咱们也很是幸运，“烟花”台风刚刚过去，今天早上黄浦江畔晴空万里。架构
Kyligence 已经成立五年了，五年来离不开你们的支持，在这里我仅表明中国和美国三百多位小伙伴向客户、合做伙伴、投资人，以及各行各业关心 Kyligence 成长的关注者们表示衷心的感谢，感谢各位在过去对咱们的支持、信任，尤为重要的是鞭策！过去五年，Kyligence 有很是多的总结和相应的业务实践，因此今天很是荣幸可以基于过去对中国、美国以及亚太市场的业务实践和对将来技术趋势的观察和了解作一些探讨，此外，接下来我也会向你们汇报一下 Kyligence 将来战略的改变和产品的趋势。并发
行业假设发生变化
你们知道从上世纪70年代 AC 尼尔森公司介绍了数据集市开始，数据仓库这个技术成为一个必不可少的基础架构。尤为是 Bill Inmon 、Ralph Kimball 两位大拿奠基了数据仓库的理论基础，在这以后数据仓库在 Bill 的自顶向下模式和 Kimball 的自底向上模式之间引发了不少争论，你们相爱相杀了不少年。在当年构建数据仓库的时候有一些假设，例如数据相对比较少，计算、存储比较有限，网络处于低速时期等。运维
那么问题来了，三四十年以后，在云的时代，数据仓库的行业假设跟之前是否是同样呢？作任何的技术架构，若是它的行业假设有一些变化，那随之采起技术的选择、架构必定是不同的。那咱们今天认为，在云的时代这些行业的假设已经有了巨大的、根本性的改变。今天我很是荣幸能够跟你们分享一些咱们在这方面的思考以及总结。机器学习
首先，过去数据仓库的构建模式是集中式的，刚才举例介绍到，由于之前人没有很是集中，咱们认为把数据集中起来就行了，因此解决了数据烟囱（信息孤岛）问题。但今天数据是自然分布的，数据不只在不一样的系统里面，它们甚至在多个云上，更甚者在一个云、多个数据库里面。分布式
其次，数据量已经大到不可能集中起来，几十个 PB 数据只是一个“起步价”。这么大的数据量，让特别是在云环境下的数据传输变得再也不现实。高并发
再看，随着 GDPR 数据隐私法案的来临，企业不可能把全部数据都进行汇总。
因此整个数据仓库构建模式从“Collect”——把全部数据收集起来，到“Connect”——全部数据有机地链接起来，这是第一个改变。
第二，使用数据的人发生了根本性改变。之前都是决策者、专家去使用这些数据，或者有一个专业化的团队，包含项目经理、各类工程师等，通过三个月、六个月给出一个决策方案。而今天使用数据的人已经发生了根本性改变，他们是一线工做者，他们是非技术或者分析岗位的职场人。咱们发现企业不可能为每个业务人员配备一支庞大的分析团队，并且整个数据 IT 构建模式也发生了巨大的变化，没有那么多人去服务它，因此对企业来讲，要么投入更多人力、物力赋能数据管理，要么就用技术去改变它。
第三，数据的消费方式发生了变化。之前是从已知问题找已知答案，如今须要从未知问题找未知的答案。早前有一个客户来和我沟通，他说：“假设我是一个数据分析师，我想要分析…"。我说：“停，不对。”如今的业务人员没法了解这么详细，他们但愿的是你告诉我有什么，企业能够基于已知的一些数据、文化、能力，并沉淀以后自动推荐给须要的人。例如咱们服务平安银行的时候，当工做人员去看一些指标，对方怎么知道如今存款指标很是重要呢？这些应该是系统自动告知，而不是工做人员本身想出来的。同时，如今你们习惯用两样东西，一是手机，二是搜索。因此，市场必须下降整个数据使用的门槛，用技术迭代来帮助客户推送更具价值的数据。
随着数据愈来愈多，使用端愈来愈多，数据的搜集与管理变得难上加难；另外一方面，企业又但愿数据可以多面化，顾及到、赋能到每个业务人员，这就致使了二者之间不可调和的矛盾越发明显，愈来愈混乱。如今的 CIO 已经至关焦虑，咱们发现他们找数据的时间远远超过使用数据的时间。“用1个月时间找数据，分析一下只要2分钟”。现状是企业根本不知道有价值的数据在哪里，之前是没有数据，因此企业但愿 IT 把数据所有收集起来；而今天是数据太多、信息过载，企业已经不知道该要什么类型的数据。
因此，基于咱们过去对业务的一些实践以及与客户的探讨，咱们将将来的战略定义在以云技术为核心，以人工智能为推进来解决全部的技术和数据的问题。因此咱们全新的战略将变成“智能数据云”。
智能数据云应运而生
咱们认为，将来使用数据应该像使用云计算同样简单和方便。今天你须要一个算力的时候，根本不须要知道这些算力是来自英特尔、戴尔，仍是惠普，只须要向底层云厂商灵活申请内存、带宽、使用时间便可。如今行业须要的是平台向数据申请人直接给出客户数据、订单数据、实时部署数据等。平台应该要帮企业解决这个问题，这就是一个新的理念或战略——智能数据云，咱们能够帮助企业解决这个问题。
Kyligence 在不断加强分析能力以外，会向数据管理转移，将人工智能逐步引入到平台里来。咱们会逐步去掉 Hadoop ，平台也会更加智能化和自动化。虽然今天 Hadoop 依然是极具优点的大数据平台，但五年之后、十年之后，随着下一代云技术的发展，数据服务与管理会有新的不同，咱们也相信技术会往云这个方向进行转移。
上面这张图很好阐述了 Kyligence 智能数据云平台——咱们不但愿这个平台把客户全部的数据汇总到这里来，咱们要帮客户 connect 全部的数据源，平台可以自动识别最有价值的数据，但愿用最简单的方式去让业务人员使用咱们的数据，去赋能数字化转型。
我展开来说一下：
第一，咱们会以一个受治理的数据集市的概念作这个事情，用统一的指标口径，统一的语义标准，统一的数据服务进行管理；
第二，咱们会专一作 AI 加强的数据管理，AI 加强让数据分析与管理的效率大大提升，机器代替人能够作不少表格的工做，把人解放出来作更有价值的事情，好比数据的审计等等；
第三，咱们会采用敏捷的云原生架构，支撑业务敏捷化，尤为疫情之后，整个平台不能变成云平台的话，在剧烈变化中是很难适应的。
Kyligence v4.5 新品发布
基于上述理念，咱们也更新了自身的产品，Kyligence v4.5 将会更加知足市场和客户的需求，这个产品会以企业版以及公有云版本为主，接下来具体展开介绍一下相关特性：
这是咱们总体的架构。中间是刚才介绍过的受治理的数据集市，企业不须要把全部数据都放到我这里来，我能够经过各类各样的方式链接起来，甚至铺装到原始的数据当中去。这样的好处是个人平台能够变成你的统一的访问入口，在这个过程当中我知道你想要什么数据以后，就能够自动化地去帮你去管理数据集市了，这就是 AI 加强带来的核心能力。同时看到底层，在最先基于 Apache Kylin 的能力上，咱们引入了 Clickhouse，更好地支撑全场景 OLAP 。
今天来讲，在整个消费端，咱们已经从支撑大量的企业内部分析应用转换到支撑的是应用自己，已经有美国和中国的客户基于咱们的技术在互联网上提供这样的能力，甚至提供数据产品从新卖给了客户。将来全部的软件公司都将成为一个 SaaS 公司，每一个 SaaS 公司都会是一个数据公司，你的数据怎么去变现？你的数据怎么去作更好的服务？咱们在服务了不少客户以后有了一些经验。
另外，咱们在美国的客户也有很是好的应用，它用 APP 作了一个市场风控模型，整个底层的服务平台来自咱们，部署在整个 Kyligence 的云平台上，带来很是大的效率和能力的提高，目前智能数据云平台已经对接到了各大公有云平台，后面我也会介绍私有云的目标。
总之，经过咱们新的产品，用 AI 加强的数据服务和管理等能力，打造全场景的OLAP，能够更好帮助企业提高数据服务与管理的能力。下面，我想重点强调几点：
01 ClickHouse 的整合
Clickhouse 过去一两年在中国特别地火，这是一个很好的技术，不过它有它的优点，也有劣势。其实 Apache Kylin 一直在整个聚合查询上作的不错，咱们的客户说要不要把 Kylin 和 Clickhouse 一块儿合并尝试一下？这个需求提出后，咱们看到了一些可能。经过 Kyligence 智能分层存储（Smart Tiered Storage™️）技术，将 ClickHouse 有机融合在 Kyligence 产品的基座中，在原有聚合分析的高性能之上，更有效提高了明细分析、Ad-Hoc 查询等场景的性能和优点。
02正式支持批流一体能力
全场景的OLAP 还有一个很重要的方面就是正式支持批流一体能力，进一步扩宽了全场景 OLAP 的能力，仅经过一个数据模型、一个 SQL 语句，就能同时接入批数据和流数据，对数据应用提供统一的查询接口，助力企业极简化数据应用架构，使用同一个系统和架构来同时知足不一样需求，以更快地响应业务敏捷性。
03持续对 AI 加强引擎的投入
另外一方面，咱们也会持续在 AI 加强引擎上不断地投入和突破。基于 AI 加强引擎，Kyligence 可以根据业务分析行为自动推荐数据模型，帮助企业从海量的分析负载中识别和沉淀数据资产，并根据业务变化智能更新模型，实现自动化构建和管理。
除此以外，AI 加强引擎还可以自动清理低效存储，不断优化 TCO。大量的数据被分析，数据仓库拼命地作项目，可是清理这件事情不多发生。有银行的客户跟我说有 10 万张报表，平均每张访问量很是低，访问量低浪费了大量的计算资源、存储资源，浪费了大量的人工去作这些工做。今天 Kyligence 能够告诉你再也不被使用或者使用率很低的数据，能够挪到历史存储区。
结合前面说的，经过不一样的数据源让咱们这个数据服务和管理平台成为统一访问数据入口以后，咱们有能力告诉你最有价值的数据是什么，数据资产应该如何被管理、并驱动业务决策产生价值。
04 统一的语义层
此外，咱们但愿经过统一的业务语义来支撑不一样的业务场景，例如 Kyligence 对电子表格的百亿级业务支撑是全球独步天下的，这点在中美两国都有不少客户实践。固然这其中还有不少挑战，例如电子表格连在后台仍是面临一些压力，可是能够告诉你们的是，咱们的创新取得了新进展，经过专利技术的突破，能够直接赋能到一线的电子表格用户。
经过不断地服务客户，咱们发现一个使人惊讶的事实，某一个客户全国大概有上万家门店，只有八九我的的 IT 团队，负责人须要天天下班以前导出数据让他们第一时间拿到数据作分析，这是中国真正的现状。这就带来几个问题：
- 安全问题，数据满天飞的时候，安全面临着严峻的考验；
- 业务的定义其实永远不在管控的范围内，散落在各个地方；
- 整个后台没有业务的积累，永远只是在导出数据。
咱们但愿构建统一的业务语义，能够在不一样 BI 之间使用，以及中央管控整个安全，其实会带来很是好的价值。最重要的是，在这个过程当中业务使用的痕迹被留了下来。每每咱们业务跟 IT 的挑战是，业务很难告诉你他想要什么或者如何分析的，他们没有办法用 IT 语言告诉后端。可是若是后台转化的时候就能够经过机器学习的方式推荐给须要的人。
05 提供企业级运维管理服务
产品新版本会提供企业级的运维管理能力，把全部的集群管理起来，甚至能够作到多租户的管理，经过指标监控、告警等实现自动化生产运维，以知足银行、保险等行业严格的 IT 合规要求。咱们有很是好的监控统计，甚至这些能力能够被开放出来，经过 API 接口组合到客户本身的运维和管控系统里去。关于信息安全和合规，目前咱们已经拿到了 SOC 2 Type 一、ISO27001 信息安全管理体系和 ISO9001 质量管理体系。
目前，Kyligence 产品已经支持多个公有云平台，包括微软 Azure 、亚马逊 AWS ，今年六月份刚刚支持了华为云，这个合做也帮咱们拿下了泰国的单子。后续还会登录谷歌云、阿里云、腾讯云。咱们将在整个公有云的平台上不断地投入，去支持更多的应用场景。将来咱们也但愿能保证咱们的客户在多个云的不一样架构和平台上，业务的使用方式、体验和接口都是一致的，即便你迁移到一个云平台，上层应用不用改变。在公有云上，咱们彻底没有了 Hadoop 的依赖，只依赖了云的对象存储和计算资源，能够作到自动缩容，自动监控。
不过，咱们仍需考虑到还在使用私有云的客户，他们该怎么办？随着企业对私有云架构的需求高涨，Kyligence 也正式推出玄武计划，加速下一代基于 Kubernetes 及分布式对象存储等架构的私有云产品落地的进程，Kyligence 将为大型企业级客户提供私有云环境运行 AI 加强数据服务与管理的能力， 目前实验室已经完成了对接和测试。
我很喜欢玄武计划这张图，这张图是龟和蛇的合体。为何选这个？第一这表明海，若是公有云在天上，那咱们想找一个地上的海。第二叫稳，玄武带来的稳定，对业务架构很重要。第三叫作长寿，咱们但愿技术架构或者平台对市场的影响时间能够更加长久，咱们也但愿以此为机会，鼓励咱们的客户、合做伙伴能够加入到咱们的共创计划中，用业界的能力一块儿去打造基于私有云的业务架构。
另外，我也很高兴宣布今年咱们升级了业务合做伙伴体系 Kyligence Partner Network，联合全球的合做伙伴去构建数字生态能力，对于咱们公司的定位来讲，咱们是专一在整个产品和技术的研发上，但愿在这个点上作到更深、更强，跟更多的合做伙伴作更多的联合。
数据愈来愈多，数据愈来愈重要。咱们但愿数据可以更好地服务人类，而不是让咱们成为它的奴隶。因此今天很是高兴跟你们宣布 Kyligence 将来的新愿景——改变人类使用数据的习惯。咱们但愿用更大的能力去赋能到从一线业务人员到高层决策者，可以去改变整个数据的使用方式和方法。很是感谢你们对 Kyligence 的承认和支持，Kyligence 将继续秉持专业的态度服务客户，也感谢各位合做伙伴参与其中，一块儿创造数据服务与管理的新未来。
关于咱们
Kyligence 由 Apache Kylin 创始团队建立，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各类数据分析与应用，同时不断下降 TCO。
Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUM、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已经过 ISO9001，ISO27001 及 SOC2 Type1 等各项认证及审计，并在全球范围内拥有众多生态合做伙伴。
Kyligence 得到了来自红点、思科、宽带资本、顺为资本、斯道资本（富达国际自有投资机构）、Coatue Management、浦银国际、中金资本旗下基金、歌斐资产、国方资本、ASG、宏兆基金、浦信资本等投资机构的多轮投资。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设办事机构。