杂记- 3W互联网的圈子，大数据敏捷BI与微软BI的前端痛点

开篇介绍

上周末参加了一次永洪科技在中关村 3W 咖啡举行的一次线下沙龙活动 - 关于它们的产品大数据敏捷 BI 工具的介绍。由此活动，我想到了三个话题 - 3W 互联网的圈子，永洪科技的大数据敏捷 BI 工具，微软 BI 工具的路应该如何去走。

3W 互联网的圈子

其实以前在中关村工做过很长的一段时间，天天吃饭的点基本上就包括中关村那一块，平时天天都从那个基督教堂门前走过来走过去。可是感受在中关村那里白混了一年，由于历来没有注意到那里其实有一我的气很旺的 IT 互联网人的圈子 - 3W 咖啡屋。

不过话说回来，我也以为本身不是一个互联网圈子中的人，我只能算上一个时不时刷下微信圈关注下公众号的互联网的外围 IT 男青年。互联网，移动互联，这些个名字听上去对我来讲过高大上了。虽然离我生活很近，可是花钱和我相比太远了，滴滴打车，饿了么，这哪个不是花钱咱们用？ 其实反过来想想，其实就是他们在花钱用咱们。每一笔交易就是从对方花钱开始，你被用了做为结束，这个场景貌似在哪里见过，好熟悉。

做为互联网外围 IT 男青年，连北京地铁涨个价都要发给微信吐个槽不一样。互联网人不缺钱，A 轮，B 轮，C 轮 烧钱，动辄千万美金的，钱烧起来就不是钱，就是一堆数字了。有钱就是任性，有钱的感受，真好！

从咱们口袋拿了钱，还得感谢大家帮咱们开启了一段新的旅程！

调侃结束，言归正传！由于此次参加永洪科技的线下活动的缘由，绕了好几圈才找到了这个在远处看上去绝不起眼的 3W 咖啡屋。

其实这个咖啡屋很是有特点，一楼是咖啡厅，书架，笔记本，再把 IT 行业的各类巨头照一挂，瞬间以为 IT 圈其实也能够那么有情调。说的俗一点，从内心的角度上理解就是一个平时背个电脑包坐个地铁被吐槽的 IT 男：那个一看就是搞 IT 的，黑眼圈，白头发，胡子拉碴背个电脑不像话。一样的一副模样进了圈内估计就多是另一个样子：那个一看就是大牛，黑眼圈，白头发，胡子拉碴背个电脑帅到渣。圈子不同，认知就不同，不少在圈外找不到的成就感，被认知感只有在圈内懂的人中找回，也只有圈内的人才能懂得这成就的不易与价值。

IT 人有 IT 人本身的情怀，IT 人也有 IT 人貌似呆纯背后的眼光毒辣之处，由于目的就只有一个 - 想尽办法用你！用完你你还得替他说好，接着介绍更多的人被用！ 3W 咖啡屋就是这么一个互联网人扎堆在一块儿，互相学习，交流经验，或者密谋着如何勾搭在一块儿研究更好的用好你的这么一个 IT 风情之地。

二楼是各类会议场所，听说按会议场地的大小一下午的收费大概是上千块钱不等。能够用来开展各类不一样的沙龙活动，线下会议等等。感受周末也人也是随时破门而入，到各个不一样的会场去找找本身感兴趣的主题去听，若是找不到就继续回到一楼看看书，上上网，固然被催着点东西吃喝也是 3W 咖啡屋的一部份内容。

 

关于 3W 自己就是一个在互联网中的被人称做为咸鱼翻身的屌丝变高富帅的励志小青年，关于对它的成长，发展模式能够自行搜索了解，这里从网上摘一部分看看：

" 3W咖啡子公司拉勾网8月20日宣布获启明创投领投、贝塔斯曼亚洲投资基金跟投的2500万美圆B轮投资，资金已所有到帐。今年4月1日，拉勾网宣布获贝塔斯曼投资资金投资的500万美金A轮投资。即使今年下半年资本很热，只要是稍微靠谱的项目都能得到大额的投资，但拉勾网此轮融资的完成，估值已达到1.5亿美圆。当年濒临倒闭的3W咖啡和创始人团队凭此完全咸鱼翻身。”

" 3W有100多个股东，(i黑马注：3W咖啡馆被誉为具备中国特点的众筹创业模式案例之一)，刚开始都想得很好，可让你们都来这谈事。但你们第一次来是凑热闹，第二次来图新鲜……但最终生意都归生意。"

" 咱们原来有误区，认为互联网的人很高大上，好像咱们掌握了一种更先进的生产力，你以为你很容易自上而下，就像什么《三体》里的降维攻击同样，我多牛X，传统咖啡店多苦，我作一个咖啡店还不小case?你真去作的时候，发现每一个生意有每一个生意的门道。"

其实，互联网就在身边，谁，又能没有一点本身的互联网梦想？

永洪科技的大数据敏捷 BI 工具

做为一个普通的微软 BI 开发，除了平时须要关注微软 BI 工具和解决方案以外，时不时还须要了解一下不一样的 BI 工具。在各类不一样的大数据时代，移动互联网时代，被弄得不收藏点大数据，移动互联，老罗情怀等各类小抄就显得出门在外与人忽悠就容易老气，落后，不专业同样。

 

但毕竟要洗去铅华回归本质，真正关注点手头上应该关注的东西才是王道。

 

在此以前，对永洪科技实际上不太了解，有印象的仍是去年 2013年的时候由天善智能团队在 YY 上组织了一次关于永洪科技大数据技术的讲座。因为我自己不是作大数据的，因此里面不少的专业的知识听不太懂，好比永洪大数据框架设计，大数据的实现原理等等这些对我来讲颇有难度。

很幸运的是此次碰到了永洪科技的 CEO 何春涛先生，以及永洪科技的产品经理，市场经理等团队。

关于此次永洪大数据敏捷 BI 工具的介绍，我想在这里大概的还原一下我所理解的这个大数据 BI 解决方案。用他们产品经理举得一个例子我以为很适合做为永洪科技大数据敏捷 BI 的开场白： 90天细节数据约50亿条数据导入到 Yonghong DM，直接定制 Dashboard 分析。

 

如下是我边看他们的产品演示边整理的小笔记：

1. 传统数据分析作法 - 建模，汇总数据，业务查看分析结果。数据相对静态，维度和度量公式须要预先设定好。
2. 存在的问题就是分析需求变动，业务人员不能直接调整报表，周期长，响应速度比较久。
3. 敏捷 BI：针对海量数据的计算能力不足，经过建模提早汇总，计算。
4. 敏捷商业智能能够实现轻量建模：N个视图，快速发布。而传统的 BI 都是重量建模：统一视图，每次修改会引发比较大的结构变化，维护成本很高。
5. 海量数据的分析成本- 只需传统大数据，BI 的 1/4 的成本，几天到几周，只需原 1/4 的上线周期。
6. 基于细节数据的轻量建模，用新技术实现高性能的计算，点击计算让用户为所欲为。
7. 有数据呈现，也有数据交互，线下挖掘，TB-PB 级的数据秒级响应。
8. 非IT部分的同时直接在分析平台上作出来，Self BI， 业务用户有灵感就能够去尝试，去验证。
9. 分析报告需求须要数据层的改动，须要IT部门去修改数据层和业务层。传统BI 须要一个月两个月去梳理模型，设计M额他 DWD DWA 作 ETL Cube，敏捷 BI 这些都不须要。
10. 无需事先建模，可在分析过程当中灵活调整分析维度和报表展示，能够在一天只能作好，细节数据，轻量建模。

从个人角度出发，永洪的敏捷 BI 至少能够帮助我解决这么几个问题：

TB-PB 级的数据秒级响应能力

数据量的问题，TB-PB 级的数据秒级响应能力因为没有实际的测试数据量，我不能肯定是否真的能够作到，可是就示例当中的五千万级测试数据，我以为从现场表现来看仍是彻底能够 Hold 住的。固然，具体后面如何去实现的细节，大数据的处理过程我仍是没有过于去问。由于对咱们来讲，更多的时候是围绕着客户来选择适当的解决方案，如何实现不重要，但能不能实现很是重要。这个过程是在报表中不断的点击，钻取与用户的交互状况下发生的，咱们就不说五千万级的秒级响应，可能几百万级的秒级交互响应传统的 BI 可能就很难作到。

WEB 平台的数据交互

工具与平台的问题，这仍是一个 WEB 界面的操做，线上制做线上发布，这个绝对是一个很是大的优势。

无固定的数据模型，任何字段即维度 Drag and Drop and Done

维度和事实自动划分，任何字段能够做为维度搭配浏览数据。即看数据的角度不是相似于传统 BI 须要建模，创建层次结构那样，而是任意组合，无须预先设计。这一点对于 Business User 来讲是最重要的，缘由就在于传统的 BI 的流程当中若是须要在报表中改变维度一般均可能涉及到数据仓库级别的维度的改动。可是在敏捷 BI 中，这点修改是很是容易实现的，对于一个无须太多 IT 经验的用户来讲，他们本身就能够解决这类问题。而且，全部的图形控件浏览和切换数据查看的方式都是很是容易操做的，Drag and Drop and Done !

灵活的集成不一样的数据源

基于已有的数据附加新的数据源的问题也解决的很好。一般碰到的状况就是，咱们出的数据分析的报表，用户拿到以后须要临时经过一个 Excel 表的数据作一个筛选。这个 Excel 表的数据本来是在数据仓库中不存在的，要是专门给这个 Excel 数据作一个 ETL 导入而后弄一张表，以为总有一点那么不太标准化，而且仍是属于用一次可能下次就不用了的。遇到这种状况，如何是好？ 在敏捷 BI 中这个问题能够很好的解决，能够在分析数据的过程当中直接附加一个新的数据源，作一些关联就能够集成进来了。不须要的时候，很容易的修改一下数据源关联就能够去掉。

 

这个工具可能也存在如下这些限制：

1. 我我的感受永洪的在沙龙中演示的这套敏捷 BI 产品，更多的是偏向于解决基于大数据分析的一款前端报表展示工具。数据量足够大也能够支持，大数据的支持力度是没有问题的。前端展示，数据分析，各类图表，秒级交互响应对于通常的数据分析人员，报表展示是足够了的。因此这套产品的定位的关键字应该是：TB-PB 级大数据量，数据分析，报表工具。但对于数据挖掘的实现可能在这套工具中尚未看到，不知道在永洪的其它解决方案和工具中是否存在。
2. ETL 的支持力度可能还不够强，或者说对于所分析的数据在数据的干净程度上是须要预先处理的，我以为这也是大部分前端展示工具都存在的一个问题，或者说它们产品自己的定位就是面向大数据，面向前端展示的，因此这一点也其实很正常。

可变通的解决方案

那么我我的以为比较合理的一种解决方案仍是由  ETL （微软 SSIS，Informatica，Kettle）等 ETL 工具完成了基本的数据清洗以后便可交由永洪敏捷 BI 来完成数据展示和分析的效果，不须要特别定制的数据仓库模型，由于它是经过轻量级的视图进行关联在一块儿的，而且自动划分维度和事实。这样对于用户来讲，有什么样的想法就直接可使用敏捷 BI 工具来验证，不须要提交给 IT 部门，本身动手就能够分析数据。

 

永洪科技的敏捷 BI 工具的同类型产品：QlikView, QlikSense, Tableau，不少特色都很是相似： 秒级交互，丰富的数据源支持，多图样，快速部署与快速实施周期。固然 QlikView 是由本身的一套完整的 ETL 实现的，不过须要写不少的 Script 脚本且语法与咱们传统 Script 有些不一样，须要花费必定的精力来学习。前端时间正好帮助 QlikView 开发的同事写了一个 C# 程序嵌入 QlikView 解决了它自身的的一个 Encoding 的 Bug 问题，领略了一下 QlikView 独特的语法魅力，很是有意思。

 

对于永洪敏捷 BI 的这套工具的理解可能也存在片面之处，烦请专业人员指出。

心痛的微软 BI 前端

愈来愈多的数据分析前端工具在最近几年不断推出，不管是国外的 QlikView, QlikSense, Tableau，仍是国内的永洪科技，Smartbi 等等，说明都很看重基于大数据量的数据分析与展示这一块的市场。而且在不一样的版本的迅速迭代上逐步的完善了已有功能，并推出新的功能，新的系列。就如同 QlikTech 在 2014年8月先后推出的 QlikSense 同样，产品的更迭，定位变化的很是快。反观微软 BI 在前端展示上的表如今最近不少年在市场上几乎没有太大的进展，通常人以为这个不该该，可是事实上就是如此。

(2014年 BI 市场 Leaders，微软总体其实表现很是不错，Tableau 和 Qlik 都是前端报表数据分析工具)

 

首先微软BI 是一套完整的企业级 BI 应用框架，不只具有 ETL 的实现（SSIS - SQL Server Integration Services），也基本分析服务，多维数据分析的实现（SSAS - SQL Server Analysis Service），也具有前端报表展示（SSRS - SQL Server Reporting Service）。除此以外，还有基于 Office Excel 的 PowerPivot Drag and Drop 自助分析产品，在 Office 2013 系列中还有像 PowerView 这种在前端部分展示效果上能够与 QlikView, QlikSense, Tableau 进行 PK 的工具。不所谓不强大，整个体系全面且互相衔接，兼容性，平台性都很是的统一。一套产品便可完成一个完整的 BI 解决方案，应该来讲这种表如今全部 BI 解决方案提供商中绝对是顶尖的。

可是为何又感受到乏力呢？  ETL 这部分的实现是没有任何问题的，能够应用于绝大部分 BI 解决方案中，对于 SSAS 也能够暂时不提，主要要说的是 SSRS Reporting 的表现。

做为微软 BI 解决方案三大模块之一的（SSIS, SSRS, SSAS）的 SSRS 自 SQL Server 2005 版本开始，到 2008 版本能够说是一个里程碑，在功能上有很大的改变和提高。可是从 SQL Server 2008 R2 开始到 2012， 到如今的 2014 能够说基本上没有任何变化。单一的控件，繁杂的配置属性，让默认的页面看起来很是难看。这种报表开发不只仅要求对业务，数据的把握很所有，并且须要报表开发花大量的时间解决页面布局，属性技巧，颜色搭配等效果，而不是专一于业务自己，数据自己。若是可以让报表开发从报表设计中剥离出来，专一于提供更好的数据展示，数据质量，这将会极大的提高工做效率。

 

而且，特别是 SSRS 工做的方式，从数据源取数据，到建立临时报表，到交付给 IIS 最后在浏览器中渲染并呈现。每一次点击页面有交互的效果就是这么一个过程，除非利用缓存。也就是说每一次交互都须要重复的不断的检索数据，在大数据量的查询前提下，很显然很难知足这种灵活交互和快速响应的要求。

 

但并非微软没有作，微软把这部分作在了 Office 中，就此出现了 PowerPivot 和基于 PowerPivot 的很强大的 PowerView。Self-BI 的概念就是微软在这套产品中提出的一个亮点，但愿借助于 Office Excel Self-BI 的特色实现对企业用户 BI 市场上的占领。PowerPivot，PowerView 强大不强大，也很强大，的确能够实现 Self-BI 的效果。可是有一点，若是须要将这些内容部署并经过 WEB 方式共享和访问的时候就须要搭配 SharePoint  产品的。固然这中作法没有错，QlikView, QlikSense, Tableau 也是这么干的，它们也有本身的 Server 和 Publisher，可是对比起来它们的 Self-BI 不管是从客户端仍是到服务器端整个搭配起来的功能和效果无疑要远远强于 SharePoint + Office Excel，既然这样有为何要选择 SharePoint + Office Excel 模式呢？ 既然能脱离这种捆绑销售，那么天然就会有更多的选择。

 

因此从 2008年到如今的 2014年，微软 BI 在前端工具的发展很明显的是偏向了 SharePoint + Office Excel 模式，而在 SSRS 部分没有丝毫的提高，如同鸡肋通常。可是至少从我如今的圈子里的朋友中，只有少数的选择 Office Excel + SharePoint 模式，更多的选择愈来愈变得抛弃 Office Excel 而选择了其它的第三方报表工具，好比 Cognos，QlikView，QlikSense 等等。

 

固然并不会出现这种 Self-BI 会彻底代替 SSRS 的状况，SSRS 适用于面向主题的静态的数据呈现，好比这种企业级的定制化的报表。像 Office Excel ,QlikView, Tableau, 永洪科技的敏捷 BI 它们更多的用语业务人员自身的数据分析，部门级的我的级的数据分析与呈现，且主题和内容不固定。

 

做为一个微软 BI 开发，固然仍是但愿微软 BI 可以发展的更好，微软也是时候看看身边的这些大数据，数据分析，报表呈现的各类产品了。若是失掉前端产品的市场份额，一旦 ETL 部分被其它更轻量更灵活的 ETL 工具所代替，那么微软 BI 的整个解决方案和框架将会被其它解决方案所代替。

 

就如同如今的数据分析工具，是彻底能够不依赖于数据仓库，不须要 CUBE 只须要一个大平面表就能够完成数据分析和展示，交互的过程的。数据仓库解决的是什么问题，面向过去的历史增量数据的统一的收集，具体固定的分析事实的维度。如今不少工具彻底能够解决增量加载的历史数据问题，也不须要构建标准的维度就能够完成数据分析的过程。CUBE 用来作什么，大数据量的预先聚合计算问题，空间换时间。可是如今这种大数据量的聚合计算的效率在不少前端报表工具上已经获得了很好的解决，大数据量并发访问都也已经不是问题。若是这么想下去，拿掉 SSAS, 拿掉 数据仓库，拿掉 SSRS 微软 BI 还剩下什么可以在 BI 市场上与各豪强抗衡？  我相信这个问题不只仅是微软遇到的问题，也多是其它不少 BI 解决方案提供商会遇到的问题。

 

我为何要关注这个问题，关注微软BI，由于目前我是吃这碗饭的。在不饿肚子还能养家糊口的前提下仍是能抗上几年，相信微软可以在将来的 BI 产品中完成升级，改造，多多尊重一下用户体验和开发体验，多多吸取一些成功的产品的经验。手机巨人 NOKIA 不也能轰然倒下吗？ 微软 BI 为何就必定能保证不被战胜？ 学习如逆水行舟，不进则退，产品不也是如此吗？

 

若是哪一天微软 BI 真的不争气被各豪强 PK 掉了，我只能说世道不易，出门在外要饭多带几个碗仍是好的 - 汪汪汪！

 

一年前正好写了一篇文章，作了一个图片，今天刚好又是圣诞节，正好能够用上了！祝博客园的朋友们 - 你们圣诞节快乐，2015年新年快乐！