一款低延迟的分布式数据库同步系统--databus

　　一款低延迟的分布式数据库同步系统每次看到马路对面摩托罗拉的大牌子，都想起谷歌125亿美圆收购摩托罗拉移动，后来又以29亿美圆卖给联想的事情。谷歌所作的决策都比较考虑长远利益，在这串交易中，谷歌得到了摩托罗拉最有价值的几千项专利，稳健了Android的生态。谷歌曾经在美国一个地区占用巨大的面积创建了太阳能发电站，人称“烤鸟”项目。由于鸟儿今后地飞过会由于太热而从天上掉下来变成熟鸟。而产生的电能仅够一个小村庄使用。可是正是这种愿意去尝试才推进了科技的发展。让谷歌这么多年屹立不倒。
　　
　　是LinkedIn开源的一款低延迟的分布式数据库同步系统（a source-agnostic distributed change data capture system），它提供可靠的数据捕获、流转和数据处理功能。
　　
　　应用场景：主要应用场景：跨部门之间或者跨机房之间进行数据库的数据订阅。同类产品有阿里的canal。支持www.yunduanpingtai.cn Oracle和Mysql数据库。
　　
　　和canal同样，数据都是基于数据库日志挖掘来作的。我以前的博客也提到了，当今的数据处理大体能够分为两类：联机事务处理OLTP(OnLine www.tianhengyl1.com Transaction Processing)和联机分析处理OLAP(OnLine Analytical Processing)。
　　
　　OLTP是传统的关系型数据库的主要应用，主要是基本的、平常的事务处理，例如银行交易。可是日常所说的OLTP是集成到SQL Server中的数据库引擎组件，由于微软有个白皮书《SQL Server In-Memory OLTP Internals www.lgzxyl.com Overview》。可是OLTP实际上能够称之为：面向交易的实时处理系统。性能指标是TPS。
　　
　　OLAP是快速响应多维分析的一种解决方案。面向的数据源是数据仓库。支持复杂的分析操做，侧重决策支持，而且提供直观易懂的查询结果。
　　
　　再回来讲Databus，Databus最重要的特色是其无限回溯功能。当消费者完整数据拷贝，或者消费者的已有数据和主OLTP数据库相差很大时可以低延时的进行同步。
　　
　　核心组件：的核心组件是 Relay。主要负责两个工做：1>从Databus源数据库中读取变化行，并序列化为事件流保存至内存中。
　　
　　2>接受客户端的请求，并将数据变化事件流返回给客户端。
　　
　　实现原理：使用了open-replocator做为获取数据库变动事件的组件。功能是实时获取mysql的binlog日志，并封装成Event对象，而后调用已注册的listener进行处理。
　　
　　技术架构：用来读取数据库的变化事件，转化为AVRO类型并存储至内存中。
　　
　　下面说说AVRO. Apache Avro是一个独立于编程语言的数据序列化系统，该项目由Hadoop之父牵头建立。它能够提供：丰富的数据结构类型，快速可压缩的二进制数据形式，存储持久数据的文件容器，远程过程调用，同动态语言的简单集成。读写数据文件和使用RPC协议都不须要生成代码，而代码生成做为一种可选的优化只值得在静态类型语言中实现。
　　
　　有一个或多个环形的缓冲池用来保存按递增的系统变化号(SCN)为顺序的变化事件。
　　
　　细心的读者会发现每一个中间件都有本身比较独特的缓冲策略，这种缓冲策略很大成熟决定了此中间件的好坏。
　　
　　用来读取和吸入SCN号至硬盘。
　　
　　它暴露一个restful接口，用来推送数据变化事件至客户端。
　　
　　源码：是用java开发的。github地址是：https://www.hjd1956.com/。
　　
　　跑题时间：自从毕业后上班开始就时不时本身可以感受到一些问题。好比：比较着急的时候我眉头是紧锁着的，说话客气不起来了。再好比我说话的方式也是技巧不足的。这些看起来不是核心的问题如今倒是个人第一要务。由于以前有问题不要紧，我不作管理，我就管我本身。那么这些小毛病顶多影响我本身。如今个人不少决定都直接影响到咱们团队。
　　
　　因此，在实际影响范围可控的状况下，我反而会将问题更明显出来，本身制造些小矛盾。为何这么作呢，由于我历来不作“你们都说这样作是对的”的事情。我只作本身内心彻底接受的事情。
　　
　　以前认识个人人都知道我嗓门很大。如今好一点了，虽然也有时会忘了下降嗓门。我娘家在咱们镇上最繁华的地段，后面是菜市场。天天早上3点就很吵了。我屋的窗户正好对着市场。因此我从小练就了“再吵和我不要紧”的本事，因此我对噪音很不敏感。因此我是花了很大力气才让本身内心彻底接受了“这样会打扰别人，最好的音量是不要太大，震到别人耳朵，也不要过小，别人听不清”
　　
　　我如今须要让本身了解到本身的问题会产生什么样的后果，确实是有问题的。可是这样作确实是很笨的方法。聪明人是本身彻底能够预见到的，人生会走不少弯路。
　　
　　我工做十年，实质性的提升是没有的。刚毕业的时候，个人学历差很少就是目前所在这个级别的公司。人人，乐视，新美大。并无级别上的提高，反而职级上比同届的要低。
　　
　　跟别人相比，可能我一年过了日语1级，去过日本。后来去过美国硅谷。也有上百个专利。我在想这些为何都没能给我带来实实在在的好处。
　　
　　我学语言能力确实很强，可是我单纯只想作技术。本身的任性是要有代价的。代价就是语言能力没有用武之地。
　　
　　去过日本和硅谷，这是工做机遇，并非什么能力。应该给我带来的是气质，谈吐。可是个人气质和谈吐并无上去。也就是我白去了，去了没学到东西。素养没提升。
　　
　　专利是要真正给公司带来利益才有价值的，和数量没有关系。我并无哪一个专利特别好，发挥了特牛逼的做用。
　　
　　总的来看，我是一个很是普通，还有1个半月就过31岁生日的老技术。彻底没有优点。而且，我还有点浮躁。
　　
　　去乐视以前，个人每一次努力都发生在不得不努力的时候。升学前，由于担忧，考不上怎么办呀，因而努力成绩上去了。危机没了又回到原来。上班有任务压我，我就努力干。由于干不完怎么办呀，这是个人责任。而后基本就是忙一个月两个月闲个半年。
　　
　　去乐视的时候，我有个好开头。为何呢，由于去乐视以前，我本身趟了趟浑水，固然不是工做上的。可是我在乐视的时间本身都很郁闷。直到最后我在本身脸上身上刻了好几个疤，近1年才好，这段时间我都在郁闷本身身上的疤，原来由于什么事情郁闷彻底都不记得了。因此这是我最不浮躁的一段时间。不过，我以为和别人相比，也挺浮躁的。
　　
　　如今来讲，我以为起点是很低的。忽然以为本身一无全部。可是好歹各个阶段该作的事情都作了，该试的错也实实在在试过了。我获得了我真正想获得的东西。放弃的，都是本身以为不值得。就剩一件事了，我想在工做上达到我应该达到的高度。由于IT行业对年龄和女孩子都是很残酷的。我不图名，不图利，不爱权利，可是我想工做。
　　
　　如今的公司，你们都有我不少我值得学习的地方。不跟着别人学，自身的成长也须要不少的提升。方法论方面，架构方面。我还不能拖的时间很长来适应，我须要尽快可以有一些时间，天天写点代码，根本的东西不想放下。
　　
　　一直以来都不喜欢被别人叫老。也一直以来都没成熟大方得体。有时候头发很乱，有时候不经考虑。这是年轻，但愿别人喜欢本身本来的样子。如今，愈来愈多的考虑怎么把事情作好。静儿的文章哪有不秀恩爱的。今天我只想说谢谢男神在我还年轻的时候遇到我，一心作事情的人恐怕不会再爱上谁。