资料下载 | 58同城HBase平台及生态建设实践

前言：2020年3月7日晚7点，大佬张祥在微信群向你们详细介绍了58同城HBase平台及其生态的建设实践与相关经验，确实讲得很好。今天花了点时间帮你们整理了一下，但愿更多的没有参与直播的朋友可以看到它，也欢迎你们积极转发一下，视频与PPT相关资料附于文末。

亮点在哪

该分享的亮点在哪儿里呢？这里我就本身的理解阐述一下本身的想法，不喜勿喷哈~

1. 数据接入层

第一个亮点是：58同城在HBase之上作了进一步封装（SCF），融入了微服务，充分利用了微服务的优点和特色，好比熔断、监控、权限、动态扩缩容等等均可以在这一层作，虽然也多了一层运维成本，但微服务技术应该也算有比较成熟的体系了。

以前也听过诸多言论，好比HBase之上封装一层HTTP或是RPC服务会致使性能下降之类的说法，其实我却是以为影响仍是比较小的，固然确定会有些影响。对性能影响比较大的只多是过分封装或是对HTTP/RPC框架不熟。

固然，性能与服务器成本是挂钩的，性能的提高会带来服务器成本的下降，诸多好处和不足还应权衡一下。58同城，也算是在这一方面开了一个不错的先例（恕我孤陋寡闻~）。

2. 多租户打通与数据隔离

听完整个视频，我以为第二个亮点算是多租户的全线打通了，这里主要是一个解决方式：Hadoop ugi 的提出。多是我孤陋寡闻吧，这个对个人启发确实挺大的，由于正好能够解决本身在工做中遇到的一个比较头疼的问题：基于Kerberos过重，如何打通HBase的受权与鉴权，并充分利用HBase ACL？若是你也有这个困惑，能够了解一下。

3. 集群迁移方案

第三个亮点，是一套新的集群迁移方案的提出。以往的贴大都是Snapshot+Replication的方式作这个迁移工做，58首先提出了一个集群双写的方案（恕我孤陋寡闻~），感受挺好。你们能够详细看看视频，张祥讲解的也很清楚。

答疑解惑

答疑环节呢比较少，这里把微信群里屈指可数的几个问题贴一下：

1. 集群迁移为何不直接snapshot+export_snapshot?

张祥: “
你这个方式慢，snapshot-export这个工具慢 你试试
并且，若是以前的老表 分区不合理，好比过大或者太小，你这样就很差从新建立新分区了”

2. clone-snapshot之后，major_compact主要是什么考虑？合并小文件吗？仍是？

张祥: “
把一个表复制一下，作个深度拷贝，而不是副本引用。”

3. 数据接入层，多租户RPC长连接建立后是如何实现用户动态切换的？我目前的理解HBase是在创建链接前指定用户。

张祥: “ugi”

资料分享

在线视频播放地址：
微信视频：https://mp.weixin.qq.com/s/pUhsvUaznySryItwjWTjQg
斗鱼直播：https://www.douyu.com/5022062
腾讯视频：https://v.qq.com/x/page/g3078klzfwj.html

PPT下载地址：

百度云：
连接：https://pan.baidu.com/s/1fAnxS4bSj9HShMOkiFMWfA
提取码：um8a

转载请注明出处！欢迎关注本人微信公众号【HBase工做笔记】