19-02-09(19-02-15补)web
简介:客户案例——当前数据——数据增加算法
单机架构(存储空间的压力、计算资源的压力)->分布式文件系统(遭遇IO瓶颈、RBD块设备被无端卸载)apache
->NFS架构(缓冲文件致使删除不完全、性能、内网带宽、横向扩展)编程
->分布式架构性能优化
19-02-10(19-02-16补)网络
移动视频大时代架构
传输的挑战:内容生产与消费闭环;短视频;直播app
一些尝试async
KTP Kuaishou Transmission Protocol分布式
KTP架构,KTP的特性
优化实践:短视频上传、直播推流、实时连麦
KTP优化,视频质量预测,强化学习决策;拉流优化,智能调度
19-02-11(19-02-16补)
同构开发的挑战,产品的定位:WebPage->WebApp。须要:组件化能力,响应式编程能力
Vue Server Side Render的踩坑之旅:Cookie穿透、Dom Only API、内存泄漏
从新定义数据层,问题:接口数据的生命,资源的转换。绕不开的asyncData
从新定义Model
Observable
快手游戏直播
19-02-12(19-02-17补)
快手背后的技术挑战:解决十亿级“长尾”视频的高效分发
快手服务架构简化示意,服务化面临的挑战,服务治理基本需求
方案选型:基于开源方案二次开发、自研方案
常见服务治理方案
痛点:服务治理平台自身的可用性,多地多数据中心拓扑、配置分发高可用设计、服务发现高可用设计;跨数据中心的路由管理;有状态服务管理,状态迁移:扩缩容及失效备援;复杂服务网络的监控
RPC Monitor核心功能,快速故障定位
应用现状
19-02-13(19-02-17补)
快手OLAP平台发展历程
业务背景
OLAP平台技术选型
Druid系统架构,Druid数据预聚合,Druid Bitmap索引,Druid I/O,
集群稳定性设计:资源隔离部署方案
性能优化:物化视图;性能优化:元数据交互加速
资源利用率改进:Indexing service调度优化
易用性提高:集群管理系统,数据源管理系统、Druid探针系统、数据可视化工具(Superset)
快手对Superset的主要改进点
将来OLAP工做计划
19-02-14(19-02-18补)
Noah监控平台
需求->业务模型
高级异常检测的困境,高级异常监测的需求
解决方案:策略运行平台
报警通告系统,精准生成异常事件
防止核心告警遗漏,逐级通告例子
报警发送、报警渲染、报警合并,合并流程
可用性建设,漏报警的缘由,TRACE系统
19-02-15(19-02-18补)
The challenges
Enhanced Capacity Scheduler
Load Balance-Node Scores
Load Balance-Reschedule
Resource Oversubscription
Hybrid Cluster