极客时间每日一课(三)

19-02-09(19-02-15补)web

Topic——解密码云:全球第二大代码托管平台的核心架构_周凯

简介:客户案例——当前数据——数据增加算法

单机架构(存储空间的压力、计算资源的压力)->分布式文件系统(遭遇IO瓶颈、RBD块设备被无端卸载)apache

->NFS架构(缓冲文件致使删除不完全、性能、内网带宽、横向扩展)编程

->分布式架构性能优化

19-02-10(19-02-16补)网络

快手多媒体传播算法优化时间_周超

移动视频大时代架构

传输的挑战:内容生产与消费闭环;短视频;直播app

一些尝试async

KTP Kuaishou Transmission Protocol分布式

KTP架构,KTP的特性

优化实践:短视频上传、直播推流、实时连麦

KTP优化,视频质量预测,强化学习决策;拉流优化,智能调度

19-02-11(19-02-16补)

当GraphQL遇到Observable——同构Web App的另外一种探索_于天翔

同构开发的挑战,产品的定位:WebPage->WebApp。须要:组件化能力,响应式编程能力

Vue Server Side Render的踩坑之旅:Cookie穿透、Dom Only API、内存泄漏

从新定义数据层,问题:接口数据的生命,资源的转换。绕不开的asyncData

从新定义Model

Observable

快手游戏直播

19-02-12(19-02-17补)

快手服务治理平台KESS的设计理念和实战_曹福祥

快手背后的技术挑战:解决十亿级“长尾”视频的高效分发

快手服务架构简化示意,服务化面临的挑战,服务治理基本需求

方案选型:基于开源方案二次开发、自研方案

常见服务治理方案

痛点:服务治理平台自身的可用性,多地多数据中心拓扑、配置分发高可用设计、服务发现高可用设计;跨数据中心的路由管理;有状态服务管理,状态迁移:扩缩容及失效备援;复杂服务网络的监控

RPC Monitor核心功能,快速故障定位

应用现状

19-02-13(19-02-17补)

快手万亿级实时OLAP平台的建设与实践_李远策

快手OLAP平台发展历程

业务背景

OLAP平台技术选型

Druid系统架构,Druid数据预聚合,Druid Bitmap索引,Druid I/O,

集群稳定性设计:资源隔离部署方案

性能优化:物化视图;性能优化:元数据交互加速

资源利用率改进:Indexing service调度优化

易用性提高:集群管理系统,数据源管理系统、Druid探针系统、数据可视化工具(Superset)

快手对Superset的主要改进点

将来OLAP工做计划

19-02-14(19-02-18补)

百度云报警通告系统的下一幕_周伟

Noah监控平台

需求->业务模型

高级异常检测的困境,高级异常监测的需求

解决方案:策略运行平台

报警通告系统,精准生成异常事件

防止核心告警遗漏,逐级通告例子

报警发送、报警渲染、报警合并,合并流程

可用性建设,漏报警的缘由,TRACE系统

19-02-15(19-02-18补)

Apache Hadoop YARN:state of the Union In Alibaba_任春德

The challenges

Enhanced Capacity Scheduler

Load Balance-Node Scores

Load Balance-Reschedule

Resource Oversubscription

Hybrid Cluster

相关文章
相关标签/搜索