延迟调度总结

流式计算的调度复杂性在于须要考虑公平性和数据本地化。

FIFO调度
FIFO是一个简单的调度策略，适合用于做业并发少，或者无做业并发，且做业的map任务数量大，最好是大于等于集群的slot数量。FIFO调度中经典的两个问题

head-of-line
小做业，多做业并发的场景，量化数据本地化的公式为，为总的slot，为map任务须要的slot

sticky slots
大做业，多做业并发，slot数量小于总做业所需的slot数。做业能达到的最大本地化是

延迟调度
适用于大做业、适用于小做业、适用于长做业。延迟调度是一个综合表现比较好的调度策略。注意：大量做业并发也会存在数据本地化偏低的状况。

Hadoop延迟调试

1. 多级延迟调度

2. map任务作延迟调度，reduce任务不作延迟调度

3. 本地化公式：=73%

D：每秒能释放的slot=S/T