离线计算与实时批处理

1、为什么spark不适合做实时批处理?       答:比如spark on yarn的时候,申请资源的过程非常慢,即使是数据量小、计算简单的application,其申请资源的时间远大于计算的时间,但是可以尝试通过写一个boot服务,把sc该厂一个长(常)服务,控制在10-15秒以内是非常完美的 待续。。。
相关文章
相关标签/搜索