使用JMC工具对spark 程序调优(一)

spark调优是一个头疼的事,这个疼在什么地方呢? (1)spark将内部几乎完全封装,类似黑箱,不了解内部机理。 (2)spark 调优参数众多,参数之间关联很多,无法清晰知道调优效果。 (3)spark运行在集群上,本地调试功能有限。 如果谁能精通这三项,那就很厉害了,是不是?实际情况中,我们需要找出调优项,执行,并能看到明确的效果。为了调优,除了绞尽脑汁,钻研黑箱,还可以通过一些工具,提高效
相关文章
相关标签/搜索