标签:Spark

Spark

记一次Spark Yarn Shuffle Service升级引发的血案

记一次Spark Yarn Shuffle Service升级引发的血案
Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部,大家都知道可以通过这个外部服务来削减Executor自身在shuffle过程中的压力,且得益于这个服务的常驻特性,Shuffle Write的文件可以跟着这个服务走,就可以实现动态资源分配等Spark的高级特性。 ……继续阅读 »