Spark记一次Spark Yarn Shuffle Service升级引发的血案 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都知道可以通过这个外部服务来削减Executor自身在shuffle过程中的压力，且得益于这个服务的常驻特性，Shuffle Write的文件可以跟着这个服务走，就可以实现动态资源分配等Spark的高级特性。 ……继续阅读 »
