spark ui中executor显示的内存量与设置的内存量不符的问题
……继续阅读 »
前言
有赞数据平台从2017年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量5000个，占离线作业数目的55%，消耗的 cpu 资源占集群总资源的50%左右。本文介绍由 SparkSQL 替换 Hive 过程中碰到的问题以及处理经验和优化建议，包括以下方面的内容：
有赞数据平台的整体架构。
……继续阅读 »
总结
调用 TaskSchedulerImpl.start 方法启动 TaskScheduler 时会调用 SchedulerBackend.start 方法启动 SchedulerBackend；
SchedulerBackend 是 TaskScheduler 的后台线程，用于接收处理一些发给 TaskScheduler 的消息；
StandaloneS……继续阅读 »
spark streaming源码解读之基于贯通
……继续阅读 »
