Sparn On Yarn启动流程源码分析
……继续阅读 »
占位符#########################################################
……继续阅读 »
深入理解Spark 2.1 Core （一）：RDD的原理与源码分析
……继续阅读 »
自 Google Dataflow 模型被提出以来，流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性，提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本，但同时这对计算引擎来说是一个很大的挑战。
作为 Dataflow ……继续阅读 »
scala的IDE选择，助你提升开发效率，过年前就定(chui)下了目(niu)标(bi)，今年要学习一下Scala和Spark赶一下潮流。谁叫落后就要挨打呢，程序员只能不停的学习。一个语言，学习的第一步必定是搭建环境和熟悉语法。
……继续阅读 »
1. 偏函数
偏函数(Partial Function)，是一个数学概念它不是”函数”的一种, 它跟函数是平行的概念。
Scala中的Partia Function是一个Trait，其的类型为PartialFunction[A,B]，其中接收一个类型为A的参数，返回一个类型为B的结果。
举个例子
scala> val pf:P……继续阅读 »
1. 抽象类
Scala 的抽象类跟Java的一样，不能被实例化。
1.1抽象字段
抽象类中，变量不使用就无需初始化，可以等到子类继承时再进行初始化。
scala> abstract class Animal {
| val name:String // 抽象字段，没有带初始值
| }
defined class Animal……继续阅读 »
Scala的基础语法
继上一篇的基础语法之后，我又整理了一些个人学习过程中认为比较重要的语法。
1. if/else 表达式
1.1 替代三目运算符
先用 Java 来写一段三目运算符的代码
int i = 10;
int j = i>5?i:5
Scala 由于没有 Java 的三目运算符(?:)，不过好在可以用 if/else 表达式替代它。
……继续阅读 »
终于来到面向对象的地方了，虽说函数式编程是 Scala 的特性，让人们觉得 Scala 是更好的 Java。但是在架构层面上一直提倡着：小处用函数式编程，大处用面向对象编程。
……继续阅读 »
1. Sealed Class
1.1 sealed class
先上一段代码，看看sealed是怎么使用的
scala> sealed abstract class Drawing
defined class Drawing
scala> case class Point(x: Int, y: Int) extends Drawing
def……继续阅读 »
