摘要：大数据门槛较高，仅仅环境的搭建可能就要耗费我们大量的精力，本文总结了作者是如何搭建大数据环境的（单机版和集群版），希望能帮助学弟学妹们更快地走上大数据学习之路。
0. 准备安装包
1. Windows下安装Ubuntu双系统
Hadoop等大数据开源框架是不支持Windows系统的，所以需要先安装一个Linux双系统。当然，如果你有一台单……继续阅读 »
随着全球经济的不断发展，大数据时代早已悄悄到来，而Hadoop又是大数据环境的基础，想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0，也意味着一直有一群人在对Hadoop不断的做优化，不仅如此，各个Hadoop的商业版本也有好多公司正在使用，这也印证了它的商业价值。
读者可以通过阅读“一文读懂H……继续阅读 »
一、MapReduce2工作机制
1.1、MapReduce2的架构图
MapReduce2工作机制.png
1.2、MapReduce2运作步骤
说在前头的话，上图中有一个ResoureceManager，这是一个资源调度器，说白了就是管资源的，在MapReduce1时，所有的事情都是交给Jobtracker来做，包括资源调度，在MapRedu……继续阅读 »
一、YARN的诞生
在hadoop1.0版本是没有yarn的概念的，而在hadoop2.0版本以上才出现了yarn，人们是希望有一套合理的管理机制，来控制整个集群的资源管理，可以搭配多种计算框架比如MapReduce，spark等等，于是才出现了yarn。
二、YARN的基本架构
yarn和hdfs一样也是一个主从架构（master、slave），分为
R……继续阅读 »
