怎样安装部署Hadoop完全分布式

1、集群部署规划

2、1. 对集群角色的分配主要依靠配置文件制定，配置集群文件 （1）核心配置文件core-site.xml，该配置文件属于Hadoop的全局配置文件，主要进行配置分布式文件系统的入口地址NameNode的地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置

3、（2）Hadoop环境配置文件hadoop-env.sh，在这个配置文件中我们主要需要制定jdk的路径JAVA_HOME，避免程序运行中出现JAVA_HOME找不到的异常

4、（3） HDFS配置文件hdfs-site.xml，在这个配置文件中主要进行配置HDFS文件系统属性配置。

5、（4）YARN的环境配置文件yarn-env.sh，同样将JAVA_HOME路径配置指明。

6、（5）关于YARN的配置文件yarn-site.xml，其中配置YARN的相关参数，主要配置一下两个参数。

7、（6）mapreduce的环境配置文件mapred-env.sh，同样将JAVA_HOME路径配置指明。

8、（7）关于MapReduce的配置文件mapred-site.xml，主要配置一个参数，指明MapReduce的运行框架为YARN.

9、（8） 主节点NameNode和ResourceManager的角色在配置文件中已经做了配置，从节点的角色还需指定，配置文件slaves就是用来配置Hadoop集群中各个从节点角色的。如下，对slaves文件进行修改，即将3台节点全部指定为从节点，可以启动DataNode和NodeManager进程。

10、（9）在集群上分发配置好的Hadoop配置文件，这样3台节点即享有相同的Hadoop的配置，可准备通过不同的进程启动命令进行启动了。

11、（10）查看文件分发情况

12、创建数据目录根据core-site.xml中配置的分布式文件系统最终落地到各个数据节点上的本地磁盘位置信息/opt/module/hadoop-2.7.2/data/tmp，自行创建该目录。

13、 启动Hadoop集群（1）如果集群是第一次启动，需要格式化NameNode

14、（2）通过start-dfs.sh命令在配置了namenode的节点启动HDFS，即可同时启动所有的datanode和SecondaryNameNode节点。

15、（3）通过start-yarn.sh命令启动yarn，即可同时启动ResourceManager和所有的Nodemanager节点。需要注四歹吭毳意的是：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

16、通过jps命令可在各个节点上查看进程启动情况，显示如下所示即表示启动成功。

17、Web 曷决仙喁UI查看集群是否启动成功（1） 通过web端输入我们之前配置的NameNode节点地址和端口号50070我们可以查看HDFS文件系统，可以检查NameNode和DataNode是否正常。

18、2） 通过在web端输入配置ResourceManager节点地址和端口号8088，可以查看YARN上运行任务情况，查看本集群YARN运行情况。

19、运行PI实例检查集群是否启动成功在集群任意节点上执行下面的命令，如果看到如图3所示的执行结果，则说明集群启动成功。

20、最后输出为Estimated value of Pi is 3.20000000000000000000