Hadoop系列5:安装模式

xiaoxiao2021-02-28  53

一、安装模式

单机模式:不能使用HDFS,只能使用MapReduce,所以单机模式最主要的目的是在本机调试Mapreduce代码

伪分布式模式:用多个县城模拟多台真实机器,及模拟真实的分布式环境

完全分布式模式:用多台机器来完成部署集群

二、伪分布式安装

1.关闭防火墙

   chkconfig iptables off

2.修改服务器名称

   vim /etc/sysconfig/network

   修改host=hadoop1

3.vim /etc/hosts

   127.0.0.1   localhost   ::1         localhost

   192.168.163.129 hadoop1

4.配置免密钥登录

   ssh-keygen

   ssh-copy-id root@hadoop1

三、hadoop安装

etc/hadoop/

1.vim hadoop-env.sh

export JAVA_HOME=/home/software/jdk

export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop

2.vim core-site.xml

配置namenode <property> <name>fs.default.name</name> <value>hdfs://hadoop1:9000</value> </property> 元数据存储路径 <property> <name>hadoop.tmp.dir</name> <value>/home/software/hadoop-2.7.1/tmp</value> </property>

3.vim hdfs-site.xml

   副本数量:伪分布式写1,完全分布写3+

<property> <name>dfs.replication</name> <value>1</value> </property>

4.cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>5.yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

6.vim slaves

hadoop1

hadoop2

hadoop3

6.cd /home/sof.../hadoop

mkdir tmp

7.配置hadoop环境变量

JAVA_HOME=/home/software/jdk1.8.0_65 HADOOP_HOME=/home/software/hadoop-2.7.1 PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME PATH CLASSPATH HADOOP_HOME

添加红色部分

四、hadoop使用

hadoop namenode -format

启动hdfs

sh start-dfs.sh 

jps查看是否有namenode datanode secondary ,有代表启动成功

停止

sh stop-dfs.sh

转载请注明原文地址: https://www.6miu.com/read-2626903.html

最新回复(0)