一、安装模式
单机模式:不能使用HDFS,只能使用MapReduce,所以单机模式最主要的目的是在本机调试Mapreduce代码
伪分布式模式:用多个县城模拟多台真实机器,及模拟真实的分布式环境
完全分布式模式:用多台机器来完成部署集群
二、伪分布式安装
1.关闭防火墙
chkconfig iptables off
2.修改服务器名称
vim /etc/sysconfig/network
修改host=hadoop1
3.vim /etc/hosts
127.0.0.1 localhost ::1 localhost
192.168.163.129 hadoop1
4.配置免密钥登录
ssh-keygen
ssh-copy-id root@hadoop1
三、hadoop安装
etc/hadoop/
1.vim hadoop-env.sh
export JAVA_HOME=/home/software/jdk
export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop
2.vim core-site.xml
配置namenode <property> <name>fs.default.name</name> <value>hdfs://hadoop1:9000</value> </property> 元数据存储路径 <property> <name>hadoop.tmp.dir</name> <value>/home/software/hadoop-2.7.1/tmp</value> </property>3.vim hdfs-site.xml
副本数量:伪分布式写1,完全分布写3+
<property> <name>dfs.replication</name> <value>1</value> </property>4.cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>5.yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>6.vim slaves
hadoop1
hadoop2
hadoop3
6.cd /home/sof.../hadoop
mkdir tmp
7.配置hadoop环境变量
JAVA_HOME=/home/software/jdk1.8.0_65 HADOOP_HOME=/home/software/hadoop-2.7.1 PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME PATH CLASSPATH HADOOP_HOME添加红色部分
四、hadoop使用
hadoop namenode -format
启动hdfs
sh start-dfs.sh
jps查看是否有namenode datanode secondary ,有代表启动成功
停止
sh stop-dfs.sh
