Hadoop单机环境搭建

1. 安装linux系统(以centos 6.5为例) 2. 关闭防火墙

关闭命令： service iptables stop 永久关闭防火墙：chkconfig iptables off 查看防火墙关闭状态： chkconfig iptables --list

3. 修改IP配置文件

vim /etc/udev/rules.d/70-persistent-net.rules

拿到address: 00:手动马赛克:6b

vim /etc/sysconfig/network-scripts/ifcfg-eth0 修改这个BOOTPROTO=static #static，静态ip，而不是dhcp，自动获取ip地址。

替换HWADDR地址，然后加入

IPADDR=192.168.25.101 GATEWAY=192.168.25.2 DNS1=192.168.25.2

修改计算机名称

vim /etc/sysconfig/network HOSTNAME=hadoop101

修改hosts

vim /etc/hosts 192.168.25.100 hadoop100 192.168.25.101 hadoop101 192.168.25.102 hadoop102 192.168.25.103 hadoop103 192.168.25.104 hadoop104 192.168.25.105 hadoop105 192.168.25.106 hadoop106

修改windows下的名称映射 C:\Windows\System32\drivers\etc 编辑hosts文件加入上面的那些

ping不通什么的问题: https://blog.csdn.net/psl1234554321/article/details/75269150 https://blog.csdn.net/shaonaozu/article/details/12869185 其他参考修改静态ip问题: https://blog.csdn.net/u012453843/article/details/52839105

4. 修改登录用户的权限

vim /etc/sudoers joker ALL=(ALL) ALL

5. 上传jdk1.8与hadoop2.7.2到Linux环境

6. 安装jdk https://blog.csdn.net/qq_35641192/article/details/77856609

7. 安装hadoop 解压到对应文件夹下:

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

配置环境变量:

vim /etc/profile #HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin source /etc/profile hadoop version #配置成功输入显示版本号

配置分布式环境，去下面的目录/opt/module/hadoop-2.7.2/etc/hadoop

echo $JAVA_HOME /opt/module/jdk1.8.0_151 #拿到javahome路径 vim hadoop-env.sh #修改export JAVA_HOME=${JAVA_HOME} export JAVA_HOME=/opt/module/jdk1.8.0_151

官方demo演示1：

/opt/module/hadoop-2.7.2 mkdir input cp etc/hadoop/*.xml ./input/ #hadoop以jar的方式运行hadoop-mapreduce-examples-2.7.2.jar里的grep这个demo，输入里面的文件以正则匹配后放入输出文件夹(输出文件夹如果事先存在会报错) hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+' [root@hadoop101 hadoop-2.7.2]# ls output/ part-r-00000 _SUCCESS [root@hadoop101 hadoop-2.7.2]# cat output/part-r-00000 1 dfsadmin

官方demo演示2：

[root@hadoop101 hadoop-2.7.2]# pwd /opt/module/hadoop-2.7.2 mkdir wcinput vim wcinput/wc.input hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput [root@hadoop101 hadoop-2.7.2]# ll wcoutput/ -rw-r--r--. 1 root root 63 5月 4 07:09 part-r-00000 -rw-r--r--. 1 root root 0 5月 4 07:09 _SUCCESS [root@hadoop101 hadoop-2.7.2]# cat wcoutput/part-r-00000 hadoop 2 hbase 1 hive 1 jokerda 2 kalfka 1 spark 1 zookeeper 1