Hadoop 安装教程

一、创建hadoop用户

# 创建新用户hadoop 并使用 /bin/bash 作为shell useradd -m hadoop -s /bin/bash # 修改密码 passwd hadoop

二、增加管理员权限

visudo

root ALL=(ALL) ALL 下增加一行 hadoop ALL=(ALL) ALL

三、安装并配置SSH无密码登陆

# 默认已安装 rpm -qa | grep ssh # 测试 ssh localhost

配置成SSH无密码登陆

# 若没有该目录，请先执行一次ssh localhost cd ~/.ssh/ # 会有提示，都按回车就可以 ssh-keygen -t rsa # 加入授权 cat id_rsa.pub >> authorized_keys # 修改文件权限 chmod 600 ./authorized_keys

四、安装hadoop

通过 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载， 本教程选择的是 2.7.2 版本，下载时请下载 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。建议同时下载hadoop-2.x.y.tar.gz.mds检测hadoop完整性。

# 列出md5检验值 head -n 6 hadoop-2.7.2.tar.gz.mds # 计算md5值，并转化为大写，方便比较 md5sum hadoop-2.7.2.tar.gz | tr "a-z" "A-Z" # 解压到/usr/local中 sudo tar -zxf hadoop-2.7.2.tar.gz -C /usr/local cd /usr/local/ sudo mv hadoop-2.7.2/ hadoop sudo chown -R hadoop:hadoop ./hadoop

测试

cd /usr/local/hadoop mkdir ./input # 将配置文件作为输入文件 cp ./etc/hadoop/*.xml ./input ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' # 查看运行结果 cat ./output/*