hadoop集群安装教程

Hadoop介绍： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

安装三台虚拟设备 在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。

网络ip设置 首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。让三台虚拟机置于当前网段下。这样就能进行通信了。具体操作可以在网上搜索，这里就不在叙述了。

安装jdk并设置 路径 首先将自己下载的包放在

/usr/local/src/

这样方便操作，然后解压jdk，

tar zxf jdk-6u45-linux-x64.bin

这时的jdk还不能使用，要使用必须在指定目录下使用，这里提供一种解决方案，当然其他的方式也有。感兴趣的可以在网上搜索。

vim ~/.bashrc //编辑此文件

在他的后面添加以下文件内容

export JAVA_HOME=/usr/local/src/jdk1.6.0_45 //这是jdk解压包的所在位置 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export PATH=$PATH:$JAVA_HOME/bin

然后让更改过后的~/.bashrc文件生效，

source ~/.bashrc

当然三台虚拟机的jdk必须都安装成功。且都是上述同一种方式。

4.安装hadoop集群

首先将hadoop安装包解压，将他放在

/usr/local/src/

此目录下，与jdk的目录一致。以便于更好的管理。

进入该目录下

cd /usr/local/src/hadoop-1.2.1

mkdir tmp //存放临时文件由这个目录管理 cd conf/ //此文件目录地下进行修改配置文件。

vim masters //更改为当前主机名 master

vim slaves //修改从节点 slave1 slave2

vim core-site.xml //修改此文件

hadoop.tmp.dir /usr/local/src/hadoop-1.2.1/tmp 1 //指定临时目录的地址 fs.default.name hdfs://192.168.184.10:9000 //配置NameNode的uri(统一定位符)

vim mapred-site.xml 修改该文件 mapred.job.tracker //指定job.tracker的工作端口 http://192.168.184.10:9001

vim hdfs-site.xml dfs.replication //数据在hdfs里面的副本数，一般是三个 3

vim hadoop-env.sh //配置该启动文件

export JAVA_HOME=/usr/local/src/jdk1.6.0_45 将java存放地址设置在该文件中。

vim /etc/hosts 192.168.184.10 master //配置主节点ip 192.168.184.11 slave1 //配置从节点ip 192.168.184.12 slave2 //配置从节点ip

配置此文件之后访问其他主机可以使用主机名访问 NETWORKING=yes HOSTNAME=master ///改动此文件 NTPSERVERARGS=iburst

使其生效 hostname master //临时生效

scp -rp hadoop-1.2.1 192.168.184.11:/usr/local/src 将hadoop解压过后的文件拷贝到另外两个节点上。

在两个从节点上， 修改 cd /etc/hosts 将主节点上的复制到这里

vim /etc/sysconfig/network 修改该文件hostname=从节点名称

hostname slave1 可以让节点临时名生效

关闭主从节点的防火墙 /etc/init.d/iptables stop

可能会影响网络传输。

关闭 setenforce 0

ssh-keygen 生成密钥 直接回车 每台主机的密钥都要生成 cd ~/.ssh/ 进入此文件 将每台主机的三个公钥都复制到 authorized_keys //包含三台机器的公钥

再进入cd /usr/local/src/hadoop-1.2.1/bin 目录底下

格式化hadoop ./hadoop namenode -formate //格式化 ./start-all.sh 启动hadoop集群 jps 查看当前状态

简单使用hadoop ./hadoop fs -ls / //查看当前环境

./hadoop fs -put /etc/passwd / //简单上传passwd文件

./hadoop fs -ls /

./hadoop fs -cat /passwd 查看内容

至此，hadoop有没有get到，哈哈哈