首先声明下,本人最近因毕设刚接触Hadoop,换Mac没多久,一开始对终端指令的输入也不是很熟悉,之前接触编程也比较少,所以文章中不足的地方请指教。在两周的摸索后,终于搞定了Hadoop的手动安装,这里用通俗的语言写篇文章给一些零基础想学Hadoop的Mac端的用户,顺便记录下自己摸索历程。
一、检测JDK版本
打开terminal ,输入java –version 查看JDK版本
二、安装Hadoop
方法一:使用Homebrew
在安装了Homebrew后,打开终端输入指令:brew installHadoop
注:Homebrew的安装以及其他指令可以直接在Homebrew官网https://brew.sh上查看;
Homebrew目前版本只支持安装软件工具的最新版本,老版本的brew versions <formula>指令目前没有了;
方法二:手动安装
下载Hadoop: http://hadoop.apache.org/releases.html
1、下载好hadoop后,解压到任意工程目录
2、进入hadoop配置目录
三、配置Hadoop:在etc/hadoop目录下
1、配置hadoop环境
进入 hadoop-env.sh文件
exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home (JAVA_HOME路径,一般安装的路径就是这个,注意更换JDK版本)
export HADOOP_HEAPSIZE=2000
exportHADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
2、配置NameNode主机名与端口
进入 core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/k/hadoop-2.7.2/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8000</value>
</property>
</configuration>
3、配置HDFS的默认参数副本数
进入hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、配置JobTracker主机名与端口
进入mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>
注:如果mapred-site.xml文件不存在,需要自己创建(复制mapred-site.xml.template文件对后缀名进行修改)
5、进入yarn-site.xml文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6、格式化文件系统:(注意如果不能运行,在terminal里指定bin的目录)
$ bin/hdfs namenode -format (指定其安装目录的路径)
7、启动NameNode和DataNode的守护进程。 $ sbin/start-dfs.sh
8、启动ResourceManager和NodeManager的守护进程。 $ sbin/start-yarn.sh
9、验证hadoop
打开http://localhost:50070,进入hdfs管理页面
打开http://localhost:8088,进入hadoop进程管理页面
注:Hadoop1.5版本后,http://localhost:50030不存在了
