Mac端Hadoop2.7.2的安装

xiaoxiao2021-02-28  52

首先声明下,本人最近因毕设刚接触Hadoop,换Mac没多久,一开始对终端指令的输入也不是很熟悉,之前接触编程也比较少,所以文章中不足的地方请指教。在两周的摸索后,终于搞定了Hadoop的手动安装,这里用通俗的语言写篇文章给一些零基础想学Hadoop的Mac端的用户,顺便记录下自己摸索历程。

一、检测JDK版本

打开terminal ,输入java –version 查看JDK版本

二、安装Hadoop

方法一:使用Homebrew

     在安装了Homebrew后,打开终端输入指令:brew installHadoop

 注:Homebrew的安装以及其他指令可以直接在Homebrew官网https://brew.sh上查看;

    Homebrew目前版本只支持安装软件工具的最新版本,老版本的brew versions <formula>指令目前没有了;

方法二:手动安装

    下载Hadoop: http://hadoop.apache.org/releases.html

1、下载好hadoop后,解压到任意工程目录

2、进入hadoop配置目录

三、配置Hadoop:在etc/hadoop目录下

1、配置hadoop环境

进入 hadoop-env.sh文件

exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home  (JAVA_HOME路径,一般安装的路径就是这个,注意更换JDK版本)

export HADOOP_HEAPSIZE=2000

exportHADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

2、配置NameNode主机名与端口

进入 core-site.xml文件

<configuration>

    <property>

       <name>hadoop.tmp.dir</name>

       <value>/Users/k/hadoop-2.7.2/tmp/hadoop-${user.name}</value>

       <description>A base for other temporary directories.</description>

    </property>

    <property>

       <name>fs.default.name</name>

       <value>hdfs://localhost:8000</value>

    </property>

</configuration>

3、配置HDFS的默认参数副本数

进入hdfs-site.xml文件

<configuration>

    <property>

       <name>dfs.replication</name>

       <value>1</value>

    </property>

</configuration>

 4、配置JobTracker主机名与端口

进入mapred-site.xml文件

<configuration>

    <property>

       <name>mapred.job.tracker</name>

       <value>hdfs://localhost:9000</value>

    </property>

    <property>

       <name>mapred.tasktracker.map.tasks.maximum</name>

       <value>2</value>

    </property>

    <property>

       <name>mapred.tasktracker.reduce.tasks.maximum</name>

       <value>2</value>

    </property>

</configuration>

 注:如果mapred-site.xml文件不存在,需要自己创建(复制mapred-site.xml.template文件对后缀名进行修改)

5、进入yarn-site.xml文件

<configuration>

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

</configuration>

6、格式化文件系统:(注意如果不能运行,在terminal里指定bin的目录)

$ bin/hdfs namenode -format    (指定其安装目录的路径)

7、启动NameNode和DataNode的守护进程。 $ sbin/start-dfs.sh

8、启动ResourceManager和NodeManager的守护进程。 $ sbin/start-yarn.sh

9、验证hadoop

打开http://localhost:50070,进入hdfs管理页面

打开http://localhost:8088,进入hadoop进程管理页面

注:Hadoop1.5版本后,http://localhost:50030不存在了

转载请注明原文地址: https://www.6miu.com/read-73971.html

最新回复(0)