Hadoop-基础篇-在Windows上安装

xiaoxiao2021-02-28  11

下载软件

hadoop版本:hadoop-2.8.3.tar.gz。官网下载winutisl插件(window系统才需要,):winutils-master.zip。Git下载地址

安装步骤

解压hadoop-2.8.3.tar.gz至C:\hadoop-2.8.3。注意:不要安装在有空格的路径中设置环境变量:在path添加 ;C:\Program Files\hadoop\2.8.4\bin解压winutils-master.zip(我是把所有版本的内容都下载了,选择和你版本符合的内容,复制bin文件夹,覆盖到C:\hadoop-2.8.3\bin)复制C:\hadoop-2.8.3\bin\hadoop.dll到C:\windows\System32下

修改C:\hadoop-2.8.3\etc\hadoop下的5个文件内容,分别如下:

core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> hadoop-env.cmd set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_121 1

设置JAVA_HOME,注意不能值不能有空格,原来的JAVA_HOME=C:\Program Files\Java\jdk1.8.0_121,用C:\Progra~1\Java\jdk1.8.0_121替换

hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop-2.8.3/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop-2.8.3/data/dfs/datanode</value> </property> </configuration>

不需要手动创建文件夹,程序会自动创建文件

mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

mapred-site.xml默认是没有,通过mapred-site.xml.template,删除后缀.template得到

yarn-site.xml <?xml version="1.0"?> <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>

启动服务

运行命令:c:\hadoop-2.8.3\bin>hadoop namenode -format进入sbin启动服务:c:\hadoop-2.8.3\sbin>start-all.cmd

访问地址

http://localhost:8088/http://localhost:50070/

如何学习大数据?学习没有资料?

想学习大数据开发技术,Hadoop,spark,云计算,数据分析等技术,在这里向大家推荐一个学习资料分享群:894951460,里面有大牛已经整理好的相关学习资料,希望对你们有所帮助。

 

转载请注明原文地址: https://www.6miu.com/read-2400082.html

最新回复(0)