Linux下部署Hadoop开发环境

需要提前准备的系统环境及软件有：Eclipse，Hadoop集成包，Java。（推荐从官网下载压缩包进行解压，Linux系统自动安装的功能要考虑国内网络情况）

本文使用的版本： Linux--Ubuntu 17.04

Hadoop--2.8.0

Java--Java8_u131

Eclipse--版本代号Oxygen

步骤：一.安装Java环境

1.1.将java压缩包解压到usr下 tar -xzvf jdk-8u131-linux-x64.tar.gz /usr/

1.2.修改/etc/profile文件，加入（注意目录名称，不同的Java版本的目录名称有一定差别） export JAVA_HOME=/usr/jdk1.8.0_131 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

1.3.在/etc/rc.local中加入以下语句，以便每次开机默认配置Java路径

source /etc/profile

注：该语句只能让登录的用户获取Java路径，如果需要使用root用户来进行开发，需要使用sudo语句。

二.Eclipse安装

将Eclipse的安装包解压到用户目录下（如果是root用户，推荐放入opt以供所有用户使用）

tar -xzvf eclipse-oxygen.tar.gz /home/xxx/

三.Hadoop安装及配置

3.1. 将hadoop解压到对应文件夹（本文默认解压到桌面，即/home/xxx/Desktop/）

3.2 下载适用于Eclipse的Hadoop MapReduce插件（原贴自wanghc处fork，感谢lartin对新版本的编译与分享https://github.com/larntin/hadoop2x-eclipse-plugin/tree/v2.8.0/release）

3.3 将该插件放入Eclipse下的plugin目录中

3.4 如果插件运行成功，就可以在Window-->Preferences中找到Hadoop Map/Reduce选项，配置好其路径，指向Haddop的主目录即可（如当前版本中只需要指向至hadoop-2.8.0目录下）

3.5配置Hadoop集群

在状态栏中新增一个窗口Map/Reduce Locations，点击该窗口下的New Hadoop Location（大象图标），主要配置这几项：Location name：名称，自行定义

Master：设置主机的IP及端口号，根据自身实际情况配置。如果是单机运行，则使用localhost即可。

Dfs：设置主机HDFS的IP及端口号，勾选Use M/R Master Host则跟随主机的IP地址。

3.6 成功创建后，在New Project中新建一个Map/Reduce Project，命名为WordCount

3.7 编写WordCount程序（该程序参考自《MapReduce设计模式》一书）

import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException { String txt = value.toString().toLowerCase(); if (txt==null) { return; } txt = txt.replaceAll("'","").replaceAll("[^a-zA-Z0-9]", " "); StringTokenizer itr = new StringTokenizer(txt); while(itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable>{ private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException { int sum = 0; for(IntWritable val:values) { sum+=val.get(); } result.set(sum); context.write(key, result); } } @SuppressWarnings("deprecation") public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if(otherArgs.length!=2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true)? 0:1); } }

3.8 配置运行参数

点击Run-->Run Configuration选项，将运行方式改为Java Application，配置Project Name和Main Class为WordCount，在第二栏Arguments中添加两项。

第一项为input路径，第二项为output的路径。

注：output路径必须不存在，由MapReduce作业创建，所以往后再次运行该作业的时候需要先删除整个output目录。

3.9 添加测试文件并运行

将需要参与WordCount测试的文本文件放入input目录下，点击Run，等待执行结束，就可以在output目录中得到结果了。

 

P.S. Hadoop中，InputFormat默认为TextInputFormat，因此在WordCount的例子中可以按照默认的输入格式来处理文本。如果是处理其它类型的数据，特别是用户自定义类型数据的情况，就可能要修改RecordReader，从而用输入的数据生成map所需的键值对。