linux编译kite和hbase

１、编译kite遇到的问题及方法

配置vim参数

vim ~/.vimrc set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936 set termencoding=utf-8 set encoding=utf-8

设置java环境变量与中文显示

export LC_ALL=C export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-ppc64el export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

编译kite记录

在下载下面这个链接时卡着不动，错误原因为该链接失效了，需要重新指定新的链接地址 http://maven.twttr.com/net/sf/jung/jung-api/2.0.1/jung-api-2.0.1.pom

在google上查找所需要的文件

例如 jung-api-2.0.1.pom 找到新的链接地址为 https://repo1.maven.org/mavn2/net/sf/jung/jung-api/2.0.1/jung-api-2.0.1.pom

更换链接地址

先找到要更换的 地址在哪里

grep twttr* -R

然后打开找到的xml文件，把对应的IP地址替换即可。（注意：只用替换地址的前半部分使之能重合起来）

具体操作如下

在kite-1.0.0+cdh5.8.3+139/pom.xml中添加

<repository> <id>nexus.axiomalaska.com</id> <url>http://nexus.axiomalaska.com/nexus/content/repositories/public</url> </repository> <repository> <id>repo1.maven.org</id> <url>https://repo1.maven.org/maven2</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>true</enabled> </snapshots> </repository> <repository> <id>cwiki.apache.org</id> <url>http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionExeption</url> </repository> <repository> <id>repo.maven.apache.org</id> <url>http://repo.maven.apache.org/maven2</url> </repository> <repository> <id>org.pentaho</id> <url>http://www.conjars.org/org.pentaho/pentaho-aggdesigner-algorithm/versions/5.1.5-jhyde</url> </repository> 另外你还要注释掉之前的源 <!-- <repository> <id>maven-twttr</id> <url>http://maven.twttr.com</url> <layout>default</layout> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>true</enabled> </snapshots> </repository>-->

报错提示

[ERROR] Failed to execute goal on project kite-morphlines-useragent: Could not resolve dependencies for project org.kitesdk:kite-morphlines-useragent:jar:1.0.0-cdh5.8.3: Failure to find ua_parser:ua-parser:jar:1.3.0 in https://repo1.maven.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of repo1.maven.org has elapsed or updates are forced -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException [ERROR] [ERROR] After correcting the problems, you can resume the build with the command [ERROR] mvn <goals> -rf :kite-morphlines-useragent debian/rules:38: recipe for target 'override_dh_auto_build' failed make[1]: *** [override_dh_auto_build] Error 1 make[1]: Leaving directory '/packages/kite/kite-1.0.0+cdh5.8.3+139' debian/rules:35: recipe for target 'build' failed make: *** [build] Error 2 dpkg-buildpackage: error: debian/rules build gave error exit status 2

解决方法

发现它是对kite-morphlines-useragent的编译，需要依赖 ua_parser:ua-parser:jar:1.3.0，变通一点，先绕过它再说，在kite-1.0.0+cdh5.8.3+13a9/pom.xml 中， 注释掉<module>kite-morphlines</module>，最后可以愉快的看到 [INFO] BUILD SUCCESS 啦

2、编译hbase遇到的问题及解决方法

命令总结

打包：mvn package 编译：mvn compile 编译测试程序：mvn test-compile 清空：mvn clean 运行测试：mvn test 生成站点目录: mvn site 生成站点目录并发布：mvn site-deploy 安装当前工程的输出文件到本地仓库: mvn install 打包不测试　 mvn package -DskipTests=true mvn clean install -DskipTests=true 生成项目依赖的报表，这样你就能够在报表中找出你版本冲突的相关性依赖了 mvn project-info-reports:dependencies

先更改了pom.xml里面的错误的地址

这些地址必须在浏览器上必须能打开

<repositories> <repository> <id>cdh.repo</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> <name>Cloudera Repositories</name> <snapshots> <enabled>true</enabled> </snapshots> </repository> <repository> <id>cdh.snapshots.repo</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/local-output/maven-repository/cdh-snapshot-local</url> <name>Cloudera Snapshots Repository</name> <snapshots> <enabled>true</enabled> </snapshots> <releases> <enabled>true</enabled> </releases> </repository> <repository> <id>cloudbees netty</id> <url>https://repository.apache.org/content/repositories/snapshots/</url> </repository> <repository> <id>apache release</id> <url>https://repository.apache.org/content/repositories/releases/</url> </repository> <repository> <id>java.net</id> <name>Java.Net</name> <url>https://repo1.maven.org/maven2</url> <snapshots> <enabled>true</enabled> </snapshots> <releases> <enabled>true</enabled> </releases> </repository> <repository> <id>repository.jboss.org</id> <url>http://repository.jboss.org/nexus/content/groups/public-jboss/</url> <snapshots> <enabled>false</enabled> </snapshots> </repository> <repository> <id>ghelmling.testing</id> <name>Gary Helmling test repo</name> <url>http://people.apache.org/~garyh/mvn/</url> <snapshots> <enabled>true</enabled> </snapshots> <releases> <enabled>true</enabled> </releases> </repository>

在dpkg-buildpack -nc之后有报错提示先执行下面两条命令

mvn clean install -Drat.skip=true mvn clean install -DskipTests

跳过所有的单元测试

mvn clean install -Drat.skip=true

在执行完上面的命令之后遇到下面的报错

Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.19.1:test (default-test) on project hbase-common: There are test failures.

出现上述类似错误的原因是以下几种：

１.出现这种情况是测试代码没有获得通过，如果maven项目是拷贝过来的，测试用例可能很诡异，不管怎么改就是不起作用，这时候把文件重构改下名字就行了，不能和原来的文件名一样，然后确保代码本身没错的情况下再进行，问题可能解决。

２.这是因为测试代码时遇到错误，会停止编译。 为了解决上面的问题我参考链接：http://stackoverflow.com/questions/13170860/failed-to-execute-goal-org-apache-maven-pluginsmaven-surefire-plugin2-10test

然后我在pom.xml中添加下面内容

<!--NEW--> 231 <configuration> 232 <testFailureIgnore>true</testFailureIgnore> 233 </configuration>

然后发现系统中定义的有。上述内容，导致冲突了 所以就把第1020行的false改为true具体如下

<surefire.testFailureIgnore>true</surefire.testFailureIgnore>

然后执行dpkg-buildpackage -nc继续编译,然后依然是上面的错误信息然后我又执行了一遍下面的命令

mvn clean install -Drat.skip=true

发现报错信息为

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-failsafe-plugin:2.19.1:verify (verify) on project hbase-it: There are test failures. [ERROR] [ERROR] Please refer to /packages/hbase/hbase-1.2.0+cdh5.8.3+204/hbase-it/target/failsafe-reports for the individual test results. [ERROR] -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoFailureException [ERROR] [ERROR] After correcting the problems, you can resume the build with the command [ERROR] mvn -rf :hbase-it

然后继续上网查找相关的信息，发现需要执行

mvn test -Dmaven.test.failure.ignore=true 链接地址为：http://www.cnblogs.com/binyue/p/4721076.html

然后继续dpkg-buildpackage -nc出现报错信息为

[ERROR] Failed to execute goal org.apache.rat:apache-rat-plugin:0.11:check (default) on project hbase: Too many files with unapproved license: 1 See RAT report in: /packages/hbase/hbase-1.2.0+cdh5.8.3+204/target/rat.txt -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoFailureException debian/rules:42: recipe for target ‘override_dh_auto_build’ failed make[1]: * [override_dh_auto_build] Error 1 make[1]: Leaving directory ‘/packages/hbase/hbase-1.2.0+cdh5.8.3+204’ debian/rules:39: recipe for target ‘build’ failed make: * [build] Error 2

然后准备把debian包中的文件注释几行

vim debian/packaging_functions.sh

前１２行和１５９和１７５行。编译依然不行错误和上面的一样

然后执行下面的命令打印ｄｅｂｕｇ

mvn -X install site -Pdist -DskipTests

错误信息和之前的一样都是有许多的未经授权的证书 然后在pom.xml文件中注释掉 modules

<!-- <module>hbase-testing-util</module>-->

依然不行就又把注销的变回来了！ 然后我又执行了

mvn test -Dmaven.test.failure.ignore=treu

发现这个命令可以编过但是继续用

dpkg-buildpackage -nc

依然不行

执行

mvn -X install site -Pdist -DskipTests

这条命令用来显示每一步的debug

又查找了一遍报错信息说是 RAT正在检查flume目录中的所有文件以获取正确的许可证头。 您似乎有一个额外的文件没有正确的许可证头。 它的路径将存储在鼠标报告中在target rat.txt中。 我建议删除此文件具体参考链接为https://translate.google.co.jp/translate?hl=zh-CN&sl=en&tl=zh-CN&u=https://issues.apache.org/jira/browse/FLUME-1372?focusedCommentId=13414920&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel 然后又查了一个信息如下 参考链接为：http://blog.csdn.net/zh_yi/article/details/43527175

编译Flume-ng时可能出现这个问题，apache的rat（Release Audit Tool）是一个用来检查软件发行的准确性和高效性的工具。它的本质是对可能出现的问题作出预测。我们从apache下载的源码，一般在java文件的开头会有针对Apache Software Foundation（ASF）的一些基本信息。表示的是apache的license信息。一般Maven工程的pom.xml文件中会有一个插件org.apache.rat。它在install或者deploy时会从Java文件确认license信息。如果没有找到就会报以上异常。 检查都有哪些文件的license信息有问题的方法是打开target/rat.txt文件，查找每行前面带“？”的，这行就是license出问题的类。如果是Apache的源码一般前面会显示AL（Apache License）。有人说可以删除对应类。但不建议这样做，可以从没有问题的类中将文件头的license粘贴到该类的头部再重新编译即可成功。

看过这个之后我觉得是之前我编译pom.xml时把其中的开发人员选项给删除了造成的，然后我做了一下备份把有用的源的信息拷贝到du.xml中，然后把hbase包删除，重新下载 下载之后

首先

dpkg-source -x hbase

然后修改pom.xml文件把du.xml文件中的内容拷贝进来 然后修改debian/pack里面的　注销掉前几行和１７５和１５９ 然后dpkg-source –commit 然后dpklg-buildpackage 报错 然后执行下面的命令

mvn clean install -Drat.skip=true

接下来准备执行下面的命令

mvntest -Dmaven.test.failure.ignore=true

接下来准备执行

dpkg-buildpackage -nc

遇到报错 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-site-plugin:3.0:site (default-site) on project hbase-checkstyle: Execution default-site of goal org.apache.maven.plugins:maven-site-plugin:3.0:site failed: Plugin org.apache.maven.plugins:maven-site-plugin:3.0 or one of its dependencies could not be resolved: Failed to collect dependencies for org.apache.maven.plugins:maven-site-plugin:jar:3.0 (): Failed to read artifact descriptor for org.apache.maven.reporting:maven-reporting-exec:jar:1.0.1: Could not transfer artifact org.apache.maven.reporting:maven-reporting-exec:pom:1.0.1 from/to cdh.releases.repo (https://repository.cloudera.com/content/repositories/cdh-releases-rcs): Connect to 121.69.130.52:8080 [/121.69.130.52] failed: Connection refused -> [Help 1 把pom.xml中的maven-site-plugin的版本号改成3.0 参考链接：http://stackoverflow.com/questions/13855700/suppress-javac-warning-is-internal-proprietary-api-and-may-be-removed-in-a-f

经过不断的更改最终编译成功 具体配置方法请参见目录中的pom.xml文件new部分增加的内容