hbase 1.3.2 源码 IDEA编译执行

最近一直在研究hbase源码,一直心心念念要把hbase源码在idea上面跑起来。方便自己调试查看,而且好好研究里面的测试用例,因为一直只是看hbasefsck这块源码,以及创建表等等。想再具体执行。
期间编译源码,遇到不少坑。时间关系,不能一一阐述。
总结性说几句:

1、大数据的组件源码,maven或者构建项目的骨架软件版本非常重要。尽量选择版本旧,稳定版的。别用最新。本人亲测,从maven 3.0.5-3.6.4,一些版本出来的错误,简直烦恼死人。
2、编译如果需要linux环境,尽量选择原生的linux环境,cgywin等等这些。还是不如原生linux好。相对坑比较少。
3、编译执行的时候,要注意一些配置文件。适当修改项目,保证读取到,能正常执行。

编译版本:apache-hbase-1.3.2。

本身自己工作看得是1.3.1.奈何有一个问题。详情查看如下链接
https://issues.apache.org/jira/browse/HBASE-19188 大意就是maven3.5.2以上会有问题。其实我试了3.0.5.也不能一次成功,也搞了2次。
hbase 1.3.2的下载地址
https://archive.apache.org/dist/hbase/1.3.2/

软件环境:

1、maven 3.3.9
2、centos 6.5 64位
在这里插入图片描述
3、IDEA 2018.2版本
4、jdk1.8版本

环境准备步骤:

1、在linux部署好maven环境变量。

mvn -version

在这里插入图片描述2、配置好maven镜像。这里首推maven的mvn网站
https://mvnrepository.com/
基本都有。最好挂vpn代理。我是挂载香港代理。
一些实在没有的jar。找到了jar。可以手动添加进去仓库。命令如下:
下面以手动添加oracle的jar为例子,因为版权问题,很多仓库没有

mvn install:install-file -Dfile=ojdbc8.jar -DgroupId=com.oracle -DartifactId=ojdbc8 -Dversion=12.2.0.1 -Dpackaging=jar

在这里插入图片描述3、IDEA设置好构建的选项,
因为很多官方源码,在pom做了maven仓库指定。就算配置maven,在编译下载jar的时候,会冲掉你maven的配置。如下图,注意红色位置
在这里插入图片描述

4、maven的设置

maven我的仓库设置,是阿里云作为主仓库,第二仓库选择apache的官方仓库。方便下载,下面把我maven的setting配置贴出来。

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">

    <!-- Maven配置profiles同时使用多个镜像仓库-鹞之神乐 https://www.kagura.me/dev/20181005145043.html -->

    <!--注意:mirrorOf千万别为*,建议为profile的id-->
    <mirrors>
        <mirror>
            <id>aliyun-nexus</id>
            <name>aliyun-nexus</name>
            <mirrorOf>aliyun</mirrorOf>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>
        <mirror>
            <id>cloudera-repo</id>
            <name>cloudera-repo</name>
            <mirrorOf>cloudera</mirrorOf>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </mirror>
        <mirror>
            <id>repo1-maven2</id>
            <name>repo1-maven2</name>
            <mirrorOf>repo1</mirrorOf>
            <url>https://repo1.maven.org/maven2/</url>
        </mirror>
    </mirrors>

    <profiles>

        <profile>
            <id>aliyun</id>
            <repositories>
                <repository>
                    <id>aliyun-nexus</id>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>aliyun-nexus</id>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>cloudera</id>
            <repositories>
                <repository>
                    <id>cloudera-repo</id>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>cloudera-repo</id>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>repo1</id>
            <repositories>
                <repository>
                    <id>repo1-maven2</id>
                    <url>https://repo1.maven.org/maven2/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>repo1-maven2</id>
                    <url>https://repo1.maven.org/maven2/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>jdk1.8</id>
            <activation>
                <activeByDefault>true</activeByDefault>
                <jdk>1.8</jdk>
            </activation>
            <properties>
                <maven.compiler.source>1.8</maven.compiler.source>
                <maven.compiler.target>1.8</maven.compiler.target>
                <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
            </properties>
        </profile>
    </profiles>

    <!--设置默认配置文件-->
    <activeProfiles>
        <activeProfile>aliyun</activeProfile>
    </activeProfiles>

</settings>

编译步骤:

1、在linux下,解压源码,解压和 编译命令如下,编译命令是遵照官方文档的指示来做的

tar -zxvf hbase-1.3.2-src.tar.gz
mvn clean compile  package -DskipTests

最好挂载代理,阿里云很多jar没有。警告可以忽略,只要不是error级别。如果失败,注意一下maven仓库,是不是一些jar下载出错。

在这里插入图片描述

2、从linux拷贝编译后的源码,导入进去IDEA

其中有个jar问题。如下图

在这里插入图片描述
出错,这个不影响后期hbase的源码执行。它是测试类。后期我文章完成这个测试类问题,再更新。
在这里插入图片描述在这里插入图片描述就可以执行,但是没有日志问题。
根据截图,去hbase 1.3.2的conf目录拷贝log4j配置文件,拷贝到habse-server的resources。
需要注意把 hbase-server 这个模块增加一个resources 的文件夹再增加一个log4j.properties 并把 resources 文件夹设置为 资源
在这里插入图片描述

3、修改hbase-default.xml文件。在hbase-common项目的resources里面

在这里插入图片描述修改如下参数,设置为自己windows下面的路径,比如D://resouce/hbase-1.3.2/data,具体命名,自己随意。

  <property >
    <name>hbase.rootdir</name>
    <value>${hbase.tmp.dir}/hbase(自己电脑文件夹)</value>
  </property>
   <property >
    <name>hbase.tmp.dir</name>
    <value>${java.io.tmpdir}/hbase-${user.name}(自己电脑文件夹)</value>
  </property>
   <property >
    <name>hbase.zookeeper.quorum</name>
    <value>localhost或者127.0.0.1</value>
    </property>
     <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>D:\resource\hbase\zookeeper(自己电脑文件夹)</value>
  </property>
  <property >
    <name>hbase.cluster.distributed</name>
    <value>false</value>
  </property>

当然,还有一些参数。不过这几个比较关键。其他你们自行摸索。

最后,执行Hmaster方法。 hbase源码执行成功。

窗口输入
localhost:16010就可以。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
下次更新hbase-shell窗口的执行。文章还是很多没涉及,时间问题。有空再写。但是hmaster已经可以。先用api执行对应功能,跑用例。源码阅读环境已经具备。 等完整的全部解决,我博客再更新。后期会写一些hbase的源码文章

最后,附上之前踩坑遇到一些问题代码。基本都是兼容性问题,环境问题太多了。所以文章的很多篇幅在说环境等等。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (generate) on project hbase-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\idea_workspace\hbase-1.3.6\hbase-common"): CreateProcess error=2, 系统找不到指定的文件。 -> [Help 1]
[ERROR]

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (run-createArchetypes-script) on project hbase-archetype-builder: Command execution failed. Process exited with an error: 1 (Exit value: 1) -> [Help 1]

发布了31 篇原创文章 · 获赞 13 · 访问量 5万+

猜你喜欢

转载自blog.csdn.net/laughing1997/article/details/104889569
今日推荐