详解Hadoop2.7.2 编译64位源码
|
最好是用新克隆的虚拟机 ，虚拟机内存设置大一点（我设置的4G），配置网络，主机名，关闭防火墙，关闭selinux 2.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz 3.jar包安装（注意：所有操作必须在root用户下完成） JDK 1.解压 tar -zxf jdk-8u141-linux-x64.tar.gz -C /export/compile 2.配置环境变量 vim /etc/profile export JAVA_HOME=http://www.jb51.net/export/compile/jdk1.8.0_141 export PATH=$PATH:$JAVA_HOME/bin 3.更新profile文件 source /etc/profile 4.验证安装是否成功 验证命令：jps 出现jps进程表示安装配置成功 2.Maven 1.解压&重命名 tar -zxf apache-maven-3.0.5-bin.tar.gz -C /export/compile mv /export/compile/apache-maven-3.0.5-bin.tar.gz /export/compile/maven 2.修改配置文件 vim /export/compile/maven/conf/settings.xml 添加阿里云镜像地址： <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url></url> </mirror> </mirrors> 3.配置环境变量 vim /etc/profile export MAVEN_HOME=http://www.jb51.net/export/compile/maven export PATH=$PATH:$MAVEN_HOME/bin 4.更新profile文件 source /etc/profile 5.验证安装是否成功 验证命令：mvn -version 出现版本信息表示安装成功 3.ant 1.解压&重命名 tar -zxf apache-ant-1.9.9-bin.tar.gz -C /export/compile mv apache-ant-1.9.9 ant 2.配置环境变量 vim /etc/profile export ANT_HOME=http://www.jb51.net/export/compile/ant export PATH=$PATH:$ANT_HOME/bin 3.更新profile文件 source /etc/profile 4.验证安装是否成功 验证命令：ant -version 出现版本信息表示安装成功 4.glibc-headers yum -y install glibc-headers yum -y install gcc-c++ 5.make和cmake yum -y install make yum -y install cmake 6.protobuf 1.解压&重命名&进入protobuf根目录 tar -zxf protobuf-2.5.0.tar.gz -C /export/compile mv protobuf-2.5.0/ protobuf cd /export/compile/protobuf 2.依次执行如下命令 1 ./configure 3.配置环境变量 vim /etc/profile export LD_LIBRARY_PATH=http://www.jb51.net/export/compile/protobuf export PATH=$PATH:$LD_LIBRARY_PATH 4.更新profile文件 source /etc/profile 5.验证安装是否成功 验证命令：protoc --version 出现版本信息表示安装成功 7.安装openssl库 yum -y install openssl-devel 8.安装 ncurses-devel库 yum -y install ncurses-devel 二、编译源码1.解压 tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile 2.进入hadoop源码主目录 /export/compile/hadoop-2.7.2-src 3.通过maven执行编译命令 mvn package -Pdist,native -DskipTests -Dtar 4.然后就是漫长的等待...（大约等待时间30分钟左右，最终成功是全部SUCCESS，如下图所示） 5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target目录下 三、编译源码过程中常见的问题及解决方案（1）MAVEN install时候JVM内存溢出 原因以及处理方式：在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。 （2）编译期间maven报错 原因以及处理方式：可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）： mvn package -Pdist,nativeN -DskipTests -Dtar （3）报ant、protobuf等错误 原因以及处理方式：插件下载未完整或者插件版本问题，最开始链接有较多特殊情况。 （编辑：西双版纳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
