Windows10 Hadoop3.3.0源码编译

第一节、前期准备工作

1、环境准备

hadoop-3.3.0-src.tar.gz jdk-8u261-windows-x64.exe apache-ant-1.10.9-bin.zip apache-maven-3.6.3-bin.zip protoc-3.7.1-win64.zip cmake-3.19.4-win64-x64.zip GetGnuWin32-0.6.3.exe Git-2.30.0.2-64-bit.exe Visual Studio 2010 Professional zlib1211.zip

第二节、环境安装

1、安装JDK并配置环境变量

1、安装jdk-8u261-windows-x64.exe 2、添加环境变量： JAVA_HOME=C:\Program Files\Java\jdk1.8.0_261 3、PATH中追加： %JAVA_HOME%\bin 4、cmd验证： java -version 5、结果： java version "1.8.0_261" Java(TM) SE Runtime Environment (build 1.8.0_261-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)

2、安装Maven并配置Maven环境变量

1、解压apache-maven-3.6.3-bin.zip到本地文件夹（随意） 2、添加环境变量： M2_HOME=C:\Software\Installed\apache-maven-3.6.3 3、PATH中追加： %M2_HOME%\bin 4、cmd验证： mvn -version 5、结果： Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f) Maven home: C:\Software\Installed\apache-maven-3.6.3\bin\.. Java version: 1.8.0_261, vendor: Oracle Corporation, runtime: C:\Program Files\Java\jdk1.8.0_261\jre Default locale: zh_CN, platform encoding: GBK OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows" 6、修改C:\Software\Installed\apache-maven-3.6.3\conf\settings.xml文件 mirrors节点下添加如下代码，使用阿里云仓库，默认仓库比较慢： aliyunmaven * 阿里云公共仓库 https://maven.aliyun.com/repository/public

3、安装ANT并配置ANT环境变量

1、解压apache-ant-1.10.9-bin.zip到本地文件夹（随意） 2、添加环境变量： ANT_HOME=C:\Software\Installed\apache-ant-1.10.9 3、PATH中追加： %ANT_HOME%\bin 4、cmd验证： ant -version 5、结果： Apache Ant(TM) version 1.10.9 compiled on September 27 2020

4、安装ProtocolBuffer并配置环境变量

1、解压protoc-3.7.1-win64.zip到本地文件夹（随意） 2、PATH中追加： C:\Software\Installed\protoc-3.7.1-win64\bin 3、cmd验证： protoc --version 4、结果： libprotoc 3.7.1

5、安装CMake并配置环境变量

1、解压cmake-3.19.4-win64-x64.zip到本地文件夹（随意） 2、添加环境变量： CMAKE_HOME=C:\Software\Installed\cmake-3.19.4-win64-x64 3、PATH中追加： %CMAKE_HOME%\bin 4、cmd验证： cmake --version 5、结果： cmake version 3.19.4 CMake suite maintained and supported by Kitware (kitware.com/cmake).

6、安装Visual Studio

直接傻瓜式安装Visual Studio 2010 Professional

7、安装GetGnuWin32并配置环境变量

直接傻瓜式安装GetGnuWin32-0.6.3.exe 安装完成后将安装路径配置到环境变量PATH中

8、安装Zlib库

1、解压zlib1211.zip到本地文件夹（随意） 2、使用VS2010 对zlib源码进行编译 3、将编译后生成的zlibwapid.dll、zlibwapid.lib、zlibstat.lib拷贝至独立文件夹中，将文件夹路径配置到环境变量PATH中

9、安装Git

直接运行Git-2.30.0.2-64-bit.exe，傻瓜式安装即可

10、其他配置

1、添加如下环境变量： Platform=x64 VCTargetsPath=C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0 MSBUILD_HOME=C:\Program Files (x86)\MSBuild 2、PATH中追加： %MSBUILD_HOME%

第三节、编译源码

1、解压源码到本地目录（路径所有文件夹不能包含中文）

C:\Software\hadoop-3.3.0

2、进入到hadoop源码主目录

cmd中进入以下路径： C:\Software\hadoop-3.3.0

3、通过maven执行编译命令

一般指令如下所示： mvn clean package -Pdist,native-win -DskipTests -Dtar 指令中加入 -Dmaven.javadoc.skip=true 参数，可以剔除指令文档的编译，如果使用的是JDK1.8，那么必须加入此参数才能编译通过： mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true 编译成功大概需要半小时，机器好的话可能更快，如果省略说明文档的编译也会提高速度， 编译成功之后的目录为 C:\Software\hadoop-3.3.0\hadoop-dist\target 参数说明： -Pdist,native：目的地 -DskipTests：跳过测试 -Dtar：打包类型

Hadoop Windows

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。