怎么允许宏(excel如何允许宏)
976
2022-05-30
前面已经搭建了一个伪分布模式的Hadoop运行环境。绝大多数同学都习惯在Eclipse中做Java开发,本片主要讲的是如何搭建一个基于Eclipse IDE的Hadoop开发环境。
闲话少说,走起!
一、JDK安装配置
(一)为什么要安装JDK
由于Eclipse 是基于 Java 开发的一个可扩展的开发平台,所以在安装 Eclipse 前需要确保你的电脑已经成功安装了JDK。
(二)如何安装配置JDK
1、下载并解压JDK
首先需要注意的是下载的jdk的位数需要与Windows系统位数一致,课程中我们使用的是64位Windows系统,所以我们需要下载安装64位的jdk。
jdk的下载、安装还是比较简单的,所以这里就不再多讲,相信大家参照本任务视频内容可以轻松搞定。下面我们重点来配置JDK的环境变量。
2、配置JDK的环境变量
(1)点击“计算机”,然后“右键”——“属性”——“高级系统设置”——“环境变量”;
(2)配置系统变量JAVA_HOME,即配置JDK的安装目录。
(3)配置系统变量Path,即配置JDK安装目录的bin目录。
3、验证JDK是否安装成功
java -version
二、安装部署Eclipse开发环境
(一)下载Eclipse
大家可以通过官网下载对应版本的Eclipse,也可以直接点击下载获取Eclipse的安装包。
(二)安装Eclipse
(1)双击Eclipse安装包,然后选择“Java Developers”,满足基本的java开发即可。
(2)在界面选择Eclipse的安装路径,然后点击“INSTALL”即可。
(3)在界面点击“LAUNCH”,然后就正式开始安装。
(4)在如下界面选择项目的工作空间,可以使用默认的路径和工作空间,也可以选择其他工作空间。勾选“Use this as the default and do not ask again”,然后点击“OK”即可。
(三)创建java项目,验证Eclipse开发环境是否部署成功
(1)创建一个HelloWorld的项目。
(2)在项目下创建一个包com.dajiangtai.java。
(3)在包中创建一个类HelloWorld。
(4)在类中编写代码并运行,如果能正确输出结果则表明Eclipse开发环境已经搭建成功,接下来开发者就可以正常开发普通的java项目了。
三、构建MapReduce项目
在创建项目的时候,我们发现不能直接通过勾选MapReduce项目来创建MapReduce项目,因为没有对应的选择,这里有两种解决方法:
方法一:通过构建普通的java项目,然后导入MapReduce相关的依赖包即可,但是需要导入哪些包,怎么导入呢?这样操作就有点麻烦了。
方法二:通过安装对应版本的Hadoop-Eclipse插件,即可显示对应的MapReduce项目选项。然后就可以像创建普通的java项目一样创建MapReduce项目了。
这里我们重点介绍方法二的实现。
(一)Hadoop-Eclipse插件的安装配置
(1)点击下载对应版本的Hadoop-Eclipse插件
(2)将插件放到Eclipse安装目录下的dropins目录中
(3)然后重启Eclipse
(4)创建MapReduce项目
如果插件安装成功,那么在新建项目选择时就会显示MapReduce项目。如下图所示:
(5)创建一个WordCount的项目,然后配置Hadoop安装目录。因为Hadoop-Eclipse插件一边连接着Eclipse,另一边连接着Hadoop,所以还要在Eclipse中对Hadoop进行相关的配置。
(6)配置Hadoop安装目录。
需要把下载到本地的hadoop安装包解压(就是提前下载到本地,上传到Linux虚拟机上的Hadoop安装包,因为Hadoop安装包是不分Linux或windows操作系统的)。然后配置Hadoop安装路径即可。然后点击“Apply”和“OK”。
注意:指定路径指定的是hadoop解压之后的那个文件夹的位置。而不是其他。
(7)在跳转的如下界面中点击“Finish”即可。
(8)在跳转的如下界面中点击“Yes”即可。
(二)Hadoop-Eclipse插件的作用
Hadoop-Eclipse插件安装完成之后,更能直观的感受到插件安装前后的区别,这也是为什么把插件的作用放在插件安装之后解释的一个原因。
(1)在Eclipse中显示DFS Locations
如果以上配置都成功之后,那么在Project Explorer就会多了一个DFS Locations.窗口。这是安装Hadoop-Eclipse的第一个作用。DFS Locations的作用是在Eclipse中显示HDFS文件系统的列表,但是由于还需要启动Hadoop集群,并进行相关连接的配置,比较麻烦且容易出错,且实际工作中也不使用。所以这里暂时可不用处理。
如果想尝试配置可参考“Eclipse中配置DFS Locations”对应的文档。
(2)项目自动导入MapReduce相关的依赖包
安装完Hadoop-Eclipse插件之后,创建的MapReduce项目会自动导入hadoop相关的依赖包,而无需手动创建。(大家可以和创建的java项目引入的包做个对比)
(三)创建一个WordCount类,验证Eclipse是否可以成功开发MapReduce项目
(1)WordCount代码可以直接从官网上下载
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_WordCount_v1.0
(2)准备输入数据源(自己可以创建一个文件,然后随便写几条数据),并指定输入输出路径。
注意:一定要保证输入路径存在且正确,输出路径不能提前存在,否则代码运行将会报对应的错误,然后运行代码。(具体操作可参照本任务对应的视频内容)
(3)代码运行常见错误及解决方法
1)报log4j问题
只需要在src中导入log4j文件即可,下载log4j文件。
2)然后再运行报如下错误:
错误原因:hadoop环境变量没有配置或配置有问。
解决办法:只需要配置并检查HADOOP_HOME和Path变量即可。如下所示:
3)重启Eclipse,重新运行之后又报如下错误:
错误原因:本地Hadoop运行目录的bin目录下中没有winutils.exe或者32位/64位版本不匹配
解决办法:下载相应的winutils.exe和hadoop.dll放到Hadoop运行目录的bin文件夹下,注意选择正确的32位/64位版本把对应版本的那两个文件放到hadoop安装目录的bin目录下即可。
可点击下载和Hadoop2.6.0对应的64位的winutils.exe和hadoop.dll,在下载的包的子目录下即可找到winutils.exe和hadoop.dll这两个文件。
然后重新Eclipse并运行WordCount,发现就没有问题了。(包括前边报的空指针异常也一并解决了);
4)有时候还会出现一些其他问题:
解决方法:把winutils.exe和hadoop.dll这两个文件上传到C:\Windows\System32目录下,重新运行代码即可。
到此为止,Eclipse开发MapReduce项目就部署成功,接下来,大家就可以尽情的在Eclipse中开发MapReduce项目了。
其它可能出现的问题:
1、错误:出现DFS列表无法正常显示的问题该怎么办?且报如下错误:
解决方法:
1)可能是因为Hadoop集群(hdfs)没有启动或没有启动成功导致的
2)dfs权限:在配置文件中设置成false,或该属性配置有拼写错误
3)HDFS离开安全模式:hadoop dfsadmin -safemode leave
4)检查防火墙是否关闭
2、错误:在搭建eclipse/Myeclipse过程中出现下面问题该如何解决?
解决方法:
1)点击Window——Open Perspective——Other..
2)然后在弹出的对话框里选择Map/Reduce,点击OK即可。
3、错误:连接不到hdfs文件系统上,报如下错误:
解决方法:
把下图的主机名改成对应的IP地址即可;
这样就可以连接到DFS文件系统了;
4、错误:安装完hadoop-eclipse插件之后报如下错误
解决方法:
1)如果出现这种情况,把jdk换成1.8就可以了。Jdk1.8 对应52,Jdk1.7 对应51
2)最好把Java安装路径放在path路径最前面
3)路径最好不要有中文。
5、错误:出现下面问题,报NullPointerException异常?
解决方法:
可能是因为Hadoop相关jar包没有导入到项目或者jar包没导全
那么怎么导入jar包?导入哪些jar包呢?如下所示:
点击项目右键——Build Path——Configure Build Path——进入如下界面
然后选择你本地hadoop安装目录下的share目录下的hadoop目录下,如下图,然后把这4个文件夹下的jar包导入即可。
五、如果还有问题怎么办?
我们可以通过以下步骤来排查:
1)首先确保Windows下,系统位数、jdk位数、hadoop安装包位数保持一致,否则肯定会报错。 比如,64位的Windows系统,需要安装64位的jdk以及下载64位的hadoop安装包(课程中有下载)。
如果不知道hadoop位数是否正确,可以双击下面的文件。
如果不出错,说明文件没有问题。如果hadoop的bin目录下没有hadoop.dll、winutils.exe这两个文件,在课程中下载。
2)确保jdk以及hadoop的环境变量配置正确(前面已经讲解)
3)确保Linux下的防火墙已经关闭。
4)如果出现Myeclipse访问不了hdfs,可以按照上面第5个问题的解决办法。
5)检查C:\Windows\System32目录下是否存在hadoop.dll和winutils.exe文件。
6)如果以上方法还是有错误,可能是系统或者Myeclipse版本的原因造成的,最糟糕的情况可能需要换一个干净的Windows系统了。
童鞋们,是不是已经搞定了,让我们一起Hadoop吧!!!
如有疑问欢迎留言 共同探讨~~
Hadoop Eclipse
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。