在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装Hadoop的开发插件,并且使用Hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来共同学习。

一、环境准备

1.Eclipse Java EE IDE for Web Developers- Oxygen.2 Release (4.7.2)

2.Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar

3.Hadoop集群环境

4.Deepin15.5稳定版linux系统

注:以上都是本次实践的版本,大家可以选择适合自己的版本

二、安装Eclispe的Hadoop开发插件

1.下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar,下载地址:
https://github.com/winghc/hadoop2x-eclipse-plugin

2.将插件复制到eclipse安装目录下的plugins目录

3.启动或者重启Eclispe开发工具

4.打开eclipse的show View窗口,看到了我们安装的Hadoop的插件

5.点击Map/Reduce Locations打开视图

出现的是hadoop的Map/Reduce开发相关的视图,在视图区域右上方有蓝色小象的添加按钮,此时插件工作配置完成

三、启动Hadoop集群环境

1.SSH连接Hadoop集群的master节点机器,启动hadoop集群

2.验证集群是否正常启动
在master节点执行hadoop dfsadmin -report验证

打开yarn的web查看

hadoop集群搭建可参考《Hadoop(04)Hadoop集群模式搭建实践

四、创建配置Map/Reduce Locations

1.打开eclispe到Map/Reduce Locations视图窗口

2.点击蓝色小大象按钮

3.配置Map/Reduce Locations信息

注意填写参数:
Lacation Name:为该位置命名
MapReduce Master:与$HADOOP_DIRCONF/mapred-site.xml配置保持一致;
HDFS Master:与$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name:登录hadoop用户名,可以填写其他的

4.点击完成即可

5.验证配置,点击DFS Locations

五、本文总结

本文主要实践了Eclispe安装Hadoop的插件,和在Eclispe下使用Hadoop插件连接远程Hadoop集群的操作,后面我们将使用改开发环境开发Hadoop的作业任务。