在上文中完整的进行了Hue的源码下载编译安装,Hue的web控制台与Hdfs、Hive、Hbase等集成才能展现它的魅力,本文我们在Hue中集成Hadoop的Hdfs和Yarn服务,然后使用Hue操作和监控Hadoop集群。
环境准备
1.Hadoop2.8.2集群
2.Hue4.1服务
集成配置
注意:以下1-4步骤同样需要在其他的Hadoop集群的节点上操作
修改hdfs-site.xml配置
修改Hadoop的/etc/hadoop/目录下的hdfs-site.xml文件,在文件中加入以下配置:
1 | <property> |
修改core-site.xml配置
修改Hadoop的/etc/hadoop/目录下的core-site.xml文件,在文件中加入以下配置 :
1 | <property> |
修改httpfs-site.xml配置
修改Hadoop的/etc/hadoop/目录下的httpfs-site.xml文件,在文件中加入以下配置 :
1 | <property> |
修改yarn-site.xml配置
修改Hadoop的/etc/hadoop/目录下的yarn-site.xml文件,在文件中加入以下配置 :
1 | <property> |
修改pseudo-distributed.ini配置
修改Hue的/desktop/conf/目录下的pseudo-distributed.ini文件集成hdfs,对Hadoop集群的hdfs配置如下:
1 | fs_defaultfs=hdfs://hdpc01:9000 |
修改Hue的/desktop/conf/目录下的pseudo-distributed.ini文件集成yarn,对Hadoop集群的yarn配置如下:
1 | resourcemanager_host=hdpc01 |
集成准备
启动Hadoop集群
在主节点上启动Hadoop集群start-all.sh
启动Hue服务
在Hue的/bulid/env/bin/目录下 ./supervisor 启动hue服务
服务启动验证
验证Hadoop集群启动
验证Hue服务启动
集成使用
使用Hue查看Hdfs文件
点击Hdfs图标,可以Open in Browser查看详细的文件列表信息,如下图:
查看单个文件详细的信息
在文件列表中点击文件可以查看这个文件详细的信息,如下图:
使用Hue上传文件到Hdfs中
这里上传back.txt文件到Hdfs目录下,如下步骤:
首先,切换到Hdfs目录下,点击upload上传文件按钮
然后,选择上传的back.txt文件到hdfs中即可看到
使用Hue删除Hdfs的文件
要删除刚刚上传到Hdfs目录下的back.txt文件,先选中文件然后点击Delete forever按钮即可删除
Hue中对hdfs文件的更多操作
选中文件点击Actions,可以看到下拉框中对文件的更多其他操作项,有下载、拷贝、移动、重命名、修改权限等等
Hue中查看MapReduce执行的Job
点击Jobs打开作业浏览面板,在这里可以看到执行中、执行完成、执行失败的作业信息,如下:
问题总结
关于hue集成hdfs的问题
在Hue集成完成Hadoop后,使用Hue查看Hdfs的时候,Hue的控制面板总是提示如下错误:
解决办法:在Hue中创建用户Hdfs,并且设置未超级用户即可解决
提示连接10000端口服务异常
登录进入hue后提示连接10000端口服务异常
解决办法:该问题是我们没有连接hive服务提示的异常,解决办法就是集成hive即可,详细见下篇博文
最后总结
通过文本在Hue中集成Hadoop集群(Hdfs和Yarn),并且在集成完成后进行了简单的使用,我们以后可以有更好的方式操作Hdfs和查看作业执行情况了,后面我们还将继续集成Hive和Mysql服务,文中有不对的地方欢迎大家指出来!