在上文中完整的进行了Hue的源码下载编译安装,Hue的web控制台与Hdfs、Hive、Hbase等集成才能展现它的魅力，本文我们在Hue中集成Hadoop的Hdfs和Yarn服务，然后使用Hue操作和监控Hadoop集群。

环境准备

1.Hadoop2.8.2集群
2.Hue4.1服务

集成配置

注意：以下1-4步骤同样需要在其他的Hadoop集群的节点上操作

修改hdfs-site.xml配置

修改Hadoop的/etc/hadoop/目录下的hdfs-site.xml文件，在文件中加入以下配置：

1
2
3
4
5
6
7
8
9
<property>  
        <name>dfs.webhdfs.enabled</name>  
        <value>true</value>  
</property>

<property>  
         <name>dfs.permissions.enabled</name>  
         <value>false</value>  
</property>

修改core-site.xml配置

修改Hadoop的/etc/hadoop/目录下的core-site.xml文件，在文件中加入以下配置 ： 

1
2
3
4
5
6
7
8
9
<property>  
         <name>hadoop.proxyuser.hue.hosts</name>  
         <value>*</value>  
</property>

<property>  
         <name>hadoop.proxyuser.hue.groups</name>  
         <value>*</value>  
</property>

修改httpfs-site.xml配置

修改Hadoop的/etc/hadoop/目录下的httpfs-site.xml文件，在文件中加入以下配置 ： 

1
2
3
4
5
6
7
8
9
<property>  
         <name>httpfs.proxyuser.hue.hosts</name>  
         <value>*</value>  
</property>

<property>  
         <name>httpfs.proxyuser.hue.groups</name>  
         <value>*</value>  
</property>

修改yarn-site.xml配置

修改Hadoop的/etc/hadoop/目录下的yarn-site.xml文件，在文件中加入以下配置 ：

1
2
3
4
5
6
7
8
9
<property>  
         <name>yarn.log-aggregation-enable</name>  
         <value>true</value>  
</property>

<property>  
         <name>yarn.log-aggregation.retain-seconds</name>  
         <value>432000</value>  
</property>

修改pseudo-distributed.ini配置

修改Hue的/desktop/conf/目录下的pseudo-distributed.ini文件集成hdfs，对Hadoop集群的hdfs配置如下：

1
2
3
fs_defaultfs=hdfs://hdpc01:9000
webhdfs_url=http://hdpc01:50070/webhdfs/v1
hadoop_conf_dir=/home/hadoop/hadoop-2.8.2/etc/hadoop


修改Hue的/desktop/conf/目录下的pseudo-distributed.ini文件集成yarn，对Hadoop集群的yarn配置如下：

1
2
3
4
5
6
resourcemanager_host=hdpc01
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://hdpc01:8088
proxy_api_url=http://hdpc01:8088
history_server_api_url=http://hdpc01:19888 

集成准备

启动Hadoop集群

在主节点上启动Hadoop集群start-all.sh

启动Hue服务

在Hue的/bulid/env/bin/目录下 ./supervisor 启动hue服务

服务启动验证

验证Hadoop集群启动

验证Hue服务启动

集成使用

使用Hue查看Hdfs文件

点击Hdfs图标，可以Open in Browser查看详细的文件列表信息，如下图：

查看单个文件详细的信息

在文件列表中点击文件可以查看这个文件详细的信息，如下图：

使用Hue上传文件到Hdfs中

这里上传back.txt文件到Hdfs目录下，如下步骤：
首先，切换到Hdfs目录下，点击upload上传文件按钮

然后，选择上传的back.txt文件到hdfs中即可看到

使用Hue删除Hdfs的文件

要删除刚刚上传到Hdfs目录下的back.txt文件，先选中文件然后点击Delete forever按钮即可删除

Hue中对hdfs文件的更多操作

选中文件点击Actions，可以看到下拉框中对文件的更多其他操作项，有下载、拷贝、移动、重命名、修改权限等等

Hue中查看MapReduce执行的Job

点击Jobs打开作业浏览面板，在这里可以看到执行中、执行完成、执行失败的作业信息，如下：

问题总结

关于hue集成hdfs的问题

在Hue集成完成Hadoop后，使用Hue查看Hdfs的时候，Hue的控制面板总是提示如下错误：

解决办法：在Hue中创建用户Hdfs，并且设置未超级用户即可解决

提示连接10000端口服务异常

登录进入hue后提示连接10000端口服务异常

解决办法：该问题是我们没有连接hive服务提示的异常，解决办法就是集成hive即可，详细见下篇博文

最后总结

通过文本在Hue中集成Hadoop集群（Hdfs和Yarn），并且在集成完成后进行了简单的使用，我们以后可以有更好的方式操作Hdfs和查看作业执行情况了，后面我们还将继续集成Hive和Mysql服务，文中有不对的地方欢迎大家指出来！