Hue(02)Hue集成Hadoop集群环境

在上文中完整的进行了Hue的源码下载编译安装,Hue的web控制台与Hdfs、Hive、Hbase等集成才能展现它的魅力，本文我们在Hue中集成Hadoop的Hdfs和Yarn服务，然后使用Hue操作和监控Hadoop集群。

环境准备

1.Hadoop2.8.2集群
2.Hue4.1服务

集成配置

注意：以下1-4步骤同样需要在其他的Hadoop集群的节点上操作

修改hdfs-site.xml配置

修改Hadoop的/etc/hadoop/目录下的hdfs-site.xml文件，在文件中加入以下配置：

<property>  
        <name>dfs.webhdfs.enabled</name>  
        <value>true</value>  
</property>

<property>  
         <name>dfs.permissions.enabled</name>  
         <value>false</value>  
</property>

修改core-site.xml配置

修改Hadoop的/etc/hadoop/目录下的core-site.xml文件，在文件中加入以下配置：

<property>  
         <name>hadoop.proxyuser.hue.hosts</name>  
         <value>*</value>  
</property>

<property>  
         <name>hadoop.proxyuser.hue.groups</name>  
         <value>*</value>  
</property>

修改httpfs-site.xml配置

修改Hadoop的/etc/hadoop/目录下的httpfs-site.xml文件，在文件中加入以下配置：

<property>  
         <name>httpfs.proxyuser.hue.hosts</name>  
         <value>*</value>  
</property>

<property>  
         <name>httpfs.proxyuser.hue.groups</name>  
         <value>*</value>  
</property>

修改yarn-site.xml配置

修改Hadoop的/etc/hadoop/目录下的yarn-site.xml文件，在文件中加入以下配置：

<property>  
         <name>yarn.log-aggregation-enable</name>  
         <value>true</value>  
</property>

<property>  
         <name>yarn.log-aggregation.retain-seconds</name>  
         <value>432000</value>  
</property>

修改pseudo-distributed.ini配置

修改Hue的/desktop/conf/目录下的pseudo-distributed.ini文件集成hdfs，对Hadoop集群的hdfs配置如下：

1
2
3

fs_defaultfs=hdfs://hdpc01:9000
webhdfs_url=http://hdpc01:50070/webhdfs/v1
hadoop_conf_dir=/home/hadoop/hadoop-2.8.2/etc/hadoop

修改Hue的/desktop/conf/目录下的pseudo-distributed.ini文件集成yarn，对Hadoop集群的yarn配置如下：

resourcemanager_host=hdpc01
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://hdpc01:8088
proxy_api_url=http://hdpc01:8088
history_server_api_url=http://hdpc01:19888