在前面文中我们在Hue中集成了Hdfs和Yarn,可以很方便的在Hue中操作Hdfs中的数据和查看MapReduce的作业执行情况。本文我们将在Hue中集成Hive数据仓库,用替代Hive自己的Hwi服务,可以很方便的在Hue中进行Hive的Sql查询等操作。

环境准备

1.Hadoop集群服务
2.Hive-Mysql元数据库服务
3.Hive服务
4.Hue4.1服务

集成配置

打开Hue的/desktop/conf/目录下的pseudo-distributed.ini文件

编辑pseudo-distributed.ini文件 ,找到[beeswax]这一节,修改信息连接为hdpc01的机器上的Hive数据仓库服务,修改信息如下:

1
2
3
4
5
6
7
hive_server_host=hdpc01
hive_server_port=10000
server_conn_timeout=120
list_partitions_limit=10000
query_partitions_limit=10
download_row_limit=100000
max_number_of_sessions=10

集成准备

启动Hadoop集群

启动Hadoop三台机器,然后在主节点机器上启动Hadoop集群:start-all.sh

启动Hiveserver服务

在Hive机器上启动Hiveserver服务:hive –service hiveserver2 或者hive –service hiveserver2 &

启动HiveMetastore服务

在Hive机器上启动HiveMetastore服务:hive –service metastore或者hive –service metastore &

看到如下信息,说明启动完成:

启动Hue服务

在Hue的/bulid/env/bin/目录下执行./supervisor 命令启动hue服务

验证启动

在终端输入jps -ml查看:

可以看到Hadoop集群各Hive服务启动都正常

集成验证及简单使用

登陆Hue服务,点击Hive可以看到Hive的默认default的库,和我们之前使用Hive时建的表

查看Hive表的详细信息,右击表点击Open in Browser在右边的Table Browser视图中,可以看到表的结构及字段自定义、部分数据等

点击columns标签可以看到表字段的详细信息

点击sample标签可以看到该表全部的数据信息

使用Hue中的Hive查询器查询Hive表中的数据

在Hue中还有更多可以操作Hive的方式,大家可以自己尝试别的,本文先这么多基本的操作

问题总结

Hue提示不能启动SASL异常

问题描述:Hue提示Could not start SASL: Error in sasl_client_start (-4) SASL(-4)的异常

问题原因:因为系统缺少了相关的依赖
解决办法:我们在hue所在主机安装以下的依赖
yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

最后总结

本文使用Hue连接操作Hive数据仓库比较之前Hive自己的Hwi功能更强大,同时Hue支持更多的应用,集成在一起更像是一个操作、监控为一体的平台化的工具,在后面的文章我们还继续去使用Hue集成HBase、Mysql、Oracle等