在前面文中我们在Hue中集成了Hdfs和Yarn,可以很方便的在Hue中操作Hdfs中的数据和查看MapReduce的作业执行情况。本文我们将在Hue中集成Hive数据仓库,用替代Hive自己的Hwi服务,可以很方便的在Hue中进行Hive的Sql查询等操作。
环境准备
1.Hadoop集群服务
2.Hive-Mysql元数据库服务
3.Hive服务
4.Hue4.1服务
集成配置
打开Hue的/desktop/conf/目录下的pseudo-distributed.ini文件
编辑pseudo-distributed.ini文件 ,找到[beeswax]这一节,修改信息连接为hdpc01的机器上的Hive数据仓库服务,修改信息如下:
1 | hive_server_host=hdpc01 |
集成准备
启动Hadoop集群
启动Hadoop三台机器,然后在主节点机器上启动Hadoop集群:start-all.sh
启动Hiveserver服务
在Hive机器上启动Hiveserver服务:hive –service hiveserver2 或者hive –service hiveserver2 &
启动HiveMetastore服务
在Hive机器上启动HiveMetastore服务:hive –service metastore或者hive –service metastore &
看到如下信息,说明启动完成:
启动Hue服务
在Hue的/bulid/env/bin/目录下执行./supervisor 命令启动hue服务
验证启动
在终端输入jps -ml查看:
可以看到Hadoop集群各Hive服务启动都正常
集成验证及简单使用
登陆Hue服务,点击Hive可以看到Hive的默认default的库,和我们之前使用Hive时建的表
查看Hive表的详细信息,右击表点击Open in Browser在右边的Table Browser视图中,可以看到表的结构及字段自定义、部分数据等
点击columns标签可以看到表字段的详细信息
点击sample标签可以看到该表全部的数据信息
使用Hue中的Hive查询器查询Hive表中的数据
在Hue中还有更多可以操作Hive的方式,大家可以自己尝试别的,本文先这么多基本的操作
问题总结
Hue提示不能启动SASL异常
问题描述:Hue提示Could not start SASL: Error in sasl_client_start (-4) SASL(-4)的异常
问题原因:因为系统缺少了相关的依赖
解决办法:我们在hue所在主机安装以下的依赖
yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
最后总结
本文使用Hue连接操作Hive数据仓库比较之前Hive自己的Hwi功能更强大,同时Hue支持更多的应用,集成在一起更像是一个操作、监控为一体的平台化的工具,在后面的文章我们还继续去使用Hue集成HBase、Mysql、Oracle等