[warning] 实验环境:完全分布式环境-Hadoop集群1
- Hive不需要以集群的方式提供服务,但是Hive的工作需要依赖HDFS,为了提高Hive的执行效率,我们决定将Hive安装到bigdata1
- Hive的数据分为数据本身和元数据信息,其中数据本身保存在HDFS上,但是元数据信息需要保存到关系型数据库中。这里选用Mysql数据库作为元数据库,因此还需要安装Mysql。我们在bigdata3已经安装了MySQL数据库,直接使用。
[info] (1)上传Hive包 apache-hive-1.2.2-bin.tar.gz 到 /data/software
:-:
[info] (2)解压项目包到 /data/module
# 1.进入到/data/software
cd /data/software
# 2.解压到 /data/module
tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /data/module
# 3.进入/data/module
cd /data/module
# 4.修改hive包名称
mv apache-hive-1.2.2-bin hive-1.2.2
[info] (3)配置Hive的全局环境变量
# 1.打开配置环境变量的文件
vi /etc/profile
# 2.添加环境变量
export HIVE_HOME=/data/module/hive-1.2.2
export PATH=$PATH:$HIVE_HOME/bin
# 3.重新加载配置文件
source /etc/profile
[info] (4)上传Mysql驱动到 /data/module/hive-1.2.2/lib
:-:
[info] (5)hive-site.xml 配置mysql相关信息
# 进入配置文件
cd /data/module/hive-1.2.2/conf
# 创建一个 hive-site.xml 配置文件
vi hive-site.xml
# 添加如下配置信息
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://bigdata3:3306/hive_db?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
<description>打印当前hive库名</description>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
<description>打印当前hive表字段名</description>
</property>
</configuration>
:-:
[info] (6)使用schematool 初始化hive的元数据
schematool -initSchema -dbType mysql
:-:
:-:
[info] (7)登录Hive,确保集群bigdata1、bigdata2、bigdata3的三台机器的Zookeeper协调HA的高可用集群已经开启
# 1.在三台机器分别启动Zookeeper,启动命令
zkServer.sh start
# Zookeeper关闭命令
zkServer.sh stop
# 2.在 bigdata1 启动HDFS集群
start-dfs.sh
# HDFS关闭命令
stop-dfs.sh
# 1.在 bigdata1 启动YARN
start-yarn.sh
# YARN关闭命令
stop-yarn.sh
# 登录Hive,在控制台输入 hive
:-:
内容来源于网络,如有侵权,请联系作者删除!