Hive部署

x33g5p2x  于2021-03-14 发布在 Hive  
字(2.2k)|赞(0)|评价(0)|浏览(509)

[warning] 实验环境:完全分布式环境-Hadoop集群1

  • Hive不需要以集群的方式提供服务,但是Hive的工作需要依赖HDFS,为了提高Hive的执行效率,我们决定将Hive安装到bigdata1
  • Hive的数据分为数据本身和元数据信息,其中数据本身保存在HDFS上,但是元数据信息需要保存到关系型数据库中。这里选用Mysql数据库作为元数据库,因此还需要安装Mysql。我们在bigdata3已经安装了MySQL数据库,直接使用。

[info] (1)上传Hive包 apache-hive-1.2.2-bin.tar.gz 到 /data/software

:-:

[info] (2)解压项目包到 /data/module

# 1.进入到/data/software
cd /data/software
 
# 2.解压到 /data/module
tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /data/module

# 3.进入/data/module
cd /data/module

# 4.修改hive包名称
mv apache-hive-1.2.2-bin hive-1.2.2

[info] (3)配置Hive的全局环境变量

# 1.打开配置环境变量的文件
vi /etc/profile

# 2.添加环境变量
export HIVE_HOME=/data/module/hive-1.2.2
export PATH=$PATH:$HIVE_HOME/bin

# 3.重新加载配置文件
source /etc/profile

[info] (4)上传Mysql驱动到 /data/module/hive-1.2.2/lib

:-:

[info] (5)hive-site.xml 配置mysql相关信息

# 进入配置文件
 cd /data/module/hive-1.2.2/conf
 
# 创建一个 hive-site.xml 配置文件
vi hive-site.xml 

# 添加如下配置信息
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://bigdata3:3306/hive_db?createDatabaseIfNotExist=true</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
 </property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>

<property>
     <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>

<property>
  <name>hive.cli.print.current.db</name>
  <value>true</value>
  <description>打印当前hive库名</description>
</property>
  
<property>
  <name>hive.cli.print.header</name>
  <value>true</value>
  <description>打印当前hive表字段名</description>
</property>
</configuration>

:-:

[info] (6)使用schematool 初始化hive的元数据

schematool -initSchema -dbType mysql

:-:

:-:

[info] (7)登录Hive,确保集群bigdata1、bigdata2、bigdata3的三台机器的Zookeeper协调HA的高可用集群已经开启

# 1.在三台机器分别启动Zookeeper,启动命令
zkServer.sh start

# Zookeeper关闭命令
zkServer.sh stop

# 2.在 bigdata1 启动HDFS集群
start-dfs.sh

# HDFS关闭命令
stop-dfs.sh

# 1.在 bigdata1 启动YARN
start-yarn.sh

# YARN关闭命令
stop-yarn.sh

# 登录Hive,在控制台输入 hive

:-:

相关文章

微信公众号

最新文章

更多