centos7安装配置Hive

x33g5p2x  于2022-05-13 转载在 Hive  
字(3.2k)|赞(0)|评价(0)|浏览(557)

rpm -qa | grep -i mysql 查看
rpm -e --nodeps 卸载

1.官网下载安装mysql-server

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-community-server

2.安装成功后重启mysql服务

service mysqld restart

3.启动mysql服务

mysql -u root -p

4.设置密码

set password for ‘root’@‘主机名’ =password(‘新密码’);

5.退户登录

mysql> exit

6.配置mysql

vim /etc/my.cnf
在最后面添加下面内容:

default-character-set =utf8

7.配置mysql远程链接

设置远程访问账号:grant all privileges on . to 远程访问用户名@’%’ identified by ‘用户密码’;

mysql> grant all privileges on *.* to root@'%' identified by '123456';

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

8.把cloud01用户主目录下soft文件夹中的apache-hive-2.1.0-bin.tar.gz压缩包,解压缩到用户主目录下,并重命名为hive:

tar -zxvf software/apache-hive-2.3.4-bin.tar.gz

mv apache-hive-2.3.4-bin hive

9.设置hive环境变量

vim /etc/profile

在profile尾部添加两行:

export HIVE_HOME=/opt/hive
export PATH=$HIVE_HOME/bin:$PATH

10.让配置生效

source /etc/profile

11.配置hive-env.sh

打开hive-env.sh 文件
vim hive-env.sh

在hive-env.sh末尾添加以下四行:

export JAVA_HOME=/opt/jdk
export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf

通过设置HIVE_CONF_DIR环境变量来指定Hive配置目录位置

12.配置hive-site.xml

复制一份

cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml

打开hive-site.xml 文件
vim hive-site.xml
将文件中的${system:java.io.tmpdir}替换成: /opt/hive/tmp
将文件中的${system:user.name}替换成root
#其中,${system:java.io.tmpdir}有4处,${system:user.name}有2处,可通过gedit的文档搜索功能快速锁定
修改hive.aux.jars.path属性的值为:file:///opt/hive/lib

修改hive.metastore.warehouse.dir属性的值为:hdfs://localhost:9000/root/warehouse

cloud01为本机机名

13.继续配置hive-site.xml中的Hive Metastore

把保存在/home/dong/soft/下的驱动程序包 mysql-connector-java-5.1.40.jar 放入 /home/dong/hive/lib 下
cp software/mysql-connector-java-5.1.32-bin.jar hive/lib

在hive-site.xml 中配置 MySQL 数据库连接信息:

<property>
<name>javax.jdo.option.ConnectionURL</name>   # JDBC连接字符串
<value>jdbc:mysql://cloud01:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8 
(cloud01为本机机名)
</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>  # 驱动名称
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>  # 连接身份
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>  # 连接密码
<value>123</value>
</property>

14.配置Log4j日志信息存储

mkdir hive/logs  #创建logs文件夹保存日志
cd  hive/conf  
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
gedit hive /conf/hive-log4j2.properties
在hive-log4j2.properties中,把property.hive.log.dir的值改为:/home/dong/hive/logs,即property.hive.log.dir=/home/dong/hive/logs

15.启动hadoop集群

start-all.sh

16.为Hive创建HDFS目录

hdfs dfs -ls  /
hdfs dfs -mkdir /tmp/hive   #创建hive,如果tmp没有则也需要创建
hdfs dfs -mkdir -p /user/dong/warehouse  #创建/user/dong/warehouse保存hive管理的数据
hdfs dfs -chmod -R 777 /tmp  #添加写权限
hdfs dfs -chmod -R 777 /user/dong/warehouse  #添加写权限

17.初始化操作

source /etc/profile #确保之前的配置生效
schematool -initSchema -dbType mysql #初始化操作(连接mysql创建保存元数据的数据库)
显示以下结果说明初始化成功

上面结果如果有以下信息出现:

则执行以下操作,删除冲突的log4j-slf4j-impl-2.4.1.jar
rm -f hive/lib/log4j-slf4j-impl-2.4.1.jar

18.登入mysql 查看初始化结果

mysql -u root -p
show databases;
use hive; 
show tables;

19.运行Hive CLI(命令行客户端)

进入如下的CLI界面

20.退出hive CLI

exit;

相关文章