Hive中MySQL数据库的安装及绑定

Hive中MySQL的安装及绑定

• Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库
• derby数据库只支持单用户访问且不与其他客户端共享数据
• MySQL数据库可支持多用户访问且可与其他客户端共享数据
• 将 Hive 的元数据地址改为 MySQL数据库

[mnlg@XJ202 ~]$ my_hadoop.sh start						//启动hadoop
[mnlg@XJ202 ~]$ cd /opt/module/hive-3.1.2				//进入hive目录
[mnlg@XJ202 hive-3.1.2]$ bin/hive						//进入hive运行界面
hive> show databases;
hive> show tables;										//查看有哪些表格
hive> select * from test;								//查看test表中数据
hive> insert into test values (2);						//往test表中插入数据
hive> select * from test;								//查看是否插入成功(也可在网页上用端口访问查看是否插入成功)

一、MySQL安装

1、Hive中MySQL的安装

//检查当前系统是否安装过MySQL
[mnlg@XJ202 hive-3.1.2]$ rpm -qa|grep mariadb
mariadb-libs-5.5.56-2.el7.x86_64						//出现说明存在，没有生成任何东西就是不存在MySQL
//如果存在通过如下命令卸载
[mnlg@XJ202 hive-3.1.2]$ sudo rpm -e --nodeps mariadb-libs
[mnlg@XJ202 hive-3.1.2]$ rpm -qa|grep mariadb			//查看是否卸载成功

2、将MySQL两个安装包拷贝到/opt/software目录下

• mysql-connector-java-5.1.27-bin.jar——数据库连接时候的jar包（放在hive里面）
• mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar——安装包

//解压MySQL安装包
[mnlg@XJ202 software]$ tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar 
//在安装目录下执行rpm安装
[mnlg@XJ202 software]$
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
//在安装最后一个mysql-community-server-5.7.28-1.el7.x86_64.rpm 时记得按下回车

3、MySQL的使用

//删除/etc/my.cnf文件中 datadir 指向的目录下的所有内容(无内容就不需要操作此步)
[mnlg@XJ202 software]$ vim /etc/my.cnf
[mnlg@XJ202 software]$ cd /var/lib/mysql			 //进入MySQL目录
//初始化数据库
[mnlg@XJ202 mysql]$ sudo mysqld --initialize --user=mysql
//查看临时生成的root用户的密码
[mnlg@XJ202 mysql]$ sudo cat /var/log/mysqld.log	//在root@localhost:后面的即为密码
//启动MySQL服务
[mnlg@XJ202 mysql]$ sudo systemctl start mysqld
//登录MySQL数据库    
[mnlg@XJ202 mysql]$ mysql -uroot -p
Enter password: 输入上方mysqld.log中临时生成的密码，登陆成功
//必须先修改root用户的密码，否则执行其他的操作会报错
mysql> set password = password('新密码');			  //这里设置的新密码是000000
//修改MySQL库下的user表中的root用户允许任意ip连接
mysql> update mysql.user set host='%' where user='root';
//注意要刷新数据，否则可能不成功
mysql> flush privileges;


//打开MySQL软件，新建数据库表，插入3行记录分别为1，1、2，2、3，3
mysql> use my_db;
//查看到MySQL手动输入的记录已经进来了
mysql> select * from test;					
+----+------+
| id | name |
+----+------+
|  1 | 1    |
|  2 | 2    |
|  3 | 3    |
+----+------+
3 rows in set (0.04 sec)

二、Hive元数据配置到MySQL

1、Hive与MySQL进行绑定

//hive与mysql进行绑定
[mnlg@XJ202 mysql]$ cd /opt/software/				  //进入software目录下
[mnlg@XJ202 software]$ ll
//将MySQL的JDBC驱动移动到Hive的lib目录下    
[mnlg@XJ202 software]$ mv mysql-connector-java-5.1.27-bin.jar /opt/module/hive-3.1.2/lib
[mnlg@XJ202 software]$ cd /opt/module/hive-3.1.2/lib/

2、配置Metastore到MySQL

[mnlg@XJ202 lib]$ ll
[mnlg@XJ202 lib]$ cd ..
[mnlg@XJ202 hive-3.1.2]$ cd conf/
[mnlg@XJ202 conf]$ vim hive-site.xml   			   //在conf目录下新建hive-site.xml文件
    
//hive-site.xml中添加如下内容(13行中'XJ202'、23行中'root'、28行中'000000'根据需要进行更改)
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc 连接的 URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://XJ202:3306/metastore?useSSL=false</value>
    </property>
    <!-- jdbc 连接的 Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!-- jdbc 连接的 username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc 连接的 password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>000000</value>
    </property>
    <!-- Hive 元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!--元数据存储授权-->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    <!-- Hive 默认在 HDFS 的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>

3、登录MySQL、新建Hive元数据库

[mnlg@XJ202 software]$ mysql -uroot -p000000 
mysql> create database metastore;					//新建Hive元数据库
mysql> quit;
//初始化Hive元数据库
[mnlg@XJ202 software]$ schematool -initSchema -dbType mysql -verbose
//生成代码如下即元数据库初始化成功
beeline> Initialization script completed
schemaTool completed    

4、再次启动Hive

• 可新开一个XJ202窗口，查看是否实现多用户功能

[mnlg@XJ202 software]$ cd /opt/module/hive-3.1.2/
[mnlg@XJ202 hive-3.1.2]$ bin/hive
hive> show databases;
hive> create table t1(id int);					 //新建t1表
hive> insert into t1 values (1);				 //往t1表插入数据
hive> select * from t1;    
hive> quit;

[mnlg@XJ202 hive-3.1.2]$ vim test.txt
//test.txt中添加如下内容
songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long 
guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing

[mnlg@XJ202 hive-3.1.2]$ hive
hive> show databases;
//此时在XShell中打开一个新的XJ202窗口：
//进入hive，输入hive> show databases; 
//无报错，即已经实现多用户功能

//【以下内容在最开始的窗口继续操作】
//创建新表t2，并且定义各个字段的数据类型(map，array，struct)
hive> create table t2 (
    > name string,
    > friends array<String>,
    > children map<String,int>,
    > address struct<Street:string,city:string>
    > )
    > row format delimited fields terminated by ','
    > collection items terminated by '_'
    > map keys terminated by ':'
    > lines terminated by 'n';  

//导入数据
hive> load data local inpath '/opt/module/hive-3.1.2/test.txt' into table t2;
//查看t2表数据(发现数据导入成功)
hive> select * from t2;
OK
songsong	["bingbing","lili"]	{"xiao song":18,"xiaoxiao song":19}	{"street":"hui long ","city":null}
guan_beijing	NULL	NULL	NULL
yangyang	["caicai","susu"]	{"xiao yang":18,"xiaoxiao yang":19}	{"street":"chao yang","city":"beijing"}
Time taken: 2.309 seconds, Fetched: 3 row(s)