重庆市网站建设_网站建设公司_前后端分离_seo优化
2025/12/23 12:52:07 网站建设 项目流程

安装和配置Hive

  1. 下载Hive的压缩包
cd /opt/pakages
wget https://mirrors.huaweicloud.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
  1. 解压
tar -zxvf apache-hive-3.1.3-src.tar.gz -C /opt/programs
  1. 在MySQL中执行以下命令,创建一个Hive的数据库,用于保存Hive的元数据
create datatbase hive character set latin1;
  1. 将mysql-connect-java.jar文件传到lib文件夹中
cp /usr/app/mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar /opt/programs/apache-hive-3.1.3-bin/lib/
  1. 在conf目录下新建并编辑配置文件hive_site.xml
cd /opt/programs/apache-hive-3.1.3-bin/conf
vim hive-site.xml

在文件中添加以下内容:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop01:3306/hive?useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>jqe6b6</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property>
</configuration>
  1. 修改文件/etc/profile,配置Hive环境变量
vim /etc/profile

在文件末尾加上以下内容:

export HIVE_HOME=/opt/programs/apache-hive-3.1.3-bin
export PATH=$PATH:$HIVE_HOME/bin

刷新使配置生效

source /etc/profile

验证Hive

  1. 启动Hive
hive

遇到的问题:Hive 和 Hadoop 中的 Guava(谷歌工具包)版本冲突

image-20251222204648124

解决方法:

查看Hadoop自带的Guava版本:

ls /opt/programs/hadoop-3.2.4/share/hadoop/common/lib/ | grep guava

查看 Hive 自带的 Guava 版本:

ls /opt/programs/apache-hive-3.1.3-bin/lib/ | grep guava

删除 Hive 中的低版本 Guava:

rm -f /opt/programs/apache-hive-3.1.3-bin/lib/guava-19.0.jar

复制 Hadoop 的高版本 Guava 到 Hive 的 lib 目录:

cp /opt/programs/hadoop-3.2.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/programs/apache-hive-3.1.3-bin/lib/

image-20251222205037369

然后执行以下命令,测试hive是否正常

select 1+1;

image-20251222210914372

如果遇到如下报错:元数据服务未启动或未加载新初始化的 schema

image-20251222211000309

解决方法:

先检查是否有残留的 MetaStore 进程,如有则杀掉:

# 查找MetaStore进程
jps | grep Metastore
# 若输出类似 "12345 RunJar"(对应metastore服务),执行杀掉命令(替换为实际进程号)
kill -9 12345

重新后台启动 Hive 元数据服务:之后会生成nohup.out文件

nohup hive --service metastore &

image-20251222211445738

重新进入Hive执行查询即可

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询