博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive快速入门
阅读量:6268 次
发布时间:2019-06-22

本文共 1590 字,大约阅读时间需要 5 分钟。

  hot3.png

  1. 什么是Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。同时,这个语言也允许熟悉 MapReduce  开发者的开发自定义的 mapper  reducer  来处理内建的 mapper reducer  无法完成的复杂的分析工作。

  1. 为什么使用Hive

学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

  1. Hive 系统架构

142143_rumR_2273204.png

 

用户接口主要有三个:CLIJDBC/ODBC WebUI

  1. CLI,即Shell命令行

  2. JDBC/ODBC Hive Java,与使用传统数据库JDBC的方式类似

  3. WebGUI是通过浏览器访问 Hive

MetastoreHive的元数据)

  1. 元数据包含了Hive包表的表名、字段分区属性等表的属性信息

  2. 默认使用Derby数据库作为默认的元数据仓库(嵌入式,只支持单session回话)

 

  1. Hive与传统数据的对比

Hive

RDBMS

查询语言

HQL

SQL

数据存储

HDFS

Raw Device or Local FS

执行

MapReduce

Excutor

执行延迟

处理数据规模

索引

0.8版本后加入位图索引

有复杂的索引

 

  1. Hivehadoop 的调用关系

142143_Jv7f_2273204.png

  1. Hive安装

  2. 1.     下载hive源文件

  3. 2.     解压hive文件

  4. 3.     进入$HIVE_HOME/conf/修改文件

  5. a)     cp  hive-env.sh.template  hive-env.sh

  6. b)     cp  hive-default.xml.template  hive-site.xml

  7. 4.     修改$HIVE_HOME/binhive-env.sh,增加以下三行

  8. a)     export JAVA_HOME=/usr/local/jdk1.7.0_45

  9. b)     export HIVE_HOME=/usr/local/hive-0.14.0

  10. c)     export HADOOP_HOME=/usr/local/hadoop-2.6.0

  11. 5.     伪分布模式使用默认的Derby就可以直接启动Hive控制台了,但一般都会修改为MySQL

修改$HIVE_HOME/conf/hive-site.xml

<property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://192.168.1.100:3306/crxy_job?

               createDatabaseIfNotExist=true</value>

</property>

<property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

</property>

<property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>root</value>

</property>

<property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>admin</value>

</property>

  1. MySQL的驱动包jar文件存放在HIVE_HOME/lib

  2. 启动Hive,现在就可以执行Sql语句创建表了!

 更多精彩内容请关注:

关注超人学院微信二维码:142520_buTb_2273204.jpg

转载于:https://my.oschina.net/crxy/blog/413252

你可能感兴趣的文章
Spring Boot 2.0(二):Spring Boot 2.0尝鲜-动态 Banner
查看>>
Delphi IdTCPClient IdTCPServer 点对点传送文件
查看>>
Delphi中使用ActiveX的一些心得
查看>>
QT5.8.0+MSVC2015安装以及环境配置(不需要安装VS2015)
查看>>
(原創) C/C++的function prototype和header file (C/C++) (C)
查看>>
深入理解JavaScript系列(29):设计模式之装饰者模式
查看>>
程序员的罪与罚
查看>>
SQL*LOADER错误总结
查看>>
SQL日志收缩
查看>>
【转】MySQL Query Cache 小结
查看>>
SVN分支和合并的简单例子
查看>>
PHP实现的封装验证码类
查看>>
Augular初探
查看>>
PHPStorm下XDebug配置
查看>>
【LeetCode】55. Jump Game
查看>>
Android应用盈利广告平台的嵌入方法详解
查看>>
Linux(CentOS6.5) 开放端口,配置防火墙
查看>>
Func与Action
查看>>
Android ViewPager 应该及技巧
查看>>
ODI KM二次开发手册
查看>>