HIVE安装和配置

hive.log.dir=**

如果用户希望，可以通过添加下面显示的参数将日志发送到控制台：

bin/hive --hiveconf hive.root.logger=INFO,console //for HiveCLI (deprecated)

bin/hiveserver2 --hiveconf hive.root.logger=INFO,console

或者，用户通过使用以下命令来更改日志记录级别：

bin/hive --hiveconf hive.root.logger=INFO,DRFA //for HiveCLI (deprecated)

bin/hiveserver2 --hiveconf hive.root.logger=INFO,DRFA

日志的另一种选择是TimeBasedRollingPolicy（适用于Hive 1.1.0及更高版本，HIVE-9001），方法是提供DAILY选项，如下所示：

bin/hive --hiveconf hive.root.logger=INFO,DAILY //for HiveCLI (deprecated)

bin/hiveserver2 --hiveconf hive.root.logger=INFO,DAILY

请注意，hive.root.logger通过'set'命令进行设置不会更改日志记录属性，因为它们是在初始化时确定的。

Hive还将查询日志存储在每个Hive会话中/tmp//，但可以使用属性在hive-site.xml中配置 hive.querylog.location。从Hive 1.1.0开始，查询的EXPLAIN EXTENDED输出可以通过将 hive.log.explain.output 属性设置为true 来记录在INFO级别  。

Hadoop集群上，Hive执行期间的日志记录由Hadoop配置控制。通常，Hadoop将为每个映射生成一个日志文件，并减少存储在执行任务的群集机器上的任务。日志文件可通过点击Hadoop JobTracker Web UI中的“任务详细信息”页面获取。

在使用本地模式（使用mapreduce.framework.name=local）时，Hadoop / Hive执行日志将在客户端计算机上生成。从版本0.6开始 - Hive使用hive-exec-log4j.properties（hive-log4j.properties仅在缺失时回退）来确定默认情况下这些日志的传输位置。默认配置文件为每个在本地模式下执行的查询生成一个日志文件并将其存储在下/tmp/。提供单独配置文件的目的是为了使管理员能够根据需要集中执行日志捕获（例如在NFS文件服务器上）。执行日志对调试运行时错误非常有用。

有关WebHCat错误和日志记录的信息，请参阅WebHCat手册中的错误代码和响应以及日志文件。

错误日志对调试问题非常有用。请将任何错误（其中有很多！）发送给他们hive-dev@hadoop.apache.org。

从Hive 2.1.0开始（  HIVE-13027），Hive默认使用Log4j2的异步记录器。将hive.async.log.enabled设置为false将禁用异步日志记录并回退到同步日志记录。异步日志记录可以显着提高性能，因为日志记录将在使用LMAX干扰程序队列缓冲日志消息的单独线程中处理。 有关优点和缺点，请参阅https://logging.apache.org/log4j/2.x/manual/async.html。

HiveServer2操作日志适用于从Hive 0.14开始的客户端。请参阅HiveServer2日志记录以进行配置。

对于每个Metastore API调用，都会从Hive Metastore服务器记录审核日志。

审核日志记录功能和一些相关功能参数。它记录在log4j的INFO级别，因此您需要确保INFO级别的日志记录已启用（请参阅HIVE-3505 ）。日志条目的名称是“HiveMetaStore.audit”。

在Hive 0.7中为安全客户端连接（HIVE-1948 ）和Hive 0.10为非安全连接（HIVE-3277 ;也参见HIVE-2797 ）添加了审计日志。

为了通过PerfLogger获得性能指标，您需要为PerfLogger类（HIVE-12675 ）设置DEBUG级日志记录。这可以通过在log4j属性文件中设置以下内容来实现。

log4j.logger.org.apache.hadoop.hive.ql.log.PerfLogger=DEBUG

如果记录器级别已通过hive.root.logger设置为根目录下的DEBUG，则上述设置不需要。

DDL操作

Hive数据定义语言 中记录了 Hive DDL操作。

创建Hive表

hive> CREATE TABLE pokes (foo INT, bar STRING);

创建一个名为pokes的表，有两列，第一个是整数，另一个是字符串。

hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

创建一个名为invites的表，其中包含两列和一个名为ds的分区列。分区列是虚拟列。它不是数据本身的一部分，而是从特定数据集加载到的分区派生而来。

默认情况下，表假定为文本输入格式，分隔符假定为^ A（ctrl-a）。

浏览表格

hive> SHOW TABLES;

列出了所有的表格。

hive> SHOW TABLES '.*s';

列出以's'结尾的所有表格。模式匹配遵循Java正则表达式。查看文档http://java.sun.com/javase/6/docs/api/java/util/regex/Pattern.html的链接。

hive> DESCRIBE invites;

显示列的列表。

更改和删除表格

表名可以更改，列可以添加或替换：

hive> ALTER TABLE events RENAME TO 3koobecaf;   hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);   hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');   hive> ALTER TABLE invites REPLACE COLUMNS (foo INT, bar STRING, baz INT COMMENT 'baz replaces new_col2');

请注意，REPLACE COLUMNS将替换所有现有的列，并仅更改表的schema，而不是数据。该表必须使用本地SerDe。REPLACE COLUMNS也可用于从表格模式中删除列：

hive> ALTER TABLE invites REPLACE COLUMNS (foo INT COMMENT 'only keep the first column');

Drop tables ：

hive> DROP TABLE pokes;

元数据存储

元数据位于嵌入式Derby数据库中，其磁盘存储位置由Hive配置变量javax.jdo.option.ConnectionURL。默认情况下这个位置是./metastore_db（见conf/hive-default.xml）。

目前，在默认配置中，此元数据一次只能由一个用户看到。

Metastore可以存储在任何由JPOX支持的数据库中。位置和RDBMS的类型可以通过两个变量来控制javax.jdo.option.ConnectionURL和javax.jdo.option.ConnectionDriverName。有关支持的数据库的更多详细信息，请参阅JDO（或JPOX）文档。数据库模式在JDO元数据注释文件package.jdo中定义src/contrib/hive/metastore/src/model。

在将来，Metastore本身可以是一个独立的服务器。

如果要将Metastore作为网络服务器运行，以便可以从多个节点访问它，请参阅Hive在服务器模式下使用Derby。

DML操作

Hive数据操作语言中记录了Hive DML操作。

将文件中的数据加载到Hive中：

hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

将包含由ctrl-a分隔的两列的文件加载到pokes表中。'LOCAL'表示输入文件在本地文件系统上。如果'LOCAL'被省略，那么它会在HDFS中查找该文件。

关键字'覆盖'表示表中的现有数据被删除。如果忽略'OVERWRITE'关键字，则将数据文件附加到现有数据集。

注意：

加载命令不执行对模式的数据验证。

如果文件位于hdfs中，则将其移入Hive控制的文件系统名称空间。

Hive目录的根目录由选项指定hive.metastore.warehouse.dir在hive-default.xml。我们建议用户在尝试通过Hive创建表之前创建该目录。

hive> LOAD DATA LOCAL INPATH './examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');   hive> LOAD DATA LOCAL INPATH './examples/files/kv3.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-08');

上面的两个LOAD语句将数据加载到表invites的两个不同分区中。表必须创建为按键ds分区才能成功。

hive> LOAD DATA INPATH '/user/myname/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');

上述命令会将数据从HDFS文件/目录加载到表中。

请注意，从HDFS加载数据将导致移动文件/目录。因此，该操作几乎是即时的。

SQL操作

选择中记录了Hive查询操作。

示例查询

下面显示了一些示例查询。他们在build/dist/examples/queries目录下。

更多可在Hive资源中找到ql/src/test/queries/positive。

hive> SELECT a.foo FROM invites a WHERE a.ds='2008-08-15';

从ds=2008-08-15该invites表的所有分区行中选择'foo'列。结果不存储在任何地方，但显示在控制台上。

请注意，在随后的所有示例中INSERT（可以插入Hive表，本地目录或HDFS目录）都是可以的。

hive> INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* FROM invites a WHERE a.ds='2008-08-15';

从表的分区ds=2008-08-15中选择所有行invites到HDFS目录中。结果数据在该目录中的文件中（取决于映射器的数量）。

注：如果使用*选择分区列。它们也可以在投影子句中指定。

分区表必须始终WHERE在语句的子句中选择一个分区。

hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/local_out' SELECT a.* FROM pokes a;

从pokes表中选择所有行到本地目录。

hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a;   hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a WHERE a.key < 100;   hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3' SELECT a.* FROM events a;   hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_4' select a.invites, a.pokes FROM profiles a;   hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_5' SELECT COUNT(*) FROM invites a WHERE a.ds='2008-08-15';   hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_5' SELECT a.foo, a.bar FROM invites a;   hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/sum' SELECT SUM(a.pc) FROM pc1 a;

选择一列的sum。avg, min, or max 也可以使用。请注意，对于不包含HIVE-287的Hive版本，您需要使用COUNT(1)代替COUNT(*)。

hive> FROM invites a INSERT OVERWRITE TABLE events SELECT a.bar, count(*) WHERE a.foo > 0 GROUP BY a.bar;  hive> INSERT OVERWRITE TABLE events SELECT a.bar, count(*) FROM invites a WHERE a.foo > 0 GROUP BY a.bar;

请注意，对于不包含HIVE-287的Hive版本，您需要使用COUNT(1)代替COUNT(*)。

hive> FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) INSERT OVERWRITE TABLE events SELECT t1.bar, t1.foo, t2.foo;

FROM src   INSERT OVERWRITE TABLE dest1 SELECT src.* WHERE src.key < 100   INSERT OVERWRITE TABLE dest2 SELECT src.key, src.value WHERE src.key >= 100 and src.key < 200   INSERT OVERWRITE TABLE dest3 PARTITION(ds='2008-04-08', hr='12') SELECT src.key WHERE src.key >= 200 and src.key < 300   INSERT OVERWRITE LOCAL DIRECTORY '/tmp/dest4.out' SELECT src.value WHERE src.key >= 300;

hive> FROM invites a INSERT OVERWRITE TABLE events SELECT TRANSFORM(a.foo, a.bar) AS (oof, rab) USING '/bin/cat' WHERE a.ds > '2008-08-09';

在映射阶段通过脚本/bin/cat流式传输数据（如Hadoop流式传输）。

同样，流式传输可以用在reduce方面（请参阅Hive教程以获得示例）。

简单的示例用例

MovieLens用户评级

首先，用制表符分隔的文本文件格式创建一个表格：

CREATE TABLE u_data (   userid INT,   movieid INT,   rating INT,   unixtime STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'STORED AS TEXTFILE;

然后，从下载数据文件MovieLens 100K的上GroupLens数据集页（其中也有一个readme.txt文件，并解压缩文件索引）：

wget http://files.grouplens.org/datasets/movielens/ml-100k.zip

要么：

curl --remote-name http://files.grouplens.org/datasets/movielens/ml-100k.zip

注意：如果到GroupLens数据集的链接   不起作用，请报告HIVE-5341或发送邮件到user@hive.apache.org邮件列表。

解压缩数据文件：

unzip ml-100k.zip

并加载u.data到刚刚创建的表中：

LOAD DATA LOCAL INPATH '/u.data'OVERWRITE INTO TABLE u_data;

计算表u_data中的行数：

SELECT COUNT(*) FROM u_data;

请注意，对于不包含HIVE-287的旧版Hive ，您需要使用COUNT（1）来代替COUNT（*）。

现在我们可以在表格上进行一些复杂的数据分析u_data：

创建weekday_mapper.py：

import sysimport datetimefor line in sys.stdin:   line = line.strip()   userid, movieid, rating, unixtime = line.split('\t')   weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()   print '\t'.join([userid, movieid, rating, str(weekday)])

使用映射器脚本：

CREATE TABLE u_data_new (   userid INT,   movieid INT,   rating INT,   weekday INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; add FILE weekday_mapper.py; INSERT OVERWRITE TABLE u_data_new SELECT   TRANSFORM (userid, movieid, rating, unixtime)   USING 'python weekday_mapper.py'   AS (userid, movieid, rating, weekday) FROM u_data; SELECT weekday, COUNT(*) FROM u_data_new GROUP BY weekday;

请注意，如果你使用的蜂巢0.5.0或更早的版本，你需要使用COUNT(1)的地方COUNT(*)。

Apache Weblog数据

Apache weblog的格式是可定制的，而大多数网站管理员使用默认格式。

对于默认的Apache Weblog，我们可以使用以下命令创建一个表。

有关RegexSerDe的更多信息，请参阅HIVE-662和HIVE-1719。

CREATE TABLE apachelog (   host STRING,   identity STRING,   user STRING,   time STRING,   request STRING,   status STRING,   size STRING,   referer STRING,   agent STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'WITH SERDEPROPERTIES (  "input.regex" = "([^]*) ([^]*) ([^]*) (-|\\[^\\]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?") STORED AS TEXTFILE;

Hive

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。