Hive
-
[置顶]甘特图怎么制作更方便?甘特图制作方法
本文关于甘特图怎么制作更方便?甘特图制作方法。其实现在制作甘特图的方式有多种多样,可以直接使用表格的方式来制作,或者是使用一些线上工具来制作甘特图都是可以的。今天针对于甘特图制作方式给大家详细的分享一...
-
[置顶]okr的实施标准步骤是什么?成功实施落地OKR的要点
本文关于okr的实施标准步骤是什么?成功实施落地OKR的要点。其实有关于Okr工作法,相信很多人都有一定的了解。OKR定义为一个重要的思维框架和一个发展中的学科,旨在确保员工一起工作,并专注于做出可衡...
-
上千个Hive UDF迁移到Spark--Facebook实践经验
多年来,Facebook已将Hive用作主要的查询引擎,当Facebook将作业从Hive迁移到Spark SQL时,遇到了各种各样的挑战和困难,其中Hive UDF的迁移就是遇到了很多明显的问题。本...
-
Windows10配置运行Hive on tez
背景 前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前,本地已经顺利运行Hive,并可以提交hive on mr任务。 在hive领域中,tez是其中一款比较常用的执行引擎。其支...
-
Windows10配置运行Hive(非WSL模式)
背景 相关篇:Windows10配置运行Hadoop(非WSL模式) Hive的运行依赖HDFS,需要先准备好Hadoop部分的配置。 版本 OS:Windows 10 Pro 1903 Java:1...
-
Hive RuntimeFilter
1 介绍 select * from store join store_sales on (store.id = store_sales.store_id) where store.s_...
-
Hive 动态分区剪裁原理
1 介绍 当一个大表和小表进行join,大表的join列是分区列,小表的join列不是分区列时,Hive的动态分区剪裁就会收集小表的join列的集合,发送给tez am, am在为大表计算s...
-
Hive快速入门系列(7) | Hive常见的属性配置
本次博主为大家带来的事Hive常见的属性配置。希望能够帮助大家。 目录 一. Hive数据仓库位置配置 二. 查询后信息显示配置 三. Hive运行日志信息配置 四. 参数配置方式 4.1 查看当前所...
-
揭秘hive常见面试题(一)-20道
(1)hive 使用:仓库、工具 (2)hive 内部表:加载数据到 hive 所在的 hdfs 目录,删除时,元数据和数据文件都删除 外部表:不加载数据到 hive 所在的 hdfs 目录,删除时,...
-
Hive快速入门系列(17) | Hive性能调优 [四] 并行执行
此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能...
-
hive语法创建分区表,方便CDM做增量导出
背景: 数据湖里面建表,可以使用DataSource语法或Hive语法 ,两种建表语法创建的OBS表(即外表)在运行job时,在分区表下的文件夹路径会有所不同,DataSource语法创建的OBS分区...
-
Hive优化(十七)-并行执行
Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下,Hive一次只会执行一个阶...