【最佳实践】使用DLI将CSV数据转换为Parquet数据

Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的其值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet 还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。

创建CSV数据，例如，如图1所示test.csv：

图1 创建test.csv文件

在OBS上建桶obs-csv-parquet，并将test.csv文件上传至OBS，如图2所示：

图2 上传CSV数据至OBS

在DLI的SQL编辑窗口中创建OBS表test_csv_hw并导入test.csv数据。

create table test_csv_hw(id1 int, id2 int, id3 int, id4 int, id5 int) using csv options(path 's3a://obs-csv-parquet/test.csv')

在DLI的SQL编辑窗口中查询表test_csv_hw中的数据。

图3 查询表test_csv_hw

在OBS上创建一个新的桶obs-parquet-data用于存储Parquet数据。

在DLI的SQL编辑窗口中创建OBS表test_parquet_hw。

CREATE TABLE `test_parquet_hw` (`id1` INT, `id2` INT, `id3` INT, `id4` INT, `id5` INT)

USING parquet

OPTIONS (

path 's3a://obs-parquet-data/'

)

不需要指明具体的文件，因为在将数据从CSV格式转换为Parquet格式之前，不存在任何Parquet文件。

在DLI的SQL编辑窗口中将CSV数据转换为Parquet数据并存储在OBS中。

insert into test_parquet_hw select * from test_csv_hw

检查结果，如图4所示，系统自动创建了一个文件用于保存结果。

图4 保存Parquet数据

大数据分析

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。