华为云大数据分析7天训练营（二）

第二章 大数据发展趋势和Spark介绍

数据湖探索（Data Lake Insight，简称 DLI）是完全兼容 Apache Spark、Apache Flink、openLooKeng（基于 Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless 融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用 SQL 或程序就可以对云上 CloudTable、RDS、DWS、CSS、OBS、ECS 自建数据库以及线下数据库的异构数据进行探索

作业：1.登录控制台 2.选择队列 3.创建数据库 4.创建表  5.执行SQL查询语句

1.登录控制台

地址： 大数据分析工具_数据湖探索_DLI_大数据计算分析服务-华为云

点击进入控制台

2.选择队列

① 在“总览”页面，单击左侧导航栏中的“SQL 编辑器”或 SQL 作业简介右上角的“创建作业”，可进入“SQL 编辑器”页面。

点击是，创建桶成功

② 在 SQL 编辑器页面，选择默认的队列“default”。

该队列为服务默认的共享队列，队列大小按需分配，自动扩展。用户在不确定所需队列大小或没有可创建队列空间的情况下，可以使用该队列执行作业。

3.创建数据库

①在 SQL 语句编辑区域中，输入 SQL 语句创建数据库。如，创建名称为 DB1 的数据库：CREATE DATABASE DB1

② 单击“更多”中的“语法校验”，校验成功后，再单击“执行”。在 SQL 语句编辑区域的下方，显示执行结果。

勾选同意  点击确定

4.创建表

① 在“数据库”下拉框中，选择新创建的数据库 db1。

② 在 SQL 语句编辑区域中，输入 SQL 语句创建数据表。例如，创建名称为 Table1 的数据表，数据文件在 OBS 上的路径为“obs://dli/dli/data.csv ”。

create table table1 (id int, name string) using csv options (path'obs://dli/dli/data.csv')

说明：所使用的数据需先上传至 OBS 中。假设所使用的数据为如下所示：

id name1 Michael

2 Andy

3 Justin

③ 语法校验成功后，单击“执行”。在 SQL 语句编辑区域的下方，显示执行结果。

注意这里地址写你自己的obs地址

首先在控制台搜索obs进入obs

点击桶名字进入桶详情页面 选择对象  然后上传对象将data.csv上传

点击data.csv  之后复制obs路径 填到path

语法校验

执行语句

5.执行SQL查询语句

①在 SQL 语句编辑区域中，输入查询语句对数据进行分析。例如：查询 DB1 数据库的 Table1 数据表中的 1000 条数据。

SELECT * FROM db1.table1 LIMIT 1000

② 语法校验成功后，单击“执行”。在 SQL 语句编辑区域的下方，显示执行结果。

到此作业完成--记得删除资源

删除obs-先删对象 再删桶

删除作业/数据库/表

附件： data.zip 179B 下载次数：9次

大数据 数据挖掘 机器学习

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。