华为云大咖说—大数据应用开发指导

网友投稿 803 2022-05-28

华为云大咖说-大数据应用开发指导

赵军 华为云MRS服务架构师

这次课程分为三大部分

第一部分:公有云基本概念

第二部分:华为云MRS服务介绍

第三部分:MRS解决方案场景及案例

一公有云基本概念

首先是第一组概念,按照公有云资源池模型可分为Region和AZ。这两种模式为用户提供标准化的计算池以构建不同的应用。每个AZ都有自己的独立空间,因此可以避免连续的故障发生。而对于客户来讲,可以根据需求的不同做出相关选择。

接下来需要了解的是VPC-虚拟机私有云

VPV就是我们可以访问的网络,虚拟机部署在不同的子网 ,子网就是网段, 而安全组就类似于防火墙。

ESC 弹性虚拟机

需要注意的是华为虚拟机多种多样,各种性能都有,考虑成本到成本需求的不同,用户可以根据自己的业务来选择相关的EPC。

EVS 云硬盘

EVS是一个模拟盘,不是真正的物理盘。它的好处就是想用什么样子的磁盘就可以申请什么样子的磁盘,申请速度非常快。

二华为云MRS服务介绍

随着信息化和智能化的到来,大家亲身体验到数据呈爆炸式的增长,例如我们每天都会刷威信,刷微博和拍照片等等。还有很多看不到的数据改变,例如智能水表,电表和音响都可以联网, 时时刻刻都产生各种数据。以往绝大多数企业都会选择使用Hadoop去解决问题,但是随着数据种类和数量的转变,线下部署Hadoop却也显现出各种问题。

那MRS 云服务有哪些优点呢?

在数据的处理方面,MRS可以帮助节省成本,因为MRS云服务只有存储成本没有计算成本,使用后数据的处理过程被立即释放效率非常高。

MRS组建的相关技术有哪些呢?

有时候数据很多,那数据到底存放在哪里呢?(利用MRS存储技术 )

HDFS存储技术拥有比较智能的高容错性,认为硬件总是不可靠的。同时高吞吐量会为大文件存储提供空间,支持存储的空间也是TB-PB级别的数据。HBase存储技术可存放海量数据的同时吞吐量也很高,而且能够同时处理结构化和非结构化的数据,不需要完全拥有传统关系数据库所具备的ACID特性。

大数据是怎么来到MRS这个平台的呢?(利用MRS数据接入技术)

Flume数据接入技术采用流式方式采集和传送数据,程序配置好后,不需要外部条件触发的情况下,一直监控数据源就可以源源不断地采集并且传送数据到目的地。Kafka数据接入技术的优点是消息持久化到硬盘并且吞吐量高, 系统是分布式的易扩展而且容错性也很好 。Sqoop数据接入技术的优点是图形化,高吞吐量,高性能以及安全可靠。

数据怎样分析以及工作呢?(利用MRS数据分析技术 )

MapRedue数据分析技术的优点是易于编程,同时拥有良好的扩展性和高容错性。 Hive数据分析技术优点是基于MapReduce的,同时支持多种存储格式,例如文本ORC/RC File,Hbase,Parquet等等,而且还提供SQL查询能力。Spark数据分析技术可以基于内存进行快速查询, 还提供了多种算子,易用性高。

最后MRS流式技术更好地为用户服务

Storm流式技术依靠事件驱动,可以连续查询。数据在应用时先计算不存储。响应是实时的,延迟很低。SparkStreaming 流式技术吞吐量高,容错能力强。

三MRS实际应用场景以及应用案例

场景1:海量数据的分析计算和准实时查询

场景2:低时延流式处理

案例1:助力内部客户实现智能CBG运维和BI

案例2:离线数据处理场景(分析与预测)

此外,同学们通过相关的学习,提出了不少反思问题。

问题1:自己用虚拟机搭建的集群用来学习可不可以?

回答1:不太建议自己搭建,自己搭建比较费时费力。用MRS搭建很方便,而且价格便宜费用在2元一小时左右。

问题2:现在国内有阿里云 腾讯云,国外有微软云 AWS 谷歌云等,现在华为云的优势方面能说一下嘛?就是选择华为云而不选择其他的?

回答2:简单点说我们现在就是恪守边界,上不碰应用下不碰数据。而华为最大的优势就在于提供一个平台,可以让更多的伙伴参与进来。

问题3:大数据上云背后是基于什么上云的?是虚拟机还是容器?

回答3:目前是基于虚拟机机,此外还支持本地盘的应用。

华为云大咖说—大数据应用开发指导

最后感谢大家的参与,大家可以关注华为云DevCloud官方微信,回复“大数据指导”,获取今晚PPT。也欢迎大家持续关注华为云DevCloud直播间,关注后续课程,学知识,领礼品~

视频l连接:https://m.qlchat.com/wechat/page/topic-intro?topicId=00003012106091

以上文字内容由【内容众创兴趣小组-Tom forever】整理

大数据开发 弹性云服务 大数据 大数据

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:【云小课】基础服务第47课 谈谈镜像的前世今生
下一篇:图解MySQL(5)-Buffer Pool的flush链表
相关文章