大数据营销的特点(大数据分析在营销中的作用)
803
2022-05-28
华为云大咖说-大数据应用开发指导
赵军 华为云MRS服务架构师
这次课程分为三大部分
第一部分:公有云基本概念
第二部分:华为云MRS服务介绍
第三部分:MRS解决方案场景及案例
一公有云基本概念
首先是第一组概念,按照公有云资源池模型可分为Region和AZ。这两种模式为用户提供标准化的计算池以构建不同的应用。每个AZ都有自己的独立空间,因此可以避免连续的故障发生。而对于客户来讲,可以根据需求的不同做出相关选择。
接下来需要了解的是VPC-虚拟机私有云
VPV就是我们可以访问的网络,虚拟机部署在不同的子网 ,子网就是网段, 而安全组就类似于防火墙。
ESC 弹性虚拟机
需要注意的是华为虚拟机多种多样,各种性能都有,考虑成本到成本需求的不同,用户可以根据自己的业务来选择相关的EPC。
EVS 云硬盘
EVS是一个模拟盘,不是真正的物理盘。它的好处就是想用什么样子的磁盘就可以申请什么样子的磁盘,申请速度非常快。
二华为云MRS服务介绍
随着信息化和智能化的到来,大家亲身体验到数据呈爆炸式的增长,例如我们每天都会刷威信,刷微博和拍照片等等。还有很多看不到的数据改变,例如智能水表,电表和音响都可以联网, 时时刻刻都产生各种数据。以往绝大多数企业都会选择使用Hadoop去解决问题,但是随着数据种类和数量的转变,线下部署Hadoop却也显现出各种问题。
那MRS 云服务有哪些优点呢?
在数据的处理方面,MRS可以帮助节省成本,因为MRS云服务只有存储成本没有计算成本,使用后数据的处理过程被立即释放效率非常高。
MRS组建的相关技术有哪些呢?
有时候数据很多,那数据到底存放在哪里呢?(利用MRS存储技术 )
HDFS存储技术拥有比较智能的高容错性,认为硬件总是不可靠的。同时高吞吐量会为大文件存储提供空间,支持存储的空间也是TB-PB级别的数据。HBase存储技术可存放海量数据的同时吞吐量也很高,而且能够同时处理结构化和非结构化的数据,不需要完全拥有传统关系数据库所具备的ACID特性。
大数据是怎么来到MRS这个平台的呢?(利用MRS数据接入技术)
Flume数据接入技术采用流式方式采集和传送数据,程序配置好后,不需要外部条件触发的情况下,一直监控数据源就可以源源不断地采集并且传送数据到目的地。Kafka数据接入技术的优点是消息持久化到硬盘并且吞吐量高, 系统是分布式的易扩展而且容错性也很好 。Sqoop数据接入技术的优点是图形化,高吞吐量,高性能以及安全可靠。
数据怎样分析以及工作呢?(利用MRS数据分析技术 )
MapRedue数据分析技术的优点是易于编程,同时拥有良好的扩展性和高容错性。 Hive数据分析技术优点是基于MapReduce的,同时支持多种存储格式,例如文本ORC/RC File,Hbase,Parquet等等,而且还提供SQL查询能力。Spark数据分析技术可以基于内存进行快速查询, 还提供了多种算子,易用性高。
最后MRS流式技术更好地为用户服务
Storm流式技术依靠事件驱动,可以连续查询。数据在应用时先计算不存储。响应是实时的,延迟很低。SparkStreaming 流式技术吞吐量高,容错能力强。
三MRS实际应用场景以及应用案例
场景1:海量数据的分析计算和准实时查询
场景2:低时延流式处理
案例1:助力内部客户实现智能CBG运维和BI
案例2:离线数据处理场景(分析与预测)
此外,同学们通过相关的学习,提出了不少反思问题。
问题1:自己用虚拟机搭建的集群用来学习可不可以?
回答1:不太建议自己搭建,自己搭建比较费时费力。用MRS搭建很方便,而且价格便宜费用在2元一小时左右。
问题2:现在国内有阿里云 腾讯云,国外有微软云 AWS 谷歌云等,现在华为云的优势方面能说一下嘛?就是选择华为云而不选择其他的?
回答2:简单点说我们现在就是恪守边界,上不碰应用下不碰数据。而华为最大的优势就在于提供一个平台,可以让更多的伙伴参与进来。
问题3:大数据上云背后是基于什么上云的?是虚拟机还是容器?
回答3:目前是基于虚拟机机,此外还支持本地盘的应用。
最后感谢大家的参与,大家可以关注华为云DevCloud官方微信,回复“大数据指导”,获取今晚PPT。也欢迎大家持续关注华为云DevCloud直播间,关注后续课程,学知识,领礼品~
视频l连接:https://m.qlchat.com/wechat/page/topic-intro?topicId=00003012106091
以上文字内容由【内容众创兴趣小组-Tom forever】整理
大数据开发 弹性云服务 大数据 大数据
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。