教程】大数据平台Cloudera CDH对接OBS操作指南

网友投稿 799 2022-05-29

传统的Hadoop和Spark大数据生态,是以本地硬盘或云硬盘承载HDFS文件系统,存放计算源数据、中间计算结果或最终计算结果。但是本地硬盘的成本高,扩容困难,而云硬盘的成本较高,扩容较方便。

华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务,具有高性能、低成本的优势,无扩容问题。同时可以与Hadoop和Spark大数据生态进行对接,为用户提供计算存储分离的大数据解决方案。

Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。为支持大数据平台CDH使用华为云对象存储OBS进行数据存储和读写,华为云OBS推出大数据组件OBSFileSystem与CDH进行对接。

本操作指导书旨在帮助华为云用户在CDH平台上快速对接OBSFileSystem组件,更好的使用华为云对象存储OBS。

硬件:1master+3core(配置:8U32G,操作系统:Centos7.5)

软件:CDH 6.0.1

CDH平台已安装完成,本文主要介绍CDH平台通过OBSFileSystem组件与OBS进行对接的操作步骤。对接OBS后,用户的数据即可存储在OBS平台,通过CDH进行大数据计算,实现计算存储分离。

详见附件

【教程】大数据平台Cloudera CDH对接OBS操作指南

附件: 大数据平台Cloudera CDH对接OBS操作指南.rar 2.79M 下载次数:56次

OBS 大数据

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:FastDFS服务双硬盘加验证配置
下一篇:【云小课】基础服务第88课 还在怕资源状态异常无法及时得知吗?使用云监控服务创建告警规则和通知就行啦~
相关文章