分布式文件系统如何做?终于有篇文章分布式文件上传讲清楚了
513
2022-05-29
出国在外,语言永远是第一大障碍。可有时候,就连过了语言这一关的人也会闹笑话,那就是货币转换。
讲一个小编出国旅游的故事。
去年国庆,小编和家人报了一个日本韩国 10 日游的旅行团,先去日本,然后韩国,最后打道回国。
在日本下了飞机后,小编觉得有些口渴,于是想在机场里的自动贩售机里买一瓶矿泉水,虽然知道日本的东西面值比较高,可看到标价 100 日元矿泉水还是有些犯嘀咕:
这究竟是 5 块钱左右(买了),还是 10 块钱左右(放弃)?
对于新时代青年,这种小问题当然是难不倒我~于是果断打开手机货币兑换的 App,经过转换后知道了人民币价格。
6 元,买!
就在这时,导游悄然出现在了我的身后,哈哈大笑说:“不用这么麻烦,教你一个办法,小数点往前移两位,然后乘以六,就是人民币价格了。”
小数点往前移两位,然后除以六,那么大部分商品的价格都在十位数以内,这对从小就对 99 乘法表倒背如流的国人来说这简直就是小菜一碟啊,这方法太好了!
于是在日本的五天,小编再也没有使用过那个 App。
五天之后,韩国机场,小编又感到了一阵口渴……想买一瓶标价 1200 韩币的香蕉牛奶,正准备掏出手机查询价格。
导游又神出鬼没般的出现在了我的身后:“小数点往前移三位,然后乘以六,就是人民币的价格。”
以上这个故事,只是身在国外的一点小障碍,而对大部分人来说,最大的挑战莫过于语言交流了,很多时候我们即使学过外语,也会在心里先翻译成中文然后明白对方想说什么。
而如果有一种方法,能够让我们无论听到何种语言都能实时转换成母语,那就真的走遍天下也不怕了。这样的困难其实在 IT 领域也是一样,过去:
一个以 NFS 协议写入存储系统的文件,需要在数据分析系统中通过 HDFS 协议读出来,不能直接实现。
不同文件系统的数据冗余策略不同,将原始数据迁移到 HDFS 中需要额外购买 3-5 倍的存储系统,本着既要确保容量足够,又要尽可能减少投资的原则,用户就得精确计算两者之间容量换算的比例。
以上两个问题,就会导致用户搭建大数据分析业务系统时,总要面对额外的时间花费和金钱花费的苦恼。
而戴尔易安信 Isilon 的出现顺利打破了多种协议间的壁垒,可以让数据在不同的业务系统中间任意流动。
戴尔易安信的 Isilon 横向扩展文件共享存储,集成了对多种行业标准协议的支持,包括 Internet 协议 IPv4 和 IPv6、NFS、SMB、HTTP、FTP 以及基于 OpenStack Swift 的对象访问,并原生支持 Hadoop 分布式文件系统(HDFS)。
这样一来,Isilon 就能实现以任意协议写入存储系统的数据,可以由任意的协议直接读出,不会因为各个应用程序所使用的数据访问协议有别而产生数据孤岛,为用户节省了转换协议所需要的时间,有效消除了客户因不同协议产生的数据孤岛。
除了消除数据孤岛的特性外,Isilon 在其他方面天然适合大数据存储和分析的支撑系统。
IDC 和 Intel 预测到 2020 年,全球数据量将会达到 44ZB(1ZB=10亿TB),中国产生的数据量将会达到 8ZB。
如此大的数据量,对其进行存取和处理要考虑两个很现实的问题:
一是单一存储是否具备强大的承载能力且能提供单一目录访问;
二是能否保证性能不缩水。
目前大多数企业级专用存储支持的单一文件系统,空间大都在 100TB 以内,如果超过这个阈值,就需要再建立一个新的空间存储数据。然而,很多用户的空间名称在应用程序开发阶段就已指定,修改空间名称可能需要修改代码等手工操作才能实现,这对于客户来说就太麻烦了。
另外,一旦文件达到 PB 级别之后,就需要消耗更多的计算资源去处理,而在“大数据”时代,超 PB 级的数据拥有量已不是个例,而是一种广泛的存在。
➤➤Isilon 则可以很好地解决这些问题。
Isilon 采用 Scale-Out 横向扩展架构,容量从 20TB 起步,最终可扩展至 68PB,它可根据用户每个阶段不同的使用需求,动态地添加高性能全闪存节点、大容量高性价比的机械硬盘节点或两者兼而有之的混合闪存节点,因此用户无需为未来不确定的容量需求而预先购置高额的高端存储控制器。
▲▲▲点击图片了解戴尔易安信 Isilon 详细资料
而且不论是初次购买的容量还是未来增加的容量,统统可以放到单一的文件系统中,对应用仅提供一个访问路径。
借助自动分层软件,数据还可以在 Isilon 系统内部根据访问的热度变化任意流动,时刻将不同的数据匹配到最合适的介质中。这样智能弹性可伸缩的“大肚量”刚好跟难以预测的“大数据”匹配。
其次是性能方面,采用了 Scale-Out 横向扩展架构的 Isilon,可以根据用户使用要求为其量身打造存储性能。
凭借 Isilon 无与伦比的性能和优势,Dell EMC 连续三年在 Gartner 分布式文件系统和对象存储魔力象限上排名第一,遥遥领先。
➤➤Scale-Out 横向扩展架构,好比一列中国标准动车组列车。
动车组,亦称多动力列车组合,即把动力装置分散安装在每节车厢上,带动力的车辆叫动车,不带动力的车辆叫拖车。
由若干动力单元组合形成的列车,每个动力单元配置动力资源(CPU、内存、网络接口)和载客空间(卧铺、一等座、二等座)资源(全闪存,混合闪存,机械硬盘),并能根据需求自由组合,形成动力不同、载客空间数量不同的动车组。
若干动车组形成整体的牵引力,然后依次扩展成一列运行的动车组列车,带动列车快速前进,车厢的多少丝毫不会影响行驶速度。
在戴尔易安信 Isilon 的 Scale-Out 架构设计里,每个节点上的系统都有自己的机头带动控制,任何一个节点宕机,都不会影响其他节点的应用,同时随着节点数量的扩展,Isilon 系统性能会越来越高。
这种 Scale-Out 架构,强调灵活的扩展性,与扩展成倍增长的性能。
可预测的扩展性
在大数据热潮席卷各个行业的背景下,Isilon 作为具有原生 Hadoop 支持的横向扩展 NAS 系统,可支持任何符合 Apache-Hadoop 的发行版本,对用户而言,通过 Isilon,Hadoop 能够直接用于大数据,而非搬运数据至Hadoop。
Isilon 可以为各个行业的用户搭建一套就地分析的基础架构解决方案,将数据分析平台与生产业务分离的架构过渡到一体化架构,为用户省去数据拷贝过程中的时间成本与额外购买存储的重复投资成本,让用户在大数据分析这个争分夺秒的领域,把节省的时间转化为生产力和研发成果,从而获得更大的行业竞争优势。
在当下这个数据爆炸,孤岛丛生的时代,作为连接数据孤岛利器的 Isilon 已经得到了业界充分的肯定。它具备超强且弹性的容量和性能扩展能力,广泛应用于大数据分析系统中,并成为多个大数据分析软件官方推荐的数据存储平台。
大数据
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。