浅谈分布式数据存储的经济性和可行性

浅谈分布式数据存储的经济性和可行性

莱道区块链 发布在 海盗号 18735

作者|阿荣

来源|荣来科技

随着互联网时代的发展,包括网络基础设施和应用场景的丰富,互联网所产生的数据呈现爆炸式的增长。

海量数据的存储给本地存储带来巨大压力,中心化存储系统不堪重负,几乎到了崩溃的边缘。

基于此存储商必须通过某种手段来分散存储系统的压力,于是分布式存储和分布式文件系统应运而生。

传统的网络存储系统采用集中的存储服务器存放所有数据,由于数据在传输过程中受到网络的限制,存储服务器便成为系统性能的瓶颈。一个网站访问的群体数量越大服务器承压越大,服务器分配到单个用户的带宽资源就越少,用户的宽带资源不能完全发挥作用。

比如某个用户办理了100Mb的宽带资源,理论上下载速度是12-15M/S,然而受到服务器带宽资源的限制,下载一个文件的速度居然是以K/S来计算,热门资源的下载速度就更慢了,冷门资源虽然下载速度快,但是浪费了服务商的大量的带宽成本。

因此,可以这样说,传统的中心化存储浪费了很多网络资源,性能不足还增加了整个社会成本,而这些社会成本由整个互联网使用者来承担,即体验不佳又不经济。

而分布式存储的出现缓解了中心化存储的压力。分布式存储简单的来说,简单来说,就是存储设备分布在不同的地理位置,数据就近存储,将数据分散在多个存储节点上,各个节点通过网络相连,对这些节点的资源进行统一的管理,从而大大缓解带宽压力,同时也解决了传统的本地文件系统在文件大小、文件数量等方面的限制。

目前分布式存储的典型应用既是亚马逊云、阿里云、腾讯云、华为云等,通过分布式存储大大增加了服务商的网络资源(带宽和存储)的利用率,使无法搭载独立服务器的企业低成本使用云服务器,降低了整个社会成本。

据相关数据显示,亚马逊2018年全年营收2329亿美元,AWS云服务营收占比超过10%,且保持高速增长态势,云服务市场依旧是暴利行业,同时从反面来看利润依旧有压缩的空间。但是要打破巨头垄断的云服务市场,对于任何一家企业来说都是望而生畏的。

以上分布式存储只是作为中心化存储的优化方案,从服务端解决了不能充分利用带宽资源和企业服务器性能问题,尽管降低了整个社会的网络使用成本,但是依旧不是最经济的。

那么有没有最经济的分布式存储方案呢?

有,是从用户端考虑,互联网用户本身自己就有闲散的网络资源(宽带和硬盘),如果把闲散资源高效利用起来,颠覆传统的中心化存储和优化中心化存储的分布式存储方案,达到性能最高、成本最低的最优解,但这增加了系统的复杂度和管理难度,想要实现绝非易事。

事实上,在早几年就有相类似的实践,比如BT、电驴等,利用互联网用户的闲散资源搭建一个去中心化共享系统,打着“人人为我,我为人人”的口号,但是这样的应用都失败了。

原因就是著名的“公地悲剧”——是一种涉及个人利益和公共利益对资源分配有所冲突的陷阱。例如,我们单纯地认为使用电驴的用户会在下载完成之后挂着它给需要的人上传,然而,这点实际上并不成立,因为没有好处。

目前IPFS(星际文件系统)也在做这样的事,但最终还是难逃系统参与者积极性不高的问题。

所以IPFS创始人又基于IPFS分布式文件存储系统开发链区块链项目Filecoin作为激励层,试图用权证设计来解决权益归属问题。

Filecoin主网虽未上线,但是它承载了颠覆传统中心化存储的可能,依旧值得期待。

总结:互联网生态在逐渐壮大,加之5G技术的到来,传统的中心化存储方案注定会被分布式存储方案所替代,至于到底是中心化存储优化的分布式解决方案占据主流还是完全去中心化的分布式方案产生颠覆还难以下定论,但是可以确定是,完全的去中心化存储解决方案一定是最经济的,系统的复杂度和管理难度相适配的研究永远不会停止。

文章标签: 分布式存储
评论
登录 账号发表你的看法,还没有账号?立即免费 注册