速览丨回顾分布式存储商业史,出路何在?

从2000年诞生的电驴,到后来的电骡,再到2001年诞生的BT,再到后来的磁力链接,分布式网络在为大型文件上传与下载提供便利的同时,也变成了滋生犯罪的温床。分布式存储正在成为过去,区块链分布式存储已经冉冉升起。

HTTP超文本存储协议的诞生历程

20世纪60年代,美国国防部高等研究计划署(ARPA)建立的ARPA网,被认为是互联网的始祖。70年代,基于ARPA网络,研究人员发明出了著名的TCP/IP协议,并在80年代中期进入了UNIX内核,使更多计算机接入了互联网。这些网络协议对于庞大的互联网集群来说还不够,直到HTTP存储协议的诞生。
  在这里插入图片描述

计算机网络专家、万维网创始人、当代互联网的创始人,蒂姆·伯纳斯·李(Tim Berners-Lee)

1989年,基于此前技术,计算机网络专家、万维网创始人、当代互联网的创始人,蒂姆·伯纳斯·李(Tim Berners-Lee),发表了一篇论文,提出了在互联网上构建超链接文档系统的构想,在这篇论文里他确立了三项关键技术,分别是URL——统一资源标识符,作为互联网上资源的唯一标识;HTML——超文本标记语言,描述超文本文档;HTTP——超文本传输协议,用来传输超文本。

这三项技术直接奠定了我们当今Web世界的技术,蒂姆把它称为万维网(World Wide Web)。

所以,1989年,HTTP超文本存储协议也就诞生了,此后30年时间,HTTP协议又优化开发出了4个版本。

分布式存储诞生的源动力

HTTP协议已经用了20年的历史,从HTTP 1.0到现在的HTTP5,网页的展示越来越美观丰富,但它背后的Browser/Server模式是从来没变的。

目前,Http存在以下几个弊端:

1.HTTP效率低下,服务器成本昂贵

使用HTTP协议从一台计算机服务器上一次只能下载一个文件,而不是同时从多台计算机中获取文件。通过P2P方式的视频传输可以节省带宽成本的60%。

2.历史文件被删除

网页的平均使用寿命为100天,大量的网站文件不能得以长期保存。有些重要的文件因操作不当,也有可能永远在互联网消失。

3.中心化的网络限制了机会

互联网一直是人类进步的催化器,但中心化的网络容易被控制,是对互联网良性发展的的威胁。

4.网络应用太依赖骨干网

为保证数据的可靠性,我们开发的应用程序太依赖大型的中心服务器,并通过大量的备份来保证数据的安全。

分布式存储就是用来解决和弥补HTTP的一系列弊端。但任何事情都具有两面性,网络空间过度自由致使分布式存储发展史一部互联网商业耻辱史。

BitTorrent(BT),分布式存储的始祖

BT是由美国的程序员布莱姆·科亨(Bram Cohen)于2001年4月时发布,并于2001年7月2日时首次正式应用。BT真正流行起来是在2003年初,全球视频传播者都开始使用BT下载与上传,成为最早的分布式存储协议。

BT下载通过一个P2P下载软件(点对点下载软件)来实现,克服了传统下载方式的局限性,具有下载的人越多,文件下载速度就越快的特点。因此,吸引着众多的网民使用,其好处是不需要资源发布者拥有高性能服务器就能迅速有效地把发布的资源传向其他的BT客户软件使用者,而且大多数的BT软件都是免费的。在很短时间内,BitTorrent协议成为全球趋势。经过此网络传输的文件,带宽最高一度占据了全部网络流量的50%。

正是由于BT下载这种方式传输的内容并不保存在服务器上,这种方式就常常被用来传播非法数据(盗版甚至病毒)。慢慢地,在BitTorrent上充斥着HS、暴力等视频与文字以及大量游走在法律禁区的内容,成为各国政府头痛的事情。

过度自由的网络下载与上传环境,催生了大量问题,直接导致了2009年12月“BT封杀事件”的产生。BitTorrent成为了各个国家政府监管的对象,走向了与互联网一开始时所倡导的公平、自由完全背道而驰的方向。

磁力链接——BT的新变种

从2009年开始,由于很多BT服务器被关,不仅很多种子无法找到,使得BT下载成为很大难题。然而,这反而促使了BT技术的一次大升级——磁力链接诞生。

磁力链接是一种特殊链接,但是它与传统基于文件的位置或名称的普通链接(如http://xxx)不一样,它只是通过不同文件内容的Hash结果生成一个纯文本的“数字指纹”,并用它来识别文件。

它类似于生活消费品包装上常见的条码,不同的是这个“数字指纹”可以被任何人从任何文件上生成,这也就注定了磁力链接不需要任何“中心机构”的支持,且识别准确度极高。因此任何人都可以生成一个Magnet链接并确保通过该链接下载的文件准确无误。

磁力链接的问世与大行其道,标志着BT 1.0时代已经过去,BT 2.0时代已经到来。然而,“磁力链接”是通过DHT网络来索引需要下载的文件的,因此在某些环境下可能出现“获取磁力链接信息”时间较长,或者获取失败的问题。

电驴与电骡,网络盗版背后的又一推手

eDonkey网络(电驴,也称eD2k网络),由美国MetaMachine公司开发,创始人Jed.McCaleb和Sam.Yagan在2000年创立,是一种文件分享网络。最初用于共享音乐、电影和软件,一度风靡全球。

与多数文件共享网络一样,它是分布式的;文件基于点对点原理传输,而不是由中枢服务器提供。客户端程序连接到ed2k网络来共享文件。而ed2k服务器作为一个通讯中心,帮助用户在ed2k网络内查找文件。它的客户端和服务端可以工作于Windows、Mac os、Linux、UNIX等操作系统。

电驴网络与BT一样,面临盗版猖獗。2005年因与美国唱片工业协会的官司败诉被美国联邦最高法院判为非法,被判罚向RIAA赔款3000万美元并且永久停止开发。不过,MetaMachine公司为eDonkey开发出的eDonkey网络和eD2k链接,至今仍被广泛使用。

eDonkey倒下之后,诞生于2001年的eMule,并且支持eDonkey网络和eD2k链接的eMule,成为顺位接班人。

电骡(eMule)是一个开源免费的P2P文件共享软件,基于eDonkey2000的eDonkey网络,遵循GNU通用公共许可证协议发布,运行于Windows下。它可以看作是是商业软件eDonkey的同人作品(非商业性的,不受商业影响,不以盈利为目的,不在商业平台发布的由个人或者同人团体创作的作品)。

同样是因为盗版问题,关于电驴与电骡的起诉也枚不胜举。

快播一剑封喉

虽然,快播并不是分布式存储协议的一部分,但是其数据传输方式仍然是借用P2P网络。

P2P技术对快播用户最直观的影响体现在两个方面:

对一部分用户而言,快播为其提供了一个解码功能强大、播放流畅的播放器;对另一部分用户来说,快播为他们提供了一套便利的“建站工具”,可以轻松的建立起一个视频网站成为“个人站长”,用户可以使用快播播放器直接点播观看自己网站上的视频资源,同时个人站长通过在自己的个人网站上投放广告,将流量变现获取收益。而快播自身则依靠自营或联运游戏、弹窗广告及安装软件的捆绑推广收入获取收益。

这种看起来非常便利的营运模式也带来了问题——在快播“养活”的众多个人站长中,有大量的视频资源没有版权或属于颜色内容,以致于盗版和颜色内容成了快播如影随形的两大阴影。

2013年年底,国家版权局认定快播构成盗版事实,开出25万罚单,责令其停止侵权行为。2015年,因乐视举报,快播CEO王欣入狱。

曾经国内最大的P2P视频网站快播一剑封喉,结束了分布式存储盗版猖獗的罪恶史。

区块链分布式存储冉冉升起
在这里插入图片描述

2019年,Simon Morris(曾在BitTorrent工作十年,担任首席战略官)在2019年离职时,在其署名文章《BTT币,一个时代的结束》中给出了四个观点。

其中一个观点是说,Netflix这样的流媒体巨头与百度网盘这样的下载工具,都抢了BitTorrent所擅长的传输大体量文件的生意,BitTorrent不再重要。

或许,在倡导正版、抵制颜色内容的今天,在流媒体与云存储快速发展的今天,分布式似乎正在走向末路。

当然,这一切都建立在一个假设上——如果区块链技术没出现的话。

Filecoin,区块链分布式存储的开拓者

比特币带着区块链技术走来,在工作量证明PoW的启发下,诞生了PoS(权益证明)、DPoS(代理权益证明)等。

Filecoin则带着自己独特的证明机制——PoRep(复制证明)和Post(时空证明)走来,外加去中心化存储网络DSN与可验证市场(存储市场和检索市场),Filecoin重新定义了分布式存储。

独特的FIL奖励与惩罚机制,既可以解决HTTP协议遇到的问题,又是对BT、磁力链接、电驴、电骡等分布式网络缺点的补充。

从Filecoin再来看盗版三环节:

将新资源存储Filecoin网络中,非对称加密技术让内部人员必须通过指纹公钥才能查看。看多久、看多少等这些都是由私钥决定,私钥掌握在一人或者少数几位信任人的手中,进而降低资源获取的可能性。换句话说,Filecoin存储资源既可以助力资源的存储安全,还可以根据公钥使用记录排查泄露源。

Filecoin网络不仅能够存储,也能够进行资源的传输。其中的资源都是点对点加密传输,过程公开透明,并所有信息都会上链记录,并盖上时间戳。因此,使用Filecoin传输,内容加密,减小一层泄露风险。同时一旦发现资源被窃取,可在链中溯源,追踪源头。

在资源使用的方面,由于以上两个环节已经做到盗版的大大减少,因此想要在市面上使用盗版资源,甚至于找到都比较困难。

作为一个新兴技术,Filecoin致力于让存储更加安全、便捷。主网启动后,Filecoin投入现实应用,先进的技术带来盗版门槛的提高,到那时无论是盗版的现象,还是人们的版权意识都会有所改善。

如果我们的视频平台也能够逆转逻辑,做到降低原版获取成本,相信盗版在未来定会销声匿迹。

IPFS&Filecoin,定将会带着诸多人类信息自由的使命大行其道。

猜你喜欢

转载自blog.csdn.net/DF1122ZG/article/details/107506709
今日推荐