一种轻量、加密安全的数据分片（上） 注：本文探讨的分片技术是文件系统的分片技术，而非区块链的分片扩展技术。 DSP (Distributed Storage Protocol) 协议作为分布式文件存储协议，实现了一种高效的文件传输协议，这其中的核心技术为文件分片、分片传输、断点续传等特性提供了支持。 nbsp; 数据分片vs流式传输 nbsp; TCP/IP 已经在传输层实现了数据包的传输协议，更底层是二进制字节流的传输，这方面TCP/IP已经做到了近乎完美的实现。对于一般文件应用层协议可以直接...

DSP 2020-08-20

分布式存储

DHT全称叫分布式哈希表(Distributed Hash Table)，是一种分布式存储方法，一类可由键值来唯一标示的信息按照某种约定/协议被分散地存储在多个节点上

DSP 2020-08-14

DHT DSP

概述 上一章我们讨论了正向代理的基本原理。正向代理的过程，是隐藏了真实请求的客户端，服务端不知道真实的客户端是谁。客户端请求的服务都被代理服务器代替来请。而反向代理隐藏了真实的服务端，当客户端发起服务请求的时候，会先抵达代理服务器，有代理服务器决定真实的响应服务器。因此，两者的核心差异在于：正向代理，代理的是客户端；反向代理，代理的是服务端。以下为反向代理的网络模型图： nbsp; 原理 为了说清楚什么是反向代理，我们就需要先从最简单的C/S架构说起。C/S架构，也即是Client-Server...

DSP 2020-08-06

去中心化域名

正向网络代理的实现原理 nbsp; 目前知道网络代理的人越来越多了，不管是单纯的换IP，还是进行大量的数据采集，或者是暴露内网服务，都是离不开网络代理这个工具。但是很少人会关注各种网络代理背后的原理。从代理方向来说，网络代理通常分为正向代理和反向代理两大类。正向代理是代理客户端，为客户端收发请求，使真实客户端对服务器不可见。 其网络模型，如下所示： 正向代理服务器位于client与server之间。当client向server发起交互请求的时候，client的链路首先通过中间代理服务器，然后由代...

DSP 2020-07-30

去中心化域名

自从2009年中本聪创造了比特币，大量基于比特币技术的染色币应运而生。其中就有一些项目将域名以 key/value 的方式保存与区块中，同时可以扩展额外数据，并且作为一种数字资产进行交易。去中心化的区块链网络及算力保证解决了长期困扰DNS系统的中心化风险，同时由于不需要许可和抗审查特点，成为绕过监管的有效路径，一度成为了市场追捧的热门项目，也曾经成为市值前十的明星项目。 智能合约中的DNS 随着智能合约在以太坊和NEO等新项目中大量采用，可编程的合约型DNS纷纷在各个项目中出现。DNS合约一般是...

DSP 2020-07-23

dns

  nbsp; 分布式网络下的安全问题 分布式网络中的灯塔 nbsp; DNS作为一种地址映射服务，既然可以作为网络寻址的引路人，自然可以在分布式的应用架构中承担负载均衡和故障转移的作用。下面我们以DAPP访问区块链节点服务来做个简单的介绍。 1.      客户端向DNS服务器请求解析某特定节点地址 2.      DNS服务器通过与多个区块链节点的Probe过程，依照约定进行节点评价 3.      将选定的节点IP传递给客户端 4.      客户端访问特定的节点 要注意的是，这里的DNS...

DSP 2020-07-14

dns

浏览器是怎么找到dsplabs.io的？ DNS是什么？ 当前的互联网基础架构是以TCP/IP协议为核心，不同的服务之间用IP地址来互相交互，每个在网络中的服务器都会有属于自己的IP地址，比如192.168.1.1或者fe80::d0f1:f2ff:feba:3a88，可以想象到，在网络刚诞生的时候，这种命名方式非常符合IT工程师的思维方式。在开展更多复杂的业务时，人们发明了DNS（Domain Name System），来帮助人们无需记忆IP地址也可以方便的访问网络上的资源。 简单的说DNS ...

DSP 2020-07-09

Gossip协议简介 一. 引言&背景 Gossip 协议（gossip protocol）又称 epidemic 协议（epidemic protocol），是基于流行病传播方式的节点或者进程之间信息交换的协议，在分布式系统中被广泛使用。利用一种随机的方式将信息传播到整个网络中，并在一定时间内使得系统内的所有节点数据一致。 该协议在 1987 年发表在 ACM 上的论文 《Epidemic Algorithms for Replicated Database Maintenance》中被提出。...

DSP 2020-07-03

Gossip

传统文件系统中，文件的访问控制通常由存储设备来进行管理。

DSP 2020-06-24

存储

针对目前的问题，需要一个新的分布式存储协议来重构边缘存储方案，将不同存储业务的垂直扩展变成水平扩展，打破业务边界，使边缘存储成为一个独立的，对外提供统一服务的存储层。

DSP 2020-06-01

分布式存储

作者：傅翔 “对数据来说，全周期的产权确认和摩擦成本的降低才能实现数据交易价值的最优化。” nbsp; 数据增长的隐患   数据生产创造价值。随着移动互联、社交媒体、物联网、云计算、人工智能等数据技术的迅速发展和深入运用，出现的海量、多样和即时的数据。基于对这些数据的分析，人们采取了一系列的决策和行动，从而在消费者市场、流行疾病预测、交通管理等领域取得了引人注目的成绩。这些基于数据价值分析的行为逐步的改变我们的生活、学习、工作的方式，在社会各方面、产业各领域迅速扩展和渗透。数据作为一种有价值的商...

DSP 2020-05-28

存储 分布式网络

2020年还未过半，“数据泄露”这样的字眼却显得异常活跃。全球各地深受数据泄露事件的困扰，同时也造成了重大损失。 在当今互联网的时代，你在网上的任何行为都有可能被记录下来，再通过大数据的归总、统计分析，基本上可以说：你的一切，网络都知道。在中心化的系统里，系统平台运营商，可以在后台获得你的一切数据，基于商业利益的驱动，他们会拿这些数据出来商业化应用：卖数据、卖服务......。 世界是互联的，这是现状也是不可逆转的发展趋势，在这样的互联中，未来没有边界。在这样没有边界的、万物都开始互联的不远未来...

DSP 2020-05-25

隐私 分布式网络

随着交互式互联网十年的发展，全球每天散布在世界各地的用户都在产生着大量的数据，据IDC中国数据显示，2018年中国云管理市场的规模达到3.07亿美元，同比增长131.4%；到2023年，整个市场规模将跃升至44.6亿美元，这还仅仅是中国市场，如果放眼全球，整个云存储市场规模高达百亿，全球第二大市场研究机构MarketsandMarkets发布了一份全球数据存储市场规模预测。到2024年，全球数据存储市场将破千亿美元大关，达到1022亿美元，预测期间（2019-2024年）复合年增长率为12.48...

DSP 2020-05-22

分布式云存储

在当今这个叫做Web的事物诞生之前，实际上还有个时代是互联网，互联网发明于70年代，当时正是美苏冷战的高峰期，美国有一台中央计算机控制其核武器，美国正担心，一次攻击就可能使该计算机系统瘫痪，使得他们无法进行反击。因此，美国政府建立了一个去中心化的系统，让许多的计算机分布在全国各地，如果发生攻击，防御系统将继续运行，确保两国能够相互毁灭。对于互联网来说，这段历史是黑暗的，但是这却也是去中心化思想的由来。而后，在1990年，Tim Berners-Lee，创建了Web，Web是互联网上最早的应用程序...

DSP 2020-05-18

去中心化 互联网