快讯:
据东南网今日消息,福建省民建省委会表示,福建省作为数字中国建设的思想源头和重要实践起点,应立足于现有产业基础和优势,加快引进和培育区块链产业,打造“数字福建”新引擎,促进高质量发展。福建省民建省委会建议,出台区块链产业扶持政策,明确发展方向和发展路径。在重点领域和行业开展区块链应用场景的探索创新,全方位引导区块链产业健康发展。支持有条件的区县和园区打造平台型、创新型、生态型区块链产业基地,培育本地专、精、特、新的区块链中小企业,推动区块链核心业态、关联业态和衍生业态发展,形成区块链创新应用的全产业链、全治理链和全服务链,构建产学研用协同发展的产业体系。同时,健全区块链人才教育培养与引进体系,建设领先的人才培养基地、实训基地和人才储备基地,为区块链技术创新与产业发展提供专业人才保障。
据0x官方消息,0x(ZRX)近日宣布推出0x 做市商(Market Maker)计划。根据声明,新计划中的做市商将在0x网络和Defi堆栈(一个由分散的金融平台组成的开放社区)中扮演利益相关者的角色。这个新项目将“利用全面的教程、货币激励和专门的0x工程团队来创建有效的市场,为0x生态系统带来流动性。”0x(ZRX)是一个点对点交易的开源协议,旨在促进以太坊区块链中ERC20代币的交易。
据TokenInsight数据显示,反映区块链行业整体表现的TI指数北京时间01月16日8时报340.98点,较昨日同期下跌9.16点,跌幅为2.62%。此外,在TokenInsight密切关注的28个细分行业中,24小时内涨幅最高的为娱乐与游戏平台行业,涨幅为7.58%;24小时内跌幅最高的为治理协议行业,跌幅为7.4%。 据监测显示,BTC全网交易额较前日下降3.83%,全网活跃地址数较上周同期下降2.1%至51.3万,目前BTC期货多空比为1.26。BCtrend分析师Jeffrey认为,BTC流量和活跃地址数总体进一步萎缩,新入资金寥寥,资金盘吸血严重,短期市场延续二次探底。
据东南网今日消息,福建省民建省委会表示,福建省作为数字中国建设的思想源头和重要实践起点,应立足于现有产业基础和优势,加快引进和培育区块链产业,打造“数字福建”新引擎,促进高质量发展。福建省民建省委会建议,出台区块链产业扶持政策,明确发展方向和发展路径。在重点领域和行业开展区块链应用场景的探索创新,全方位引导区块链产业健康发展。支持有条件的区县和园区打造平台型、创新型、生态型区块链产业基地,培育本地专、精、特、新的区块链中小企业,推动区块链核心业态、关联业态和衍生业态发展,形成区块链创新应用的全产业链、全治理链和全服务链,构建产学研用协同发展的产业体系。同时,健全区块链人才教育培养与引进体系,建设领先的人才培养基地、实训基地和人才储备基地,为区块链技术创新与产业发展提供专业人才保障。
据0x官方消息,0x(ZRX)近日宣布推出0x 做市商(Market Maker)计划。根据声明,新计划中的做市商将在0x网络和Defi堆栈(一个由分散的金融平台组成的开放社区)中扮演利益相关者的角色。这个新项目将“利用全面的教程、货币激励和专门的0x工程团队来创建有效的市场,为0x生态系统带来流动性。”0x(ZRX)是一个点对点交易的开源协议,旨在促进以太坊区块链中ERC20代币的交易。
据TokenInsight数据显示,反映区块链行业整体表现的TI指数北京时间01月16日8时报340.98点,较昨日同期下跌9.16点,跌幅为2.62%。此外,在TokenInsight密切关注的28个细分行业中,24小时内涨幅最高的为娱乐与游戏平台行业,涨幅为7.58%;24小时内跌幅最高的为治理协议行业,跌幅为7.4%。 据监测显示,BTC全网交易额较前日下降3.83%,全网活跃地址数较上周同期下降2.1%至51.3万,目前BTC期货多空比为1.26。BCtrend分析师Jeffrey认为,BTC流量和活跃地址数总体进一步萎缩,新入资金寥寥,资金盘吸血严重,短期市场延续二次探底。
据东南网今日消息,福建省民建省委会表示,福建省作为数字中国建设的思想源头和重要实践起点,应立足于现有产业基础和优势,加快引进和培育区块链产业,打造“数字福建”新引擎,促进高质量发展。福建省民建省委会建议,出台区块链产业扶持政策,明确发展方向和发展路径。在重点领域和行业开展区块链应用场景的探索创新,全方位引导区块链产业健康发展。支持有条件的区县和园区打造平台型、创新型、生态型区块链产业基地,培育本地专、精、特、新的区块链中小企业,推动区块链核心业态、关联业态和衍生业态发展,形成区块链创新应用的全产业链、全治理链和全服务链,构建产学研用协同发展的产业体系。同时,健全区块链人才教育培养与引进体系,建设领先的人才培养基地、实训基地和人才储备基地,为区块链技术创新与产业发展提供专业人才保障。
据0x官方消息,0x(ZRX)近日宣布推出0x 做市商(Market Maker)计划。根据声明,新计划中的做市商将在0x网络和Defi堆栈(一个由分散的金融平台组成的开放社区)中扮演利益相关者的角色。这个新项目将“利用全面的教程、货币激励和专门的0x工程团队来创建有效的市场,为0x生态系统带来流动性。”0x(ZRX)是一个点对点交易的开源协议,旨在促进以太坊区块链中ERC20代币的交易。
据TokenInsight数据显示,反映区块链行业整体表现的TI指数北京时间01月16日8时报340.98点,较昨日同期下跌9.16点,跌幅为2.62%。此外,在TokenInsight密切关注的28个细分行业中,24小时内涨幅最高的为娱乐与游戏平台行业,涨幅为7.58%;24小时内跌幅最高的为治理协议行业,跌幅为7.4%。 据监测显示,BTC全网交易额较前日下降3.83%,全网活跃地址数较上周同期下降2.1%至51.3万,目前BTC期货多空比为1.26。BCtrend分析师Jeffrey认为,BTC流量和活跃地址数总体进一步萎缩,新入资金寥寥,资金盘吸血严重,短期市场延续二次探底。

P2P网络数据处理流程及数据交互

汪晓明 发布在 技术指南 29836

一、P2P网络数据处理流程

监听(ListenLoop)+拨号(Dial) –> 建立连接(SetupConn) –> Enc 握手(doEncHandshake) –> 协议握手(doProtoHandshake) –> 添加Peer Addpeer –> Run Peer

1. Enc握手 doEncHandshake

监听时接收到Enc握手:receiverEncHandshake

拨号时发起初始End握手:initiatorEncHandshake

链接的发起者被称为initiator(主动拨号),链接的被动接受者被成为receiver(被动监听)。 这两种模式下处理的流程是不同的,完成握手后, 生成了一个sec可以理解为拿到了对称加密的密钥。 然后创建了一个newRLPXFrameRW帧读写器,完成加密信道的创建过程。

initiatorEncHandshake 和receiverEncHandshake有些像,但逻辑处理是相反的过程。

makeAuthMsg

makeAuthMsg这个方法创建了handshake message。 首先对端的公钥可以通过对端的ID来获取。对端的公钥对于发起者来说是知道的;对于接收者来说是不知道的。

  • 根据对端的ID计算出对端公钥remotePub
  • 生成一个随机的初始值initNonce
  • 生成一个随机的私钥
  • 使用自己的私钥和对方的公钥生成的一个共享秘密
  • 用共享秘密来加密这个initNonce
  • 这里把发起者的公钥告知对方
这一步,主要是构建authMsgV4结构体。

sealEIP8

sealEIP8对msg进行rlp的编码,填充一下数据,然后使用对方的公钥把数据进行加密。

readHandshakeMsg

readHandshakeMsg有两个地方调用: 一个是在initiatorEncHandshake,另外一个就是在receiverEncHandshake。 这个方法比较简单, 首先用一种格式尝试解码,如果不行就换另外一种。基本上就是使用自己的私钥进行解码然后调用rlp解码成结构体。 结构体的描述就是authRespV4,里面最重要的就是对端的随机公钥。 双方通过自己的私钥和对端的随机公钥可以得到一样的共享秘密。 而这个共享秘密是第三方拿不到的。

secrets

secrets函数是在handshake完成之后调用。它通过自己的随机私钥和对端的公钥来生成一个共享秘密,这个共享秘密是瞬时的(只在当前这个链接中存在)。

这个函数计算出IngressMAC和EgressMAC用于rlpxFrameRW中ReadMsg,WriteMsg数据的接收发送。

数据帧结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
normal = not chunked

chunked-0 = First frame of a multi-frame packet

chunked-n = Subsequent frames for multi-frame packet

|| is concatenate

^ is xor

Single-frame packet:

header || header-mac || frame || frame-mac

Multi-frame packet:

header || header-mac || frame-0 ||

[ header || header-mac || frame-n || ... || ]

header || header-mac || frame-last || frame-mac

header: frame-size || header-data || padding

frame-size: 3-byte integer size of frame, big endian encoded (excludes padding)

header-data:

normal: rlp.list(protocol-type[, context-id])

chunked-0: rlp.list(protocol-type, context-id, total-packet-size)

chunked-n: rlp.list(protocol-type, context-id)

values:

protocol-type: < 2**16

context-id: < 2**16 (optional for normal frames)

total-packet-size: < 2**32

padding: zero-fill to 16-byte boundary

header-mac: right128 of egress-mac.update(aes(mac-secret,egress-mac) ^ header-ciphertext).digest

frame:

normal: rlp(packet-type) [|| rlp(packet-data)] || padding

chunked-0: rlp(packet-type) || rlp(packet-data...)

chunked-n: rlp(...packet-data) || padding

padding: zero-fill to 16-byte boundary (only necessary for last frame)

frame-mac: right128 of egress-mac.update(aes(mac-secret,egress-mac) ^ right128(egress-mac.update(frame-ciphertext).digest))

egress-mac: h256, continuously updated with egress-bytes*

ingress-mac: h256, continuously updated with ingress-bytes*

2. 协议握手doProtoHandshake

这个方法比较简单,加密信道已经创建完毕。 我们看到这里只是约定了是否使用Snappy加密然后就退出了。

在这个函数,发送给对方 handshakeMsg = 0x00,在readProtocolHandshake中读取接收对方发过来的handshakeMsg。

3. RLPX 数据分帧

在完成Encode握手之后,调用newRLPXFrameRW方法创建rlpxFrameRW对象,这的对象提供ReadMsg和WriteMsg方法

ReadMsg

)

1读取帧头header

2 验证帧头MAC

3 获取帧体Frame大小

4 读取帧体数据

5 验证帧体MAC信息

6 解密帧体内容(NewCTR à XORKeyStream)

7 解码帧体(RLP Decode)

8 解析帧体结构(msg.Size & msg.Payload)

9 snappy解码

WriteMsg

1 RLP编码msg.Code

2 如果snappy,就对读取payload并进行snappy编码

3 写帧头header (32字节)

4 写帧头MAC

5 写帧体信息(ptype+payload+padding)

6 写帧体MAC

4. runPeer

newPeerHook,建立peer的钩子函数

广播PeerEventTypeAdd事件

运行protocol

广播PeerEventTypeDrop事件

删除peer

run protocol

1 启动协程readLoop,读取消息并根据msg.Code处理消息:

pingMsg->pongMsg

discMsg->RLP解码msg.Payload返回reason

其他协议消息处理,根据msg.Code的取值范围,把msg分给注册的协议进行处理。

2 启动协程pingLoop

根据pingInterval(15秒)定时发送pingMsg消息

3 启动协议

startProtocols主要功能是启动协程运行注册协议的run函数proto.Run(p, rw),这个rw参数类型是protoRW,它实现的ReadMsg和WriteMsg增加msg.Code取值范围的处理。不同的protocol有不同的code取值范围,根据offset和Length确定。

 

二、P2P网络数据交互

1. 发送交易数据SendTransactions

事件触发交易广播txBroadcastLoop

本地发送了一个交易,或者是接收到别人发来的交易信息。 txpool会产生一条消息,消息被传递到txCh通道。然后被goroutine txBroadcastLoop()处理, 发送给其他不知道这个交易的peer。

ProtocolManager在Start的时候,订阅TxPreEvent并启动txBroadcastLoop协程监听事件。

当监听到事件后,调用BroadcastTx进行广播,广播按照委员及候选委员,接入节点,轻节点逐层广播。

发送交易之前,会把tx.Hash放到peer的knownTxs中:

新连接建立txsyncLoop

txsyncLoop负责每个新连接的初始事务同步。 当新的peer出现时,我们转发所有当前待处理的事务。

在txsyncLoop函数中定义了一个send函数来广播交易信息:

2. 发送区块哈希值SendNewBlockHashes

广播挖矿区块 NewMinedBlockEvent

ProtocolManager在Start的时候,订阅NewMinedBlockEvent并启动 minedBroadcastLoop()协程监听事件。

监听到事件后,开始广播区块信息。

先根据BroadcastBlock输入的参数propagate决定是否广播区块,当propagate为true时,广播区块信息。之后开始广播区块哈希。

广播时,先把hash放到knownBlocks里面,在广播区块和区块哈希

基于块通知的同步Fetcher

Fetcher Start函数中启动协程:

Fetcher模块的queue里面缓存了已经完成fetch的block,等待按照顺序插入到本地的区块链中。优先级别就是他们的区块号,这样区块数小的排在最前面。最后调用insert方法把给定的区块插入本地的区块链。

在insert函数中,有两处广播:一是如果区块头通过验证,那么马上对区块进行广播;二是如果插入成功, 那么广播区块,第二个参数为false,那么只会对区块的hash进行广播。

定时同步syncer

syncer中会定时的同BestPeer()来同步信息: 当有新的Peer增加的时候 会同步, 这个时候可能触发区块广播; 定时触发 10秒一次。

3. 发送区块内容SendNewBlock

参照SendNewBlockHashes的处理流程。

4. 发送区块头信息SendBlockHeaders

在通过握手后runPeer时,会运行protocol的run函数,接着调用startProtocols函数,进而进入NewProtocolManager的时候定义的Run,每一个SubProtocols都有一个Run。

这个run方法首先创建了一个peer对象,然后调用了handle方法来处理这个peer。注意,这里的peer区别于p2p中的peer,但是它包含p2p的peer。

在handle最后,循环调用handleMsg, 这个方法很长,主要是处理接收到各种消息之后的应对措施。

对于GetBlockHeadersMsg的消息处理,结果调用SendBlockHeaders返回给对端:

首先解码msg,解析出getBlockHeadersData结构体。

查找方式:

从Hash指定的开始朝创世区块移动,也就是反向移动。

从Hash指定的开始正向移动。

通过Number反向查找。

通过Number正向查找。

查找结果发给对端:

5. 发送区块体信息SendBlockBodies

没有用到。

6. RLP编码发送区块体信息SendBlockBodiesRLP

调用流程参考“4 发送区块头信息SendBlockHeaders”。

收到GetBlockBodiesMsg,解析msg信息,组织bodies并发送给对端。

7. 发送节点信息SendNodeData

调用流程参考“4 发送区块头信息SendBlockHeaders”。

GetNodeDataMsg对应的协议版本要大于等于eth63。

8. RLP编码发送节点信息SendReceiptsRLP

调用流程参考“4 发送区块头信息SendBlockHeaders”。

9. 请求一个区块头RequestOneHeader

调用流程参考“4 发送区块头信息SendBlockHeaders”。

10. 通过Hash请求区块头RequestHeadersByHash

首先,在协议初始化的时候,调用protocolManager.Start

之后启动syncer(), syncer中会定时的同BestPeer()来同步信息: 当有新的Peer增加的时候 会同步; 定时触发 10秒一次同步。

)

pm.synchronise会调用中 Downloader中的同步函数。 Synchronise试图和一个peer来同步,如果同步过程中遇到一些错误,那么会删除掉Peer。然后会被重试。

最后,在syncWithPeer中会启动几个fetcher 分别负责header,bodies,receipts处理。spawnSync给每个fetcher启动一个goroutine, 然后阻塞的等待fetcher出错。

在fetchHeight中,会发出RequestHeadersByHash请求。

fetchHeaders方法用来获取header。 然后根据获取的header去获取body和receipt等信息。fetchHeaders不断的重复这样的操作,发送header请求,等待所有的返回,直到完成所有的header请求。

11. 通过Number请求区块头RequestHeadersByNumber

调用流程参考“10 通过Hash请求区块头RequestHeadersByHash”。

12. 请求区块体RequestBodies

调用流程参考“10 通过Hash请求区块头RequestHeadersByHash”。

13. 请求收据RequestReceipts

调用流程参考“10 通过Hash请求区块头RequestHeadersByHash”。

14. 请求节点信息RequestNodeData

在创建Downloader的时候,会同时启动协程 startFetcher,进而启动runStateSync。

15. 握手Handshake

head是当前的区块头,genesis是创世区块的信息,只有创世区块相同才能握手成功。如果接收到任何一个错误(发送,接收),或者是超时,那么就断开连接,握手失败。

readStatus,检查对端返回的各种情况。

感谢HPB团队整理。

文章标签: 区块链技术
评论
登录 账号发表你的看法,还没有账号?立即免费 注册