まず、全体的なフレームワーク
1.はじめにイーサネット広場
イーサネット・スクエアは、イーサネット仮想マシン(イーサリアム仮想マシン)を提供し、公共契約ブロックチェーンプラットフォームのオープンインテリジェント機能で、その専用のイーサネット暗号通貨コインを通じて分散型契約のアプリケーションに対処する(イーサ、「ETH」と呼びます)。
イーサネット仮想マシン
スクエアイーサネット仮想マシン(EVM):あなたは、複雑な符号化アルゴリズムを実行することができ、スタックベースの仮想マシンを持つチューリング完全。
イーサネット使用シナリオ広場
お支払いシステム:分散型デジタル通貨の取引、交換価値
分散型アプリケーション:金と株式デジタルアプリケーションの、金融デリバティブのアプリケーション、デジタル証明書、トレーサビリティの追跡、ゲーム
イーサネット・スクエアの特長
インテリジェント契約(スマート契約):ブロック鎖に格納されたプログラムは、各ノードが実行されている、あなたは、プログラムまたはノードへの支払手数料の鉱山労働者の権利と利益を実行する必要があります。
トークン(トークン):インテリジェント契約は、分散アプリケーションのためのトークンを作成することができます。分散アプリケーションのトークンは、同じ興味の投資家や経営者のユーザーを許可します。トークンはまた、初めてのトークンのリリースのために使用することができます。
tert-ブチルブロック(叔父ブロック):遅いタイムリーな収入ブロックチェーンなしでボリュームを高めるために短い組み込まれた親チェーンですので。
世界の勘定システムと状態:より複雑なロジックをサポートするために、簡単に、イーサネット広場UTXOを使用していません
チャネル状態(状態チャンネル):原則として同様のビットコインネットワーク内の雷は、ブロック鎖、およびスケーラビリティの負担を軽減し、処理速度を向上させることができます。、雷ネットワーク(雷電ネットワーク)とモバイルネットワーク(流動性ネットワーク)などの開発チームを達成されていません。
イーサネットスクエア欠点
パフォーマンスが改善されるべきである:ビットコイン比べ、パフォーマンスが大幅にイーサネット広場に改善されているが、ビットコインは現在、第二のイーサネット広場は今、毎秒約25のトランザクションを処理することができるにつき7のトランザクションを処理することが可能である、現時点ではまだイーサネット広場に登場していません大規模なトランザクションは、それがネットワークの輻輳が発生します発生すると、ユーザーのDAPPをサポートするために数十億ドル。
業界と比較して他のプログラム
スキーム | データモデル | コンセンサスアルゴリズム | スマート契約 | 演奏 |
---|---|---|---|---|
ビットコイン | 取引に基づいて、 | 捕虜 | 非チューリング完全なスタックに基づく契約 | 7ペン/秒 |
イーサネット広場 | アカウントに基づいて、 | パウ/ POS / PBFT(FISCO版) | EVM(ソリディティ) | 18バックボーンペン/秒 |
ファブリック | アカウントに基づいて、 | PBFT | ChainCode(ゴー/ Javaの) | 理論上の最大万 |
EOS | アカウントに基づいて、 | BFT-障害者団体 | WASM | 理論的に百万は、現在最高のバックボーン3996です |
2、エーテルスクエアコアアーキテクチャ
階層
示されているように:スクウェア・イーサネット・コア・アーキテクチャは、上から下まで含める:
トップレベルのアプリケーションを:Solidty契約言語インテリジェントな、分散型アプリケーションDPP、一般的な支払トランザクション
APIインタフェースサービス:HTTP、TCP関連のRPCインターフェイスのフレームワークサービス
ブックを配布し:トランザクション、ブロック、ブロック検証ツール、領収書、ステータスデータ、トランザクション関連情報プールを含みます。
イーサネット広場仮想マシン(EVM):コア層インテリジェンス契約の実装
コンセンサス:ベースPBFTへゴールデンリーグのFISCOは、イーサネットスクエア公共チェーンPOWアルゴリズムは、イーサネット・スクエアのテストネットワークにも用POSコンセンサスアルゴリズムを持っています
ネットワークサービス:ピア・ノードの検出およびリンクサービスを、同期サービスブロックチェーン
サービスの基礎となる:データベース(leavelDB等)、暗号(楕円曲線アルゴリズム、等)、ベースアルゴリズム(MPT /ブルーム/ RLP、等)
ライフサイクルのフレームワーク
如图所示以太坊集群下的生命周期模型,其中主要分为八个阶段。
1、建立链接:在以太坊节点启动或者节点链接数过小或者接受到其他节点链接时,节点需要通过P2P网络机制与其他节点建立链接。P2P网络的建立涉及到基于Kad通信协议的节点发现机制、TCP连接建立以及session模型建立。
2、同步交易/区块:当一个节点启动并与附件节点建立链接之后,会进行区块数据的同步:节点在区块链长度落后全网的时候,会通过全网节点进行同步构建best链。同时区块同步还涉及到主动同步及交易同步。当区块导入成功,成为最长区块链后,会将最新的区块信息在全网进度主动同步,以使保持全网的状态一致;节点收到客户端的交易时,会对最新交易进行相互同步
3、以太坊节点接收client发送的交易:以太坊节点接收来自DAPP应用、支付交易的客户端请求。以太坊通过防双花等基础校验加入到交易池中TxPool,进行交易排队,等待交易被同步或打包出块。
4、区块链打包交易:以太坊节点根据不同共识算法的逻辑打包交易出块,如PBFT根据出块节点算法轮到某个节点出块、PoW根据节点为最长链时打包出块。打包出块中会根据一定是打包算法,将交易池中的N笔交易打包进未确定区块。这里的区块并未加入的区块链中,也不包括交易执行完成的hash信息。未确定区块打包完成,即进行交易执行及共识阶段。
5、交易执行:新区块中的每一笔交易都会交给以太坊虚拟机(EVM)进行交易执行,这个过程涉及到合约账号的EVM交易执行器的初始化、执行、evm堆栈指令运行 以及运行结果汇总。EVM执行过程中会涉及到状态数据的查询及存储、交易回执的产生;在所有交易执行完成后,会对未确定区块设置交易头信息,包括TransactionReceipt、logbloom 、gasUsed 等内容。 ps:交易执行分布在共识流程中的一个阶段中,和共识阶段并行执行,同时交易执行涉及的点比较多,故这里将交易执行及共识阶段做分开处理
6、区块共识阶段:以太坊公链中目前采用POW共识算法,设计到节点的工作量证明(Ethash 共识)。在fisco联盟链中,主要采用PBFT的三阶段共识,主要是Prepare阶段、Sign阶段、Commit阶段。共识消息将通过第一步已经建立的P2P网络进行发送。
7、区块导入阶段:当 待出区块 历经打包完成 以及共识成功后,就会进入导入流程,导入流程主要时将共识完成的区块 落盘,落盘过程中,一方面,将Block 中相关的信息 其中包括 Transaction 列表、TransactionReceipt 列表、LogBloom 列表 、账号状态树 以及对应的查找索引等;另一方面,会处理 链分叉的情况,并构建最长best区块链。
8、客户端查询:在一次区块出块成功后,客户端会对交易结果,最新区块信息,交易回执,合约数据等信息的查询。
与此同时,
这里还设计到几个基础技术:
- RLP:以太坊序列化算法,在通讯 以及 存储 等核心功能中,均需依赖于 rlp 的解码 以及 编码 的功能。
- MPT:是一种经过改良的、融合了Merkle tree和前缀树两种树结构优点的数据结构,以太坊中应用于全局状态树、交易树、收据树。
- LogBloom and Filter:布隆过滤器在以太坊中用于检索交易日志log,方便交易结果的查询以及交易事件通知。
- 账户模型:以太坊账户模型分为普通账户及合约账户,两类账户地址格式一致存储的数据信息不同
- 区块及链模型:以太坊区块数据结构包括区块头(Header)、区块体(交易信息);以太坊区块链数据结构包括区块链头信息(HeaderChain)、创世区块信息(genesisBlock)、以及当前最长区块信息、区块缓存信息。
- 密码学知识:椭圆曲线数字签名算法
- EVM虚拟机:EVM是一种基于栈的虚拟机(区别于基于寄存器的虚拟机),用于编译、执行智能合约,是一种图灵完备的编译器。
3、以太坊源码模块
abi | CNS(合约命名服务)模块代码 | |
eth | 主入口目录,其中main.cpp包含main函数入口 | |
libchannelserver | AMOP(链上链下通信协议)实现目录 | |
libdevcore | 基础通用组件实现目录,如工具类函数、基础数据类型结构定义、IO操作函数、读写锁、内存DB、TrieDB、SHA3实现、RLP编解码实现、Worker模型等等 | |
libdiskencryption | 落盘存储加密实现目录 | |
libethcore | 区块链核心数据结构目录。如ABI、秘钥管理、区块头、预编译、交易结构等等 | |
libethereum | 区块链主框架逻辑目录。如交易池、系统合约、节点管理、块链、块、链参数等等 | |
libevm | 虚拟机主目录。如解释器、JIT等等 | |
libevmcore | OPCODE指令集定义、定价 | |
libp2p | 区块链P2P网络主目录。如握手、网络包编解码、会话管理等等 | |
libpaillier | 同态加密算法目录 | |
libpbftseal | PBFT共识插件实现目录 | |
libraftseal | RAFT共识插件实现目录 | |
libstatistics | 访问频率统计与控制实现目录 | |
libweb3jsonrpc | web3 RPC实现目录 | |
sample | 一键安装与部署 | |
scripts | 与安装相关的脚本 | |
systemproxy | 系统合约实现目录 |
二、基础技术
1、RLP
RLP是Recursive Length Prefix的简写。是以太坊中的序列化方法,以太坊的所有对象都会使用RLP方法序列化为字节数组。RLP 在整个区块链技术体系中,承担着基石的作用,在通讯 以及 存储 等核心功能中,均需依赖于 rlp 的解码 以及 编码 的功能。
RLP几种编码规则:总体可以概括为: 内容 (单字节) , 前缀+内容 (总长<55) , 或 前缀+长度+内容 (总长>55)
- 规则1:(内容)… [0x00, 0x7f] 范围内的 单个字节 , RLP 编码内容就是字节内容本身。
- 规则2:(前缀+内容)…0-55字节长度的字符串,RLP编码是 前缀(0x80+len(字符串))+字符串内容
- 规则3(前缀+长度+内容)… >55字节长度字符串, RLP编码是 前缀(0xb7+len(len(字符串)))+len(字符串)+字符串内容
- 规则4(前缀+内容). . 列表的总长度(列表的总长度指的是它包含的项的数量加它包含的各项的长度之和)是0-55字节,它的RLP编码是 前缀(0xc0+len(列表总))+列表中各元素项的RLP编码 ,前缀取值范围是 [0xc0, 0xf7] 。
- 规则5(前缀+长度+内容)…列表的总长度大于55字节,它的RLP编码是 前缀(0xf7+len(len(列表总)))+len(列表总)+列表中各元素项的RLP编码 ,前缀取值范围是 [0xf8, 0xff] 。
2、MPT
MPT是一种经过改良的、融合了Merkle tree和前缀树两种树结构优点的数据结构,用于以太坊的状态数据的存储。
MPT的节点类型:
- 叶字节点(Leaf): 叶字节点包含两个字段, 第一个字段是剩下的Key的半字节编码,而且半字节编码方法的第二个参数为true, 第二个字段是Value
- 扩展节点(Extention): 扩展节点也包含两个字段, 第一个字段是剩下的Key的可以至少被两个剩下节点共享的部分的半字节编码,第二个字段是n(J,j)
- 分支节点(Branch): 分支节点包含了17个字段,其前16个项目对应于这些点在其遍历中的键的十六个可能的半字节值中的每一个。第17个字段是存储那些在当前结点结束了的节点
MPT在以太坊中的应用:
- 状态树:涉及到以太坊平台账号及合约账号的数据存储。
- 交易树:每一个区块中的每笔交易内容(from,to,gas,data等等)构建的交易树
- 收据树:以太坊中的每一笔交易都有对应的收据,收据树的信息是为了方便一些相关账户的查询。
3、LogBloom and Filter
以太坊的区块头中包含了一个叫做logsBloom的区域。 这个区域存储了当前区块中所有的收据的日志的布隆过滤器,一共是2048个bit。也就是256个字节。
而我们的一个交易的收据包含了很多的日志记录。 每个日志记录包含了 合约的地址, 多个Topic。 而在我们的收据中也存在一个布隆过滤器,这个布隆过滤器记录了所有的日志记录的信息。布隆过滤器在以太坊中可以方便交易结果的查询以及交易事件通知。
布隆过滤器构建过程:
布隆过滤器(Bloom Filter)的核心实现是一个超大的位数组和几个哈希函数。假设位数组的长度为m,哈希函数的个数为k。
以上图为例,具体的操作流程:假设集合里面有3个元素{x, y, z},哈希函数的个数为3(这里元素个数和哈希函数的数量没有直接关系)。
1、将位数组进行初始化,将里面每个位都设置位0。
2、对于集合里面的每一个元素,将元素依次通过3个哈希函数进行映射,每次映射都会产生一个哈希值,这个值对应位数组上面的一个点,然后将位数组对应的位置标记为1。
3、查询W元素是否存在集合中的时候,同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1,则可以判断该元素一定不存在集合中。反之,如果3个点都为1,则该元素可能存在集合中。
注意:此处不能判断该元素是否一定存在集合中,可能存在一定的误判率。可以从图中可以看到:假设某个元素通过映射对应下标为4,5,6这3个点。虽然这3个点都为1,但是很明显这3个点是不同元素经过哈希得到的位置,因此这种情况说明元素虽然不在集合中,也可能对应的都是1,这是误判率存在的原因。
4、账户模型
以太坊账户模型分为普通账户及合约账户:
- 外部账户地址:普通用户拥有的公私钥配对的账户,也就是我们常用的存储自己代币的账户地址。
- 合约账户地址:合约账户地址指智能合约的账户地址。
在以太坊账户中,我们维护以下几个状态:
- nonce:外部账户为交易次数,合约账户为创建的合约序号。
- balance:此地址的以太币余额。
- storageRoot:账户存储内容组成的默克尔树根的哈希值。
- codeHash:账户EVM代码的hash值。合约账户即为合约代码的哈希值,外部账户为空字符串的哈希值
5、区块及链模型
区块及链模型主要包括区块(block)及区块链(blockchain)。
区块(block)是Ethereum的核心数据结构之一。所有账户的相关活动,以交易(Transaction)的格式存储,每个Block有一个交易对象的列表;每个交易的执行结果,由一个Receipt对象与其包含的一组Log对象记录;所有交易执行完后生成的Receipt列表,存储在Block中(经过压缩加密)。不同Block之间,通过前向指针ParentHash一个一个串联起来成为一个单向链表。
区块链(blockchain)管理整个区块单向链表,在一个Ethereum客户端软件(比如钱包)中,只会有一个BlockChain对象存在。同Block/Header的关系类似,BlockChain还有一个成员变量类型是HeaderChain, 用来管理所有Header组成的单向链表。当然,HeaderChain在全局范围内也仅有一个对象,并被BlockChain持有。
6、椭圆曲线数字签名算法
以太坊中的数字签名全部采用椭圆曲线数字加密算法(ECDSA), 它的理论基础是椭圆曲线密码学(ECC),而ECC存在的理论基础是点倍积(point multiplication)算式 Q = dP 中的私钥 d (几乎)不可能被破译。ECC相对于基于大质数分解的RSA,在提供相同安全级别的情况下,仅需长度更短的公钥。
以太坊椭圆曲线数字签名算法使用场景:
- 一是在生成每个交易(Transaction, tx)对象时,对整个tx对象进行数字签名;
- 二是在共识算法的Clique算法实现中,在针对新区块进行授权/封印的Seal()函数里,对新创建区块做了数字签名
7、EVM虚拟机
以太坊虚拟机(environment virtual machine,简称EVM),作用是将智能合约代码编译成可在以太坊上执行的机器码,并提供智能合约的运行环境。
EVM的特点:
- EVM是一种基于栈的虚拟机(区别于基于寄存器的虚拟机),用于编译、执行智能合约
- EVM是图灵完备的(图灵完备是指:具有无限存储能力的通用物理机器或编程语言,简单来说就是可以解决一切可计算的问题)
- EVM是一个完全隔离的环境,在运行期间不能访问网络、文件,即使不同合约之间也有有限的访问权限
- 操作数栈调用深度为1024
- 机器码长度一个字节,最多可以有256个操作码
三、核心功能拆解
1、P2P网络
以太坊作为一个去中心化的系统,其底层个体相互间的通信显然非常重要,所有数据的同步,各个个体状态的更新,都依赖于整个网络中每个个体相互间的通信机制。以太坊的网络通信基于peer-to-peer(p2p)通信协议,又根据自身传输数据类型(区块,交易,哈希值等),网络节点业务相关性等需求,在各方面做了特别设计。
基于Kad通信协议的节点发现机制
如今很多P2P网络的实现都采用DHT的方式实现查找,其中Kademlia(简称Kad)算法由于其简单性、灵活性、安全性成为主流的实现方式。
以太坊Kademlia算法不断的从附近节点发现新的节点,并刷新本地的k桶, Kad算法设计以下几个方面:
- K桶:Kad的路由表是通过称为K桶的数据构造而成,K桶记录了节点NodeId,distance,endpoint,ip等信息。以太坊K桶按照与target节点距离进行排序,共256个K桶,每个K桶包含16个节点。
- 以太坊Kad网络中节点间通信基于UDP,主要由PING、PONG、FINDNODE、NEIGHBORS等4种UDP协议包。
分类 | 描述 |
---|---|
Ping | 探测一个节点,判断其是否在线 |
Pong | PING命令响应 |
FINDNODE | 向节点查询某个与目标节点ID距离接近的节点 |
NEIGHBORS | FIND_NODE命令响应,发送与目标节点ID距离接近的K桶中的节点 |
建立TCP连接
以太坊节点会开启一个TCP端口,用于承载业务数据,TCP的建立主要涉及到基于RLPx协议的两阶段握手过程。简单来说是:1.client 端与 server 端建立链接,交换公钥;2.通过共享秘钥加密交换Hello消息
session模型建立
在client 端与 server 端完成链接的建立后,会通过节点网络业务相关性建立不同的session模型,比如全节点业务类型、轻节点业务类型,并提供相应的广播等服务。
2、交易/区块同步
交易/区块同步同步模式分为:Fast节点、全节点、轻节点。
- full 模式,从开始到结束,获取区块的header,获取区块的body,从创始块开始校验每一个元素,需要下载所有区块数据信息。速度最慢,但是能获取到所有的历史数据。
- fast模式,获取区块的header,获取区块的body,在同步到当前块之前不处理任何事务。下载的数据大小约为50GB(截止2018-02-04)。然后获得一个快照,此后,像full节点一样进行后面的同步操作。这种方法用得最多,目的在不要在意历史数据,将历史数据按照快照的方式,不逐一验证,沿着区块下载最近数据库中的交易,有可能丢失历史数据。此方法可能会对历史数据有部分丢失,但是不影响今后的使用。
- light模式,仅获取当前状态。验证元素需要向full节点发起相应的请求
交易/区块同步方式还包括主动同步:
- 自身节点导入成功一个 best block 时,会将 block 拆解成 block header 以及 block body 进行广播
- 自身节点导入一笔交易后,也会进行同步
3、交易流程
一笔交易的执行,主要包括交易接收、防双花、交易入队,然后在节点区块阶段进行交易打包,之后进行交易执行及共识,最后在通过区块队列导入到最长区块链中。
防双花核心点:交易队列的去重检查、历史区块集的交易去重检查、区块高度范围检查
交易打包核心点:打包策略、同步交易队列
交易执行核心点:evm编译器初始化、gas扣减策略、执行流程
区块导入核心点:区块最长链构建,区块数据存储一致性
4、共识引擎
以太坊公链中目前采用POW共识算法,设计到节点的工作量证明(Ethash 共识)。在fisco联盟链中,主要采用PBFT的三阶段共识。
以下为PBFT 的模型总结:
阶段 | broadcast msg | PBFTPacketType | handle msg |
---|---|---|---|
第一阶段 | broadcastPrepareReq | PrepareReqPacket | handlePrepareMsg |
第二阶段 | broadcastSignReq | SignReqPacket | handleSignMsg |
第三阶段 | broadcastCommitReq | CommitReqPacket | handleCommitMsg |
异常处理 | broadcastViewChangeReq | ViewChangeReqPacket | handleViewChangeMsg |
PBFT的三阶段共识:
- PBFT正常流程的三阶段是指:1. Prepare阶段 2. Sign阶段 3. Commit阶段。
- PBFT中,由 N个节点组成的的共识网络最多可以容忍 f=(N-1)/3个节点作恶。
- 在Sign阶段和Commit阶段,只有收到足够的来自其他节点的消息才能进入下一步。这里的足够是指数量达到quorum=N-f
PBFT三阶段流程是正常情况完成共识的流程。实际环境下可能因为网络传输时延、主节点作恶、EVM执行超时等原因导致共识无法正常完成,上述问题统称为异常。在异常流程中,PBFT会进行视图切换。
5、客户端RPC信息查询
イーサネット・スクエアは、クライアントへのHTTPおよびRPCのTCP方法を提供し、トランザクションデータのクエリを送信します。
どこのクライアントは、ブロック取引の結果、最新のブロック情報、取引の領収書、契約書やその他のデータに情報を照会することができます。
お問い合わせの取引結果が含まれます:eth_getTransactionByHash、
ブロック情報の照会が含まれます:eth_getBlockByHash、eth_getBlockByNumber、
契約はデータのクエリが含まれていますeth_call、メッセージのコールに関連した
取引レシートイベント登録が含まれています:eth_newFilterを