區塊鏈需要的存儲空間

全局節點什麼意思

全節點是是擁有完整區塊鏈賬本的節點，全節點需要佔用內存同步所有的區塊鏈數據，能夠獨立校驗區塊鏈上的所有交易並實時更新數據，主要負責區塊鏈的交易的廣播和驗證。

學生的電腦普通電腦配置就夠用了，三四千塊錢的台式機用起來就不錯

普通用戶能夠運行節點對於區塊鏈的去中心化至關重要

想像一下凌晨兩點多，你接到了一個緊急呼叫，來自世界另一端幫你運行礦池(質押池)的人。從大約14分鍾前開始，你的池子和其他幾個人從鏈中分離了出來，而網路仍然維持著79%的算力。根據你的節點，多數鏈的區塊是無效的。這時出現了余額錯誤：區塊似乎錯誤地將450萬枚額外代幣分配給了一個未知地址。

一小時後，你和其他兩個同樣遭遇意外的小礦池參與者、一些區塊瀏覽器和交易所方在一個聊天室中，看見有人貼出了一條推特的鏈接，開頭寫著「宣布新的鏈上可持續協議開發基金」。

到了早上，相關討論廣泛散布在推特以及一個不審查內容的社區論壇上。但那時450萬枚代幣中的很大一部分已經在鏈上轉換為其他資產，並且進行了數十億美元的defi交易。79％的共識節點，以及所有主要的區塊鏈瀏覽器和輕錢包的端點都遵循了這條新鏈。也許新的開發者基金將為某些開發提供資金，或者也許所有這些都被領先的礦池、交易所及其裙帶所吞並。但是無論結果如何，該基金實際上都成為了既成事實，普通用戶無法反抗。

或許還有這么一部主題電影。或許會由MolochDAO或其他組織進行資助。

這種情形會發生在你的區塊鏈中嗎？你所在區塊鏈社區的精英，包括礦池、區塊瀏覽器和託管節點，可能協調得很好，他們很可能都在同一個telegram頻道和微信群中。如果他們真的想出於利益突然對協議規則進行修改，那麼他們可能具備這種能力。以太坊區塊鏈在十小時內完全解決了共識失敗，如果是只有一個客戶端實現的區塊鏈，並且只需要將代碼更改部署到幾十個節點，那麼可以更快地協調客戶端代碼的更改。能夠抵禦這種社會性協作攻擊的唯一可靠方式是「被動防禦」，而這種力量來自去一個中心化的群體：用戶。

想像一下，如果用戶運行區塊鏈的驗證節點(無論是直接驗證還是其他間接技術)，並自動拒絕違反協議規則的區塊，即使超過90%的礦工或質押者支持這些區塊，故事會如何發展。

如果每個用戶都運行一個驗證節點，那麼攻擊很快就會失敗：有些礦池和交易所會進行分叉，並且在整個過程中看起來很愚蠢。但是即使只有一些用戶運行驗證節點，攻擊者也無法大獲全勝。相反，攻擊會導致混亂，不同用戶會看到不同的區塊鏈版本。最壞情況下，隨之而來的市場恐慌和可能持續的鏈分叉將大幅減少攻擊者的利潤。對如此曠日持久的沖突進行應對的想法本身就可以阻止大多數攻擊。

Hasu關於這一點的看法：

「我們要明確一件事，我們之所以能夠抵禦惡意的協議更改，是因為擁有用戶驗證區塊鏈的文化，而不是因為PoW或PoS。」

假設你的社區有37個節點運行者，以及80000名被動監聽者，對簽名和區塊頭進行檢查，那麼攻擊者就獲勝了。如果每個人都運行節點的話，攻擊者就會失敗。我們不清楚針對協同攻擊的啟動群體免疫的確切閾值是多少，但有一點是絕對清楚的：好的節點越多，惡意的節點就越少，而且我們所需的數量肯定不止於幾百幾千個。

那麼全節點工作的上限是什麼？

為了使得有盡可能多的用戶能夠運行全節點，我們會將注意力集中在普通消費級硬體上。即使能夠輕松購買到專用硬體，這能夠降低一些全節點的門檻，但事實上對可擴展性的提升並不如我們想像的那般。

全節點處理大量交易的能力主要受限於三個方面：

算力：在保證安全的前提下，我們能劃分多少CPU來運行節點？

帶寬：基於當前的網路連接，一個區塊能包含多少位元組？

存儲：我們能要求用戶使用多大的空間來進行存儲？此外，其讀取速度應該達到多少？(即，HDD足夠嗎？還是說我們需要SSD？)

許多使用「簡單」技術對區塊鏈進行大幅擴容的錯誤看法都源自於對這些數字過於樂觀的估計。我們可以依次來討論這三個因素：

算力

錯誤答案：100%的CPU應該用於區塊驗證

正確答案：約5-10%的CPU可以用於區塊驗證

限制之所以這么低的四個主要原因如下：

我們需要一個安全邊界來覆蓋DoS攻擊的可能性(攻擊者利用代碼弱點製造的交易需要比常規交易更長的處理時間)

節點需要在離線之後能夠與區塊鏈同步。如果我掉線一分鍾，那我應該要能夠在幾秒鍾之內完成同步

運行節點不應該很快地耗盡電池，也不應該拖慢其他應用的運行速度

節點也有其他非區塊生產的工作要進行，大多數是驗證以及對p2p網路中輸入的交易和請求做出響應

請注意，直到最近大多數針對「為什麼只需要5-10%？」這一點的解釋都側重於另一個不同的問題：因為PoW出塊時間不定，驗證區塊需要很長時間，會增加同時創建多個區塊的風險。這個問題有很多修復方法，例如BitcoinNG，或使用PoS權益證明。但這些並沒有解決其他四個問題，因此它們並沒有如許多人所料在可擴展性方面獲得巨大進展。

並行性也不是靈丹妙葯。通常，即使是看似單線程區塊鏈的客戶端也已經並行化了：簽名可以由一個線程驗證，而執行由其他線程完成，並且有一個單獨的線程在後台處理交易池邏輯。而且所有線程的使用率越接近100%，運行節點的能源消耗就越多，針對DoS的安全系數就越低。

帶寬

錯誤答案：如果沒2-3秒都產生10MB的區塊，那麼大多數用戶的網路都大於10MB/秒，他們當然都能處理這些區塊

正確答案：或許我們能在每12秒處理1-5MB的區塊，但這依然很難

如今，我們經常聽到關於互聯網連接可以提供多少帶寬的廣為傳播的統計數據：100Mbps甚至1Gbps的數字很常見。但是由於以下幾個原因，宣稱的帶寬與預期實際帶寬之間存在很大差異：

「Mbps」是指「每秒數百萬bits」；一個bit是一個位元組的1/8，因此我們需要將宣稱的bit數除以8以獲得位元組數。

網路運營商，就像其他公司一樣，經常編造謊言。

總是有多個應用使用同一個網路連接，所以節點無法獨占整個帶寬。

P2P網路不可避免地會引入開銷：節點通常最終會多次下載和重新上傳同一個塊(更不用說交易在被打包進區塊之前還要通過mempool進行廣播)。

當Starkware在2019年進行一項實驗時，他們在交易數據gas成本降低後首次發布了500kB的區塊，一些節點實際上無法處理這種大小的區塊。處理大區塊的能力已經並將持續得到改善。但是無論我們做什麼，我們仍然無法獲取以MB/秒為單位的平均帶寬，說服自己我們可以接受1秒的延遲，並且有能力處理那種大小的區塊。

存儲

錯誤答案：10TB

正確答案：512GB

正如大家可能猜到的，這里的主要論點與其他地方相同：理論與實踐之間的差異。理論上，我們可以在亞馬遜上購買8TB固態驅動(確實需要SSD或NVME；HDD對於區塊鏈狀態存儲來說太慢了)。實際上，我用來寫這篇博文的筆記本電腦有512GB，如果你讓人們去購買硬體，許多人就會變得懶惰(或者他們無法負擔800美元的8TBSSD)並使用中心化服務。即使可以將區塊鏈裝到某個存儲設備上，大量活動也可以快速地耗盡磁碟並迫使你購入新磁碟。

一群區塊鏈協議研究員對每個人的磁碟空間進行了調查。我知道樣本量很小，但仍然...

請點擊輸入圖片描述

此外，存儲大小決定了新節點能夠上線並開始參與網路所需的時間。現有節點必須存儲的任何數據都是新節點必須下載的數據。這個初始同步時間(和帶寬)也是用戶能夠運行節點的主要障礙。在寫這篇博文時，同步一個新的geth節點花了我大約15個小時。如果以太坊的使用量增加10倍，那麼同步一個新的geth節點將至少需要一周時間，而且更有可能導致節點的互聯網連接受到限制。這在攻擊期間更為重要，當用戶之前未運行節點時對攻擊做出成功響應需要用戶啟用新節點。

交互效應

此外，這三類成本之間存在交互效應。由於資料庫在內部使用樹結構來存儲和檢索數據，因此從資料庫中獲取數據的成本隨著資料庫大小的對數而增加。事實上，因為頂級(或前幾級)可以緩存在RAM中，所以磁碟訪問成本與資料庫大小成正比，是RAM中緩存數據大小的倍數。

不要從字面上理解這個圖，不同的資料庫以不同的方式工作，通常內存中的部分只是一個單獨(但很大)的層(參見leveldb中使用的LSM樹)。但基本原理是一樣的。

例如，如果緩存為4GB，並且我們假設資料庫的每一層比上一層大4倍，那麼以太坊當前的~64GB狀態將需要~2次訪問。但是如果狀態大小增加4倍到~256GB，那麼這將增加到~3次訪問。因此，gas上限增加4倍實際上可以轉化為區塊驗證時間增加約6倍。這種影響可能會更大：硬碟在已滿狀態下比空閑時需要花更長時間來讀寫。

這對以太坊來說意味著什麼？

現在在以太坊區塊鏈中，運行一個節點對許多用戶來說已經是一項挑戰，盡管至少使用常規硬體仍然是可能的(我寫這篇文章時剛剛在我的筆記本電腦上同步了一個節點！)。因此，我們即將遭遇瓶頸。核心開發者最關心的問題是存儲大小。因此，目前在解決計算和數據瓶頸方面的巨大努力，甚至對共識演算法的改變，都不太可能帶來gaslimit的大幅提升。即使解決了以太坊最大的DoS弱點，也只能將gaslimit提高20%。

對於存儲大小的問題，唯一解決方案是無狀態和狀態逾期。無狀態使得節點群能夠在不維護永久存儲的情況下進行驗證。狀態逾期會使最近未訪問過的狀態失活，用戶需要手動提供證明來更新。這兩條路徑已經研究了很長時間，並且已經開始了關於無狀態的概念驗證實現。這兩項改進相結合可以大大緩解這些擔憂，並為顯著提升gaslimit開辟空間。但即使在實施無狀態和狀態逾期之後，gaslimit也可能只會安全地提升約3倍，直到其他限制開始發揮作用。

另一個可能的中期解決方案使使用ZK-SNARKs來驗證交易。ZK-SNARKs能夠保證普通用戶無需個人存儲狀態或是驗證區塊，即使他們仍然需要下載區塊中的所有數據來抵禦數據不可用攻擊。另外，即使攻擊者不能強行提交無效區塊，但是如果運行一個共識節點的難度過高，依然會有協調審查攻擊的風險。因此，ZK-SNARKs不能無限地提升節點能力，但是仍然能夠對其進行大幅提升(或許是1-2個數量級)。一些區塊鏈在layer1上探索該形式，以太坊則通過layer2協議(也叫ZKrollups)來獲益，例如zksync,Loopring和Starknet。

分片之後又會如何？

分片從根本上解決了上述限制，因為它將區塊鏈上包含的數據與單個節點需要處理和存儲的數據解耦了。節點驗證區塊不是通過親自下載和執行，而是使用先進的數學和密碼學技術來間接驗證區塊。

因此，分片區塊鏈可以安全地擁有非分片區塊鏈無法實現的非常高水平的吞吐量。這確實需要大量的密碼學技術來有效替代樸素完整驗證，以拒絕無效區塊，但這是可以做到的：該理論已經具備了基礎，並且基於草案規范的概念驗證已經在進行中。

以太坊計劃採用二次方分片(quadraticsharding)，其中總可擴展性受到以下事實的限制：節點必須能夠同時處理單個分片和信標鏈，而信標鏈必須為每個分片執行一些固定的管理工作。如果分片太大，節點就不能再處理單個分片，如果分片太多，節點就不能再處理信標鏈。這兩個約束的乘積構成了上限。

可以想像，通過三次方分片甚至指數分片，我們可以走得更遠。在這樣的設計中，數據可用性采樣肯定會變得更加復雜，但這是可以實現的。但以太坊並沒有超越二次方，原因在於，從交易分片到交易分片的分片所獲得的額外可擴展性收益實際上無法在其他風險程度可接受的前提下實現。

那麼這些風險是什麼呢？

最低用戶數量

可以想像，只要有一個用戶願意參與，非分片區塊鏈就可以運行。但分片區塊鏈並非如此：單個節點無法處理整條鏈，因此需要足夠的節點以共同處理區塊鏈。如果每個節點可以處理50TPS，而鏈可以處理10000TPS，那麼鏈至少需要200個節點才能存續。如果鏈在任何時候都少於200個節點，那可能會出現節點無法再保持同步，或者節點停止檢測無效區塊，或者還可能會發生許多其他壞事，具體取決於節點軟體的設置。

在實踐中，由於需要冗餘(包括數據可用性采樣)，安全的最低數量比簡單的「鏈TPS除以節點TPS」高幾倍，對於上面的例子，我們將其設置位1000個節點。

如果分片區塊鏈的容量增加10倍，則最低用戶數也增加10倍。現在大家可能會問：為什麼我們不從較低的容量開始，當用戶很多時再增加，因為這是我們的實際需要，用戶數量回落再降低容量？

這里有幾個問題：

區塊鏈本身無法可靠地檢測到其上有多少唯一用戶，因此需要某種治理來檢測和設置分片數量。對容量限制的治理很容易成為分裂和沖突的根源。

如果許多用戶突然同時意外掉線怎麼辦？

增加啟動分叉所需的最低用戶數量，使得防禦惡意控制更加艱難。

最低用戶數為1,000，這幾乎可以說是沒問題的。另一方面，最低用戶數設為100萬，這肯定是不行。即使最低用戶數為10,000也可以說開始變得有風險。因此，似乎很難證明超過幾百個分片的分片區塊鏈是合理的。

歷史可檢索性

用戶真正珍視的區塊鏈重要屬性是永久性。當公司破產或是維護該生態系統不再產生利益時，存儲在伺服器上的數字資產將在10年內不再存在。而以太坊上的NFT是永久的。

是的，到2372年人們仍能夠下載並查閱你的加密貓。

但是一旦區塊鏈的容量過高，存儲所有這些數據就會變得更加困難，直到某時出現巨大風險，某些歷史數據最終將……沒人存儲。

要量化這種風險很容易。以區塊鏈的數據容量(MB/sec)為單位，乘以~30得到每年存儲的數據量(TB)。當前的分片計劃的數據容量約為1.3MB/秒，因此約為40TB/年。如果增加10倍，則為400TB/年。如果我們不僅希望可以訪問數據，而且是以一種便捷的方式，我們還需要元數據(例如解壓縮匯總交易)，因此每年達到4PB，或十年後達到40PB。InternetArchive(互聯網檔案館)使用50PB。所以這可以說是分片區塊鏈的安全大小上限。

因此，看起來在這兩個維度上，以太坊分片設計實際上已經非常接近合理的最大安全值。常數可以增加一點，但不能增加太多。

結語

嘗試擴容區塊鏈的方法有兩種：基礎的技術改進和簡單地提升參數。首先，提升參數聽起來很有吸引力：如果您是在餐紙上進行數學運算，這就很容易讓自己相信消費級筆記本電腦每秒可以處理數千筆交易，不需要ZK-SNARK、rollups或分片。不幸的是，有很多微妙的理由可以解釋為什麼這種方法是有根本缺陷的。

運行區塊鏈節點的計算機無法使用100％的CPU來驗證區塊鏈；他們需要很大的安全邊際來抵抗意外的DoS攻擊，他們需要備用容量來執行諸如在內存池中處理交易之類的任務，並且用戶不希望在計算機上運行節點的時候無法同時用於任何其他應用。帶寬也會受限：10MB/s的連接並不意味著每秒可以處理10MB的區塊！也許每12秒才能處理1-5MB的塊。存儲也是一樣，提高運行節點的硬體要求並且限制專門的節點運行者並不是解決方案。對於去中心化的區塊鏈而言，普通用戶能夠運行節點並形成一種文化，即運行節點是一種普遍行為，這一點至關重要。

簡單來說，區塊鏈是一個提供了拜占庭容錯、並保證了最終一致性的分布式資料庫；從數據結構上看，它是基於時間序列的鏈式數據塊結構；從節點拓撲上看，它所有的節點互為冗餘備份；從操作上看，它提供了基於密碼學的公私鑰管理體系來管理賬戶。

或許以上概念過於抽象，我來舉個例子，你就好理解了。

你可以想像有100台計算機分布在世界各地，這100台機器之間的網路是廣域網，並且，這100台機器的擁有者互相不信任。

那麼，我們採用什麼樣的演算法（共識機制）才能夠為它提供一個可信任的環境，並且使得：

節點之間的數據交換過程不可篡改，並且已生成的歷史記錄不可被篡改；

每個節點的數據會同步到最新數據，並且會驗證最新數據的有效性；

基於少數服從多數的原則，整體節點維護的數據可以客觀反映交換歷史。

區塊鏈就是為了解決上述問題而產生的技術方案。

二、區塊鏈的核心技術組成

無論是公鏈還是聯盟鏈，至少需要四個模塊組成：P2P網路協議、分布式一致性演算法（共識機制）、加密簽名演算法、賬戶與存儲模型。

1、P2P網路協議

P2P網路協議是所有區塊鏈的最底層模塊，負責交易數據的網路傳輸和廣播、節點發現和維護。

通常我們所用的都是比特幣P2P網路協議模塊，它遵循一定的交互原則。比如：初次連接到其他節點會被要求按照握手協議來確認狀態，在握手之後開始請求Peer節點的地址數據以及區塊數據。

這套P2P交互協議也具有自己的指令集合，指令體現在在消息頭（MessageHeader)的命令（command）域中，這些命令為上層提供了節點發現、節點獲取、區塊頭獲取、區塊獲取等功能，這些功能都是非常底層、非常基礎的功能。如果你想要深入了解，可以參考比特幣開發者指南中的PeerDiscovery的章節。

2、分布式一致性演算法

在經典分布式計算領域，我們有Raft和Paxos演算法家族代表的非拜占庭容錯演算法，以及具有拜占庭容錯特性的PBFT共識演算法。

如果從技術演化的角度來看，我們可以得出一個圖，其中，區塊鏈技術把原來的分布式演算法進行了經濟學上的拓展。

在圖中我們可以看到，計算機應用在最開始多為單點應用，高可用方便採用的是冷災備，後來發展到異地多活，這些異地多活可能採用的是負載均衡和路由技術，隨著分布式系統技術的發展，我們過渡到了Paxos和Raft為主的分布式系統。

而在區塊鏈領域，多採用PoW工作量證明演算法、PoS權益證明演算法，以及DPoS代理權益證明演算法，以上三種是業界主流的共識演算法，這些演算法與經典分布式一致性演算法不同的是，它們融入了經濟學博弈的概念，下面我分別簡單介紹這三種共識演算法。

PoW：通常是指在給定的約束下，求解一個特定難度的數學問題，誰解的速度快，誰就能獲得記賬權（出塊）權利。這個求解過程往往會轉換成計算問題，所以在比拼速度的情況下，也就變成了誰的計算方法更優，以及誰的設備性能更好。

PoS：這是一種股權證明機制，它的基本概念是你產生區塊的難度應該與你在網路里所佔的股權（所有權佔比）成比例，它實現的核心思路是：使用你所鎖定代幣的幣齡（CoinAge）以及一個小的工作量證明，去計算一個目標值，當滿足目標值時，你將可能獲取記賬權。

DPoS：簡單來理解就是將PoS共識演算法中的記賬者轉換為指定節點數組成的小圈子，而不是所有人都可以參與記賬。這個圈子可能是21個節點，也有可能是101個節點，這一點取決於設計，只有這個圈子中的節點才能獲得記賬權。這將會極大地提高系統的吞吐量，因為更少的節點也就意味著網路和節點的可控。

3、加密簽名演算法

在區塊鏈領域，應用得最多的是哈希演算法。哈希演算法具有抗碰撞性、原像不可逆、難題友好性等特徵。

其中，難題友好性正是眾多PoW幣種賴以存在的基礎，在比特幣中，SHA256演算法被用作工作量證明的計算方法，也就是我們所說的挖礦演算法。

而在萊特幣身上，我們也會看到Scrypt演算法，該演算法與SHA256不同的是，需要大內存支持。而在其他一些幣種身上，我們也能看到基於SHA3演算法的挖礦演算法。以太坊使用了Dagger-Hashimoto演算法的改良版本，並命名為Ethash，這是一個IO難解性的演算法。

當然，除了挖礦演算法，我們還會使用到RIPEMD160演算法，主要用於生成地址，眾多的比特幣衍生代碼中，絕大部分都採用了比特幣的地址設計。

除了地址，我們還會使用到最核心的，也是區塊鏈Token系統的基石：公私鑰密碼演算法。

在比特幣大類的代碼中，基本上使用的都是ECDSA。ECDSA是ECC與DSA的結合，整個簽名過程與DSA類似，所不一樣的是簽名中採取的演算法為ECC（橢圓曲線函數）。

從技術上看，我們先從生成私鑰開始，其次從私鑰生成公鑰，最後從公鑰生成地址，以上每一步都是不可逆過程，也就是說無法從地址推導出公鑰，從公鑰推導到私鑰。

4、賬戶與交易模型

從一開始的定義我們知道，僅從技術角度可以認為區塊鏈是一種分布式資料庫，那麼，多數區塊鏈到底使用了什麼類型的數