數據革命:去中心化存儲的全景揭祕
2023-08-04 13:52 Gryphsis Academy
作者:Gryphsis Academy
截至 2023 年 6 月,去中心化存儲整體的存儲容量已超過 22000 PB(PB),在現有的存儲容量中,大約超 80% 的存儲容量由 Filecoin 提供,隨着人工智能和全鏈遊戲等領域的興起,去中心化計算和存儲賽道有望迎來令人興奮的增長機會。
TL;DR
去中心化存儲是指單個實體或部分群體將其闲置存儲空間作爲存儲網絡的單元,從而繞過 AWS 和谷歌雲等中心化機構對數據的絕對控制。
低存儲成本、數據冗余備份和 token 經濟也是去中心化存儲的特點,大量的 Web3 應用程序都建立在這個基礎架構上。
截至 2023 年 6 月,去中心化存儲整體的存儲容量已超過 22000 PB(PB),而網絡利用率僅約爲 20%。這表明未來有很大的增長空間。
在現有的存儲容量中,大約超 80% 的存儲容量由 Filecoin 提供,它無疑是該領域的領頭羊。Filecoin 還推出了 Filecoin Plus 和 FVM 等項目,以激勵开發者並促進生態系統發展。
隨着人工智能和全鏈遊戲等領域的興起,去中心化計算和存儲賽道有望迎來令人興奮的增長機會。
1. 爲什么我們需要去中心化存儲
像 Dropbox 和 Google Cloud 這樣的雲存儲服務已經改變了我們在线存儲和共享大型文件(如視頻和照片)的方式。它們允許任何人以比購买新硬盤低得多的成本存儲幾 TB 的數據,並在需要時從任何設備訪問文件。然而,有一個問題:用戶必須依賴中心化實體的管理系統,這些實體可能隨時取消他們對账戶的訪問權限,與政府機構共享他們的文件,甚至無故刪除文件。這種存儲模式導致數據資產的歸屬不清晰,並且實際上使得亞馬遜和谷歌等大型互聯網公司在數據方面壟斷。此外,中心化服務的停機時間經常會帶來災難性的後果。
存儲領域其實原生適用於去中心化應用。首先,它解決了用戶數據隱私和所有權等問題。存儲在去中心化文件服務上的文件不受任何中心化機構的影響,比如可能希望控制和審查內容的政府機構。它還可以防止私營公司採取諸如審查服務或與執法部門共享文件的事件。
其次,海量的數據存儲於索引本身就需要分布式系統來實現。現有的中心化雲服務同樣使用着分布式的方案,如 Spanner、TiDB 等。可以說分布式並不意味着去中心化,但去中心化一定是分布式的。區別於中心化存儲的架構,現有的去中心化方案會將數據分成小塊並在加密後存儲在全球的各個節點上,這個過程會創建數據的多個副本並提高對數據丟失的恢復能力。
第三,解決了無效挖礦的資源消耗。比特幣的 PoW 機制造成的大量電能消耗一直以來被人所詬病,而去中心化存儲賦予了用戶成爲節點的機會,可以通過闲置的存儲資源來進行挖礦並獲利。而大量的存儲節點,也意味着成本的降低,可以預見的是,去中心化的存儲雲服務甚至能夠饞食一部分 Web2 雲服務市場份額。在網絡帶寬、硬件服務不斷升級的今天,這是一個及其龐大的市場,根據 Business Research 預測,全球的數據庫市場將在 2028 年超過 1200 億美金。
2. 去中心化存儲架構
爲了創建真正去中心化的應用程序,去中心化數據庫也應該包含在 Web3 應用程序架構中。其可以分爲四個主要組件:智能合約層、文件存儲、數據庫和通用基礎設施層。
智能合約層相當於是 Layer1,而通用基礎設施層則包括但不限於預言機、RPC、訪問控制、身份、鏈下計算和索引網絡。
雖然用戶感知不明顯,但文件存儲和數據庫層在 Web3 應用程序的开發中都發揮着至關重要的作用。它們爲存儲結構化和非結構化數據提供了必要的基礎架構,這是各種應用程序的要求。由於本報告的性質,下文將進一步詳細介紹這兩個組成部分。
2.1 去中心化文件存儲網絡 (DFSNs)
像 Filecoin、Arweave 和 Crust 等 DFSNs 主要用於非結構化數據的持久存儲,這些數據不遵循預定義的格式,也不需要頻繁更新或檢索。因此,DFSNs 通常用於存儲各種靜態類型的數據,例如文本文檔、圖像、音頻文件和視頻。
分布式存儲體系結構中這種類型的數據的一個優點是能夠利用邊緣存儲設備或邊緣數據中心將數據存儲移動得更靠近終端。這種存儲方法提供了更低的網絡通信成本、更低的交互延遲和更低的帶寬开銷。它還提供了更大的適應性和可擴展性。例如,以 Storj 爲例,1TB 的每月存儲成本爲 4.00 美元,而市場領頭羊的企業雲存儲解決方案 Amazon S3 對相同數量的數據每月收費約 23.00 美元。
與傳統的中心化雲存儲解決方案相比,用戶可以從更具成本效益的存儲選項中受益。DFSNs 的去中心化特性還提供了更高的數據安全性、隱私性和控制性,因爲數據分布在多個節點或礦工之間,而不是存儲在單個中心化服務器中。
2.2 去中心化數據庫
在 DFSNs 中存儲非結構化文件的局限性是顯而易見的,特別是在高效的數據檢索和更新方面。對於需要頻繁更新的數據,這些體系結構不是最理想的選擇。在這種情況下,MySQL 和 Redis 等傳統數據庫是更適合开發人員的選項,它們在 Web2.0 的互聯網時代經過了廣泛的優化和測試。
尤其是在區塊鏈遊戲和社交網絡等應用中,存儲結構化數據是一個不可避免的要求。傳統數據庫提供了一種有效的方式來管理大量動態數據並控制對其的訪問。它們提供了索引、查詢和數據操作等功能,這些功能對依賴結構化數據的應用程序至關重要。因此,無論是基於 DFSNs 還是自研底層存儲。高性能、高可用性的去中心化數據庫是存儲領域的一個非常重要的分支。
3. DFSNs 技術層面分析
3.1 概括
在目前的 Web3 項目中,去中心化的文件存儲項目(DFSNs)大致可以分爲兩類。第一類包括Filecoin 和 Crust 等基於 IPFS 實現的項目。第二類包括 AR、Sia 和 Storj 等項目,它們有自己的底層協議或存儲系統。盡管它們有不同的實施方法,但都面臨着相同的挑战:確保真正去中心化存儲的同時實現高效的數據存儲和檢索。
由於區塊鏈本身不適合在鏈上存儲大量數據,相關成本和對區塊空間的影響使這種方法不切實際。因此,理想的去中心化存儲網絡必須能夠存儲、檢索和維護數據,同時確保網絡中的所有參與者的工作都受到激勵,並遵守去中心化系統的信任機制。
我們將從以下幾個方面評估幾個主流項目的技術特點和優缺點:
數據存儲格式:存儲協議層需要確定數據應該如何存儲,例如數據是否應該加密,以及數據應該作爲一個整體存儲還是分成小的散列塊。
數據復制備份:需要決定將數據存儲在哪裏,例如應該有多少節點保存數據,是否應該將所有數據復制到所有節點,或者每個節點是否應該接收不同的片段,以進一步保護數據隱私。數據存儲格式和傳播將決定網絡上數據可用性的概率,即設備隨時間發生故障時的持久性。
長期的數據可用性:網絡需要確保數據在應在何時何地可用。這意味着要設計激勵機制,防止存儲節點隨時間刪除舊數據。
存儲數據的證明:網絡不僅需要知道數據的存儲位置,而且存儲節點應該能夠證明他們確實存儲了他們想要存儲的數據,以確定激勵的份額。
存儲價格發現:預計節點將爲文件的持續存儲付費。
3.2 數據存儲與復制
正如剛剛提到的,Filecoin 和 Crust 使用 IPFS 作爲網絡協議和通信層,用於在對等點之間傳輸文件並將其存儲在節點上。不同之處在於 Filecoin 使用擦除編碼(EC)來實現數據存儲的可擴展性。擦除編碼(EC)是一種數據保護方法,將數據劃分爲片段,擴展和編碼冗余數據塊,並將其存儲在不同的位置,如磁盤、存儲節點或其他地理位置。EC 創建了一個數學函數來描述一組數字,允許檢查它們的准確性,並在其中一個數字丟失的情況下恢復它們。
Source: usenix
基本方程爲 n=k+m,其中總數據塊等於原始數據塊加上校驗塊。
從 k 個原始數據塊中計算出 m 個校驗塊。將這 k+m 個數據塊分別存放在 k+m 個硬盤上,就能容忍任意 m 個硬盤故障。當出現硬盤故障時,只要任意選取 k 個幸存數據塊就能計算得到所有的原始數據塊。同理,如果將 k+m 個數據塊分散在不同的存儲節點上,就能容忍 m 個節點故障。
當新的數據要存儲在 Filecoin 網絡上時,用戶必須通過 Filecoin 存儲市場連接到一個存儲供應商,並協商存儲條款,然後再下一個存儲訂單。同時,用戶必須決定使用哪種類型的糾刪碼以及其中的復制因子。通過糾刪碼,數據被分解成恆定大小的片段,每個片段都被擴展,並對冗余數據進行編碼,因此,只有片段的一個子集才需要重建原始文件。復制因子指的是數據應該多長時間被復制到存儲礦工的更多存儲扇區。一旦存儲礦工和用戶就條款達成一致,數據就會被傳送到存儲礦工,並被存儲在存儲礦工的存儲扇區。
Crust 的數據存儲方式則不一樣,他們將數據復制到固定數量的節點:提交存儲訂單時,數據被加密並發送到至少 20 個 Crust IPFS 節點(節點數量可以調整)。在每個節點上,數據被分成許多較小的片段,這些片段被散列成 Merkle 樹。每個節點保留構成完整文件的所有片段。
Arweave 也同樣使用完整文件的復制,但 Arweave 採用了一些不同的方法。交易提交到 Arweave 網絡後,第一個單個節點會將數據作爲塊存儲在 blockweave 上(Arweave 的區塊鏈表現形式)。從那裏开始,一種稱爲 Wildfire 的非常激進的算法確保數據在網絡上快速復制,因爲爲了讓任何節點挖掘下一個塊,它們必須證明他們可以訪問前一個塊。
Sia 和 Storj 同樣使用 EC 來存儲文件。實際上 Crust 的實現:20 個完整的數據集存儲在 20 個節點上是非常冗余的,但也會使數據非常耐用。可如果從帶寬的角度來看,這是非常低效的。糾刪碼提供了一種更有效的實現冗余的方法,通過提高數據的持久性而不會產生大的帶寬影響。Sia 和 Storj 直接將 EC 分片傳播到特定數量的節點,以滿足一定的持久性要求。
3.3 數據存儲證明與激勵
之所以要先說明數據存儲格式是因爲技術路徑的選擇直接決定了各個協議在證明、激勵層的區別。即如何驗證要存儲在特定節點上的數據是否確實存儲在該特定節點上。只有在驗證發生之後,網絡才能使用其他機制來確保數據隨着時間的推移保持存儲(即,存儲節點不會在初始存儲操作後刪除數據)。
此類機制包括證明數據在特定時間段內存儲的算法、成功完成存儲請求持續時間的財務激勵以及對未完成請求的抑制等。本節將介紹每個協議的存儲及激勵協議。
3.3.1 Filecoin
在 Filecoin 上,存儲礦工在收到任何存儲請求之前,必須將抵押品存入網絡,作爲向網絡提供存儲的承諾,完成後,礦工可以在存儲市場上提供存儲並爲其服務定價。同時,Filecoin 創新性地提出了 PoRep 和 PoSt 來進行礦工的存儲驗證。
Source: Filecoin
復制副本證明(PoRep):礦工需要證明它們存儲了數據的獨特副本。獨特的編碼確保了同一份數據的兩個存儲交易無法重用同一個磁盤空間。
時空證明(PoSt):在存儲交易的生命周期內,存儲礦工需每 24 小時證明一次自己在持續劃撥專用存儲空間來存儲該數據。
在提交證明後存儲空間提供者會獲得 FIL 回報,若無法遵守承諾,其抵押的 token 就會被沒收(Slash)。
但隨着時間的推移,存儲礦工需要通過定期運行該算法來始終如一地證明他們對存儲數據的所有權。但是,像這樣的一致檢查需要大量帶寬。而 Filecoin 的新穎之處在於,爲了證明數據隨時間存儲並減少帶寬使用,礦工使用前一個證明的輸出作爲當前證明的輸入,按順序生成復制證明。這是通過多次迭代執行的,這些迭代表示數據要存儲的持續時間。
3.3.2 Crust Network
和 Filecoin 一樣,Crust 與 IPFS 的關系同樣是激勵層和存儲層的關系。在 Crust Network 中,節點還必須先存入抵押品,然後才能在網絡上接受存儲訂單。節點提供給網絡的存儲空間量決定了抵押品的最大數量,該抵押品被質押並允許節點參與在網絡上創建區塊。這種算法被稱爲保證權益證明(Guaranteed Proof of Stake, GPoS),它保證只有在網絡中擁有權益的節點才能提供存儲空間。
Source: Crust Wiki
和 Filecoin 不一樣的是,Crust 的存儲價格發現機制依賴於 DSM,節點和用戶會自動連接到去中心化存儲市場 (DSM),該市場會自動選擇在哪些節點上存儲用戶的數據。存儲價格是根據用戶需求(例如存儲持續時間 storage duration 、存儲空間 storage space、復制因子 replication factor)和網絡因素(例如擁塞 congestion)確定的。當用戶提交存儲訂單時,數據將被發送到網絡上的多個節點,這些節點使用機器的可信執行環境 (TEE:Trusted Execution Environment) 拆分數據並散列碎片。由於 TEE 是一個封閉的硬件組件,即使硬件所有者也無法訪問,因此節點所有者無法自行重建文件。
文件存儲在節點上後,包含文件哈希的工作報告與節點的剩余存儲一起發布到 Crust 區塊鏈。從這裏確保數據隨時間存儲,網絡定期請求隨機數據檢查:在 TEE 中,隨機 Merkle 樹哈希與相關文件片段一起被檢索,該文件片段被解密並重新散列。然後將新散列與預期散列進行比較。這種存儲證明的實現稱爲有意義的工作證明(MPoW:Meaningful Proof of Work)。
GPoS 是一種以存儲資源定義額度的 PoS 共識算法。 通過第一層 MPoW 機制提供的工作量報告,Crust 鏈上可以獲得所有節點的存儲工作量,而第二層的 GPoS 算法,就是根據節點工作量爲每個節點計算一個 Staking 額度。再根據這個額度,進行 PoS 共識。即出塊獎勵跟每個節點的抵押量成正比,而每個節點的抵押量上限,則受到節點提供存儲量的限制。
3.3.3 Arweave
相比於前兩種定價模式,Arweave 使用非常不同的定價模型,核心在於,在 Arweave 上,所有存儲的數據都是永久的,其存儲價格取決於在網絡上存儲數據 200 年的成本。
Arweave 數據網絡的底層基於了 Bockweave 的區塊生成模式。典型的區塊鏈,如比特幣,是一條單鏈結構,即每個塊都將鏈接到鏈中的前一個區塊。而 blockweave 的網狀結構中,每個塊在前一個塊的基礎上,還將鏈接到區塊鏈先前歷史中的隨機回憶塊(recall block)。回憶塊由區塊歷史中前一個塊的哈希值和前一個塊的高度的決定,這是一種具有確定性但不可預測的方式。當礦工想挖掘或驗證新塊時,礦工需有權利訪問召回塊的信息。
Arweave 的 PoA 採用 RandomX 哈希算法,礦工的出塊概率 = 隨機召回區塊的概率 * 第一個找到哈希的概率。礦工需要通過 PoW 機制找到合適的哈希值來生成新區塊,但隨機數(Nounce)依賴於前一個區塊和任意隨機的回憶塊信息。回憶塊的隨機性使得礦工被鼓勵存儲更多的區塊,由此獲得相對較高的計算成功率及出塊獎勵。PoA 也激勵礦工存儲“稀缺塊”,即他人沒有存儲的區塊,來獲得更大的出塊概率和獎勵。
Source: Arweave Yellow Paper
當一次性收費即後續數據讀取爲免費服務,可持續意味着用戶可隨時訪問數據,那如何長效激勵礦工愿意零收入的提供數據讀取服務呢?
Source: Arweave Yellow Paper
在 BitTorrent 的博弈論策略 “optimistic tit-for-tat algorithm“設計中,節點是樂觀的,將與其他節點合作,不合作的行爲將受到懲罰。基於此,Arweave 設計了 Wildfire,一個隱性激勵措施的節點評分系統。Arweave 網絡中的各個節點將根據接受數據量和反應速度對相鄰的各節點進行打分,節點將優先選擇排名較高的對等方發送請求。節點排名越高,其信用度越高,出塊的概率也就越大,獲取稀缺區塊可能性也越大。
Wildfire 實際上是博弈,是高度可擴展的遊戲。節點間不存在“排名”共識,亦無義務報告排名的產生和確定,而節點間的”善惡“由自適應機制調節,以確定新行爲出現的獎勵和懲罰。
3.3.4 Sia
與 Filecoin 和 Crust 一樣,存儲節點必須存入抵押品才能提供存儲服務。在 Sia 上,節點必須決定發布多少抵押品:抵押品直接影響用戶的存儲價格,但同時發布低抵押品意味着如果它們從網絡中消失,節點也沒有任何損失。這些力量將節點推向平衡抵押品。
用戶通過自動存儲市場連接到存儲節點,其功能類似於 Filecoin:節點設置存儲價格,用戶根據目標價格和預期存儲時長設置預期價格。然後用戶和節點會自動相互連接。
Source: Crypto Exchange
在這幾個項目當中, Sia 的共識協議使用了最簡單的方式:存儲合同上鏈。在用戶和節點就存儲合同達成一致後,資金被鎖定在合同中,並使用擦除編碼將數據分割成片段,每個片段使用不同的加密密鑰進行單獨散列,然後每個片段被復制到幾個不同的節點上。記錄在 Sia 區塊鏈上的存儲合同記錄了協議條款以及數據的 Merkle 樹哈希值。爲了確保數據在預期的存儲時間內被存儲,存儲證明會定期提交給網絡。這些存儲證明是基於隨機選擇的原始存儲文件的一部分和記錄在區塊鏈上的文件的 Merkle 樹的哈希值列表而創建。節點在一段時間內提交的每一個存儲證明都會得到獎勵,最後在合約完成時得到獎勵。
在 Sia 上,存儲合同最長可以持續 90 天。要存儲超過 90 天的文件,用戶必須使用 Sia 客戶端軟件手動連接到網絡,以將合同再延長 90 天。Skynet 是 Sia 之上的另一層,類似於 Filecoins Web3.Storage 或 NFT.Storage 平台,通過讓 Skynet 自己的客戶端軟件實例爲用戶執行合同續期,爲用戶自動完成這一過程。雖然這是一個變通辦法,但它不是一個 Sia 協議級別的解決方案。
3.3.5 Storj
在 Storj 去中心化存儲網絡中,沒有區塊鏈或類似區塊鏈的結構。沒有區塊鏈也意味着該網絡對其狀態沒有全網共識。相反,跟蹤數據存儲位置由衛星節點處理,數據存儲由存儲節點處理。衛星節點可以決定使用哪些存儲節點來存儲數據,存儲節點可以決定從哪些衛星節點接受存儲請求。
除了處理跨存儲節點的數據位置跟蹤外,衛星還負責存儲節點的存儲和帶寬使用的計費和支付。在這種安排下,存儲節點設置自己的價格,只要用戶愿意支付這些價格,衛星就會將它們相互連接起來。
Source: Storj GitHub
當用戶想要在 Storj 上存儲數據時,用戶必須選擇一個衛星節點來連接並共享其特定的存儲要求。衛星節點然後會挑選出滿足存儲需求的存儲節點,並將存儲節點與用戶連接起來。然後用戶直接將文件傳輸到存儲節點,同時向衛星付款。然後,衛星每月爲保存的文件和使用的帶寬支付存儲節點費用。
這樣的技術方案其實是非常中心化的,衛星節點的开發完全由項目方來定義,也意味着項目方掌握了定價權。雖然中心化的架構也爲 Storj 帶來性能高效的服務,但正如开頭說到,分布式存儲並不一定等於去中心化。Storj 在以太坊上發布的 ERC-20 代幣 Storj 也並沒有用到任何智能合約的功能,其本質上只是提供了一種多樣的支付方式。
這和 Storj 的商業模式有很大關系,他們主打企業級的存儲服務,直接對標亞馬遜的 S3 服務,並與 Microsoft Azure 建立了合作夥伴關系,希望爲企業提供各項性能指標都堪比、甚至超越亞馬遜存儲的服務。在性能數據未知的情況下,他們存儲的成本確實比亞馬遜要劃算很多,一定程度上可以說明去中心化存儲的商業模式是能夠走得通的。
4. 不同技術路徑的影響
4.1 經濟模型
技術路徑的選擇也在一定程度上影響了代幣模型的設計。四個主要的去中心化存儲網絡中的每一個都有自己的經濟模型。
Filecoin、Crust 和 Sia 都使用 Stake for Access(SFA)的代幣模型。在這種模式下,存儲提供商必須鎖定網絡的本機資產才能接受存儲交易。鎖定的數量與存儲提供商可以存儲的數據量成比例。這就產生了一種情況,存儲提供商在存儲更多數據時必須增加其抵押品,從而增加對網絡本地資產的需求。理論上,資產的價格應該隨着網絡上存儲的數據量的增加而增加。
Arweave 則利用了一種獨特的捐贈代幣模型,其中每筆交易的一次性存儲費的很大一部分被添加到捐贈池中。隨着時間的推移,捐贈池中的代幣以存儲購买力的形式積累利息。隨着時間的推移,捐贈將分配給礦工,以確保數據在網絡上的持久性。這種捐贈模式有效地長期鎖定了代幣:隨着 Arweave 上存儲需求的增加,更多的代幣被從流通中移除。
與其他三種網絡相比,Storj的代幣模型是最簡單的。它的 token $STORJ 用作網絡上存儲服務的支付手段,對於終端用戶和存儲提供商來說都是如此,所有其他網絡也是如此。因此,$STORJ 的價格是對 $STORJ 服務需求的直接函數。
4.2 目標用戶
很難說某一個存儲網絡在客觀上比另一個好。在設計去中心化存儲網絡時,沒有單一的最佳解決方案。根據網絡的目的及其試圖解決的問題,必須在技術設計、代幣經濟、社區建設等方面進行權衡。
Filecoin 主要面向企業和應用开發,提供冷存儲解決方案。它具有競爭力的價格和可訪問性,使其成爲 Web2 實體爲大量歸檔數據尋求經濟高效存儲的一種有吸引力的替代方案。
Crust 確保了過量冗余和快速檢索,使其適用於高流量的 dApp 和流行 NFT 數據的高效檢索。然而,它缺乏持久冗余嚴重影響了它提供永久存儲的能力。
Arweave 以其永久存儲的概念從其他去中心化存儲網絡中脫穎而出,這在存儲 Web3 數據(如區塊鏈狀態數據和NFT)方面尤其流行。其他網絡主要針對熱存儲或冷存儲進行優化。
Sia 瞄准了熱存儲市場,主要專注於尋求具有快速檢索時間的完全去中心化和私有存儲解決方案的开發人員。雖然它目前缺乏本地 AWS S3兼容性,但像 Filebase 這樣的訪問層提供了這樣的服務。
Storj 似乎更全面,但犧牲了一些去中心化。Storj 顯著降低了 AWS 用戶的進入門檻,迎合了企業熱存儲優化的關鍵目標受衆。它提供與 AmazonS3 兼容的雲存儲。
5. 去中心化存儲的生態建設
在生態系統建設方面,我們主要可以討論兩個類型:第一類是上層 Dapps 完全建立在存儲網絡上,旨在增強網絡的功能和生態系統;其次,已有的去中心化應用和協議如 Opensea, AAVE 等選擇與特定的存儲網絡集成,以變得更加去中心化。在本節中,我們將重點介紹 Filecoin、Arweave 和 Crust,因爲 Sia 和 Storj 在生態系統方面沒有突出的表現。
5.1 Filecoin 生態
Source: Filecoin
在 Filecoin 展示的生態系統中,已經有 115 個項目屬於上述第一類,這些項目都是完全基於Filecoin 的底層結構。可以觀察到,大多數項目都集中在通用存儲、NFT 和消費者存儲。Filecoin 生態系統中的另一個重要裏程碑是 Filecoin 虛擬機(FVM),它與以太坊虛擬機(EVM)類似,提供了在智能合約中部署和執行代碼所需的環境。
Source: Filecoin
有了 FVM,Filecoin 網絡在現有存儲網絡之上獲得了執行智能合約的能力。在 FVM 中开發者不會對用戶的存儲數據進行編程,而是定義這些數據通過智能合約(以去信任方式)存儲在該網絡後,會如何自動或有條件進行相關運作。可以想像的場景如下:
基於 Filecoin 上存儲的數據進行分布式計算(在數據的存儲位置進行計算,而無需將其先移動)
衆籌式的數據集保存計劃 - 如任何人都可以資助存儲一些對社會很重要的數據,如犯罪數據或環境變暖相關數據
智能存儲市場 - 如根據每天不同時段、復制層級、在某區域內的可及性動態調整存儲費率)
數百年的存儲和永續的托管 - 如存儲數據,讓經歷幾代人都還能使用
數據DAO或token化數據集 - 如將數據的價值作爲token建模並組建DAO以協調和交易在其之上進行的計算。
本地存儲的NFTs - 如與跟蹤NFT的注冊記錄一起協同定位NFT內容
時間鎖式數據取回 - 如只有在公司的記錄公开後才解鎖相關的數據集
抵押貸款(如向存儲提供者發放確定目的貸款,像是接納來自特定用戶的FIL+交易提議,或在確定時間窗口增加容量)
Source: Filecoin
同時,從核心上來看,FVM 虛擬機是基於 Webassembly(WASM) 的。這個選擇讓开發者能以任何可編譯爲 WASM 的編程語言,來編寫原生的上層應用。此特性可以讓 Web3 开發者更容易上手,因爲可以讓他們使用早已掌握的知識,繞過與特定語言相關的學習曲线。
开發人員還可以移植現有的以太坊智能合約,只需對源代碼進行少量(甚至無需)更改。復用以太坊網絡中經過審計和實战檢驗的智能合約的能力,使开發者可以節省开發成本和時間,而用戶也可以在風險最小的情況下享受其實用性。
另外值得一提的是Filecoin Plus,這是一個旨在補貼用戶以折扣價存儲大型、有價值的數據集的程序。想要將數據上傳到網絡的客戶可以向社區中一組選定的名爲公證人的成員申請,公證人審查並向客戶分配名爲 DataCaps(數據配額)的資源。然後,客戶可以使用 DataCap 來補貼他們與存儲提供商的交易。
Filecoin Plus 計劃帶來了許多好處,使 Filecoin 網絡更加活躍,有價值數據的存儲繼續產生區塊需求;客戶以極具競爭力的價格獲得更好的服務;隨着區塊獎勵的增加而上升,與 2021 年相比,2022 年 Filecoin Plus 推出後,存儲的數據將增加 18 倍。
5.2 Crust Network 生態
與 Filecoin 和 Arweave 相比,Crust 在生態系統建設方面有不同的路徑。它更偏向於直接與現有 Web3 應用程序合作並提供服務,而不是激勵第三方开發者在 Crust 上構建自己的生態系統應用。主要原因是 Crust 是建立在 Polkadot 上,雖然以太坊和 Cosmos 生態是在 Crust 項目方初期考慮過的選擇,但與它們技術路徑並不足夠兼容。Crust 更喜歡 Polkadot 的 Substrate 框架,以提供的高度可定制的开發空間、鏈上升級和鏈上治理。
Source: Crust Network
Crust 在开發者支持方面表現出色。它引入了 Crust 开發工具包,其中包括 js SDK、Github Actions、Shell Scripts 和 IPFS Scan,以滿足不同 Web3 項目的集成偏好。目前,开發工具包已集成到各種 Web3 項目中,如 Uniswap、AAVE、Polkadot Apps、Liquity、XX Messenger 和RMRK。
根據官方網站上提供的數據,目前有 150 多個項目與 Crust Network 整合。這些應用程序中有很大一部分(超過34%)是 DeFi 項目。這是因爲 DeFi 項目通常對數據檢索有高性能要求。
如前所述,在 Crust Network 上,數據被復制到至少 20 個節點,在許多情況下,復制到 100 多個節點。雖然這確實需要更大的初始帶寬,但從多個節點同時檢索數據的能力加快了文件檢索,並在出現故障或節點離开網絡時提供了強大的冗余。Crust Network 依賴於這種高水平的冗余,因爲它不像其他鏈那樣具有數據補充或修復機制。在這些去中心化的存儲網絡中,Crust Network 是最年輕的。
5.3 Arweave 生態
Source: Arweave, the newest ecosystem landscape
如上圖所示,Arweave 也有一個強大的生態系統。其中重點標注了大約 30 個應用,它們完全基於Arweave 开發。盡管沒有 Filecoin 的 115 個應用程序那么多,但這些應用程序仍然滿足用戶的基本需求,涵蓋了廣泛的領域,包括基礎設施、交易所、社交和 NFT 等。
特別值得注意的是建立在Arweave上的去中心化數據庫。Arweave 主要將其區塊組織用於數據存儲,同時在用戶端執行鏈外計算。因此,使用 Arweave 的成本僅由鏈上存儲的數據量決定。
這種計算與鏈的分離,被稱爲基於存儲的共識範式(SCP),解決了區塊鏈的可擴展性挑战。SCP 在 Arweave 上是可行的,由於數據輸入存儲在鏈上,鏈下計算會可信地產生與鏈上計算相同的狀態。
SCP 的成功實施爲 Arweave 上衆多數據庫的开發打开了大門。在 Arweave 上構建的四個不同的數據庫:
WeaveDB:作爲 Arweave 上的智能合約構建的鍵值數據庫,它使用白名單地址進行訪問控制邏輯。
HollowDB:作爲 Arweave 上的智能合約構建的鍵值數據庫,它使用白名單地址和ZK證明來確保數據的可驗證性。ZK 證明也用於確保數據的可驗證性。
Kwil: 一個 SQL 數據庫,運行自己的 P2P 節點網絡,但使用 Arweave 作爲存儲層。它使用公鑰/私鑰對進行訪問控制邏輯,並使用自己的共識機制進行數據驗證。
Glacier:一個 NoSQL 數據庫,架構爲 ZK-Rollup,使用 Arweave 作爲其數據可用性層。它使用公鑰/私鑰對作爲訪問控制邏輯,使用 ZK 證明作爲數據可驗證性。
6. 增長驅動力
去中心化存儲的增長取決於幾個核心因素,根據其特點,這些因素可分爲三大類:總體市場前景、技術和公衆意識。這些因素相互關聯,相互補充,可以進一步劃分爲更細微的子類別。隨後的段落對每個因素進行了更詳細的細分。
6.1 市場前景
6.1.1 雲存儲市場的潛力
隨着互聯網滲透到當代生活中,雲存儲服務幾乎對每個人都至關重要。2022 年,全球雲存儲市場達到了驚人的 786 億美元,增長軌跡沒有減弱的跡象。一項市場研究表明,到 2027 年,該行業的估值可能達到 1837.5 億美元。
與此同時,IDC 預計,到 2029年,雲存儲市場的估值將達到 3760 億美元。IDC 的預測進一步說明了對數據存儲日益增長的需求,該預測預計到 2025 年,全球數據圈將擴展到 175 zettaytes。鑑於這些充滿希望的前景,可以得出這樣的結論:去中心化存儲作爲 Web2 同類產品的替代品,將從整體市場增長中獲益,推動其走上上升軌道。
6.1.2 數字資產驅動力
作爲 Web3 的關鍵基礎設施之一,去中心化存儲的增長與整個加密貨幣市場的擴張有着內在的聯系。即使不考慮存儲需求的激增,如果數字資產的採用率繼續上升,去中心化存儲的市場規模也可能穩步增長。沒有權力下放的基礎設施,就無法實現真正的去中心化。加密貨幣採用率的增加可能標志着公衆對去中心化的重要性有了更多的理解,從而推動了去中心化存儲的使用。
6.2 技術驅動力
6.2.1 基於雲計算的產品和計算資源
數據的價值往往體現在它所提供的分析意義,這就需要進行數據計算。然而,在現有的去中心化存儲市場中,明顯缺乏成熟的基於計算的產品是大規模數據應用的一個重大阻礙。Bacalhau 和 Shale 等項目正在應對這一挑战,並將其工作重點放在 Filecoin 上。其他值得注意的項目包括 Fluence 和 Space and Time,它們分別在开發人工智能查詢系統和計算市場。隨着基於計算的產品的蓬勃發展,對計算資源的需求也將隨之增長。這種需求可以通過 $RNDR 的價格軌跡來略窺一二,這是一種面向需要額外計算能力的用戶的對等 GPU 計算網絡。其今年迄今的業績增長了驚人的 500%,反映出投資者對需求增長的預期。隨着這些行業的成熟,生態系統變得更加全面,隨着用戶的湧入,去中心化存儲的採用將大幅增加。
6.2.2 去中心化物理基礎設施網絡 (DePIN)
去中心化物理基礎設施網絡(DePIN)是基於區塊鏈的網絡,將現實世界的數字基礎設施集成到Web3生態系統中。DePIN 的關鍵領域包括存儲、計算、內容交付網絡(CDN)和虛擬專用網絡(VPN)。這些變革性網絡尋求通過採用加密經濟激勵和區塊鏈技術來提高效率和伸縮性。
DePIN 的優勢在於其產生良性循環的潛力,包括三個重要組成部分。首先,協議採用token 經濟設計來激勵參與者,通常是通過 token 增強實際的應用程序和網絡使用。隨着經濟模式的鞏固,代幣價格和協議使用量的飆升迅速引起了人們的關注,促進了用戶和資本的湧入。這種不斷增長的資本池和不斷擴大的用戶群吸引了更多的生態建設者和开發者進入該行業,使周期永久化。作爲 DePIN 的核心賽道,存儲也將成爲DePIN擴張的主要受益者之一。
6.2.3 人工智能(AI)
人工智能的快速發展有望催化加密生態系統的增長,加速數字資產各個領域的發展。人工智能從兩個主要方面爲去中心化存儲帶來激勵——通過刺激存儲需求和增強去中心化物理基礎設施網絡(DePIN)的重要性。
隨着基於生成式 AI 的產品數量呈指數級增長,它們生成的數據也呈指數級增加。數據的激增刺激了對存儲解決方案的需求,從而推動了去中心化存儲市場的增長。
盡管 Generative AI 已經出現了顯著的增長,但預計它將繼續長期保持這種勢頭。根據EnterpriseAppsToday 的統計,到 2025 年,生成人工智能將佔全球所有生成數據的 10%。此外,CAGR 預計生成式 AI 將以 36.10% 的復合年增長率增長,到2032年將達到 1886.2 億美元,這表明其巨大的潛力。
在過去的一年裏,生成式 AI 的受歡迎程度顯著提高,Google Trend 和 YouTube 搜索就是明證。這一增長進一步突顯了人工智能對去中心化存儲解決方案需求的積極影響。
人工智能技術所需的存儲和計算資源激增凸顯了 DePIN 的價值。隨着 Web 2.0 基礎設施市場由中央實體控制的壟斷,DePIN 成爲尋求具有成本效益的基礎設施和服務的用戶的一種有吸引力的替代方案。通過使資源的獲取民主化,DePIN 提供了顯著更低的成本,從而增加了採用率。隨着人工智能繼續向上發展,其需求將進一步刺激 DePIN的增長。反過來,這有助於去中心化存儲行業的擴張。
6.2.4 Filecoin 虛擬機 (FVM)
Filecoin 虛擬機(FVM)不僅釋放了 Filecoin 本身的潛力,還徹底改變了整個去中心化存儲市場。由於 Filecoin 是最大的去中心化存儲提供商,佔據了很大一部分市場份額,其增長基本上與整個行業的擴張平行。FVM 的出現將 Filecoin 從一個數據存儲網絡轉變爲一個全面的去中心化數據經濟。除了實現永久存儲外,FVM 還將 DeFi 整合到生態系統中,從而產生更多的收益機會,並吸引更大的用戶群和資本流入該行業。
截至 6 月 22 日,FVM 上线 100 天時,Filecoin 網絡上已經部署了 1100 多個支持 dApp的獨特智能合約。此外,已經創建了 8 萬多個錢包,啓動了與這些 FVM 驅動的 dApp的交互。FVM 账戶和合同的總余額已超過 280 萬 FIL。目前,FVM 生態系統內的協議都與 DeFi 有關,增強了 $FIL 的效用。隨着這種上升趨勢的持續,我們預計將出現大量應用程序,這可能會在存儲市場引發另一輪增長浪潮。此外,我們還期待其他存儲網絡引入類似 FVM 的虛擬機機制,引發生態熱潮。例如,Crust Network 於 7 月 17 日正式推出了其 EVM 存儲,將 Crust 主網、Polkadot 和 EVM 合同相結合,構建了一個新的 Crust 協議,無縫地爲任何 EVM 公鏈提供存儲服務。
6.2.5 基於去中心化數據庫的社交和遊戲
不論是遊戲還是社交應用,都需要一個去中心化的數據庫服務,該服務能夠抵抗審查並實現高速讀寫。去中心化的數據庫能夠增強當前的 Web3 應用程序,而且能夠支持在不同領域开發新的應用程序和體驗。
去中心化社交 - 通過將大量的社交數據存儲在去中心化數據庫中,用戶將對自己的數據擁有更大的控制權,能夠在平台之間遷移,並釋放內容貨幣化的機會。
遊戲 - 管理和存儲玩家數據、遊戲內資產、用戶設置和其他遊戲相關信息是基於區塊鏈的遊戲的一個重要方面。去中心化數據庫可以確保這些數據可以由其他應用程序和遊戲無縫交換和組合。當前 GameFi 領域的一個熱門話題是全鏈遊戲,這意味着將所有核心模塊,包括靜態資源存儲、遊戲邏輯計算和資產管理,部署到區塊鏈上。具有高速讀寫功能的去中心化數據庫是實現這一愿景的重要基礎設施。
遊戲和社交應用程序是互聯網用戶最多的行業,也是最有可能產生殺手級應用程序的行業,比如今年 2 月爆發的 Demus。我們相信,Web3 遊戲和社交應用的爆發也將帶來對去中心化數據庫的巨大需求。
6.3 公共意識
除了市場前景和技術之外,公衆意識是推動去中心化存儲市場增長的關鍵組成部分。中心化存儲和去中心化存儲的比較清楚地突出了後者的衆多優勢。然而,吸引更多用戶的能力取決於越來越多的人意識到這些好處。這可能是一個漫長的過程,需要整個行業的共同努力。從內容輸出到品牌曝光營銷,行業從業者必須努力傳達去中心化存儲如何徹底改變雲存儲領域。這一努力補充了其他增長因素,放大了市場擴張和技術演變的影響。
7. 結論與展望
總體而言,去中心化存儲是一個技術挑战巨大的基礎設施行業,投資周期長,但增長潛力巨大。
投資周期長主要是由於分布式技術的迭代周期本身就長,項目开發人員需要在去中心化和效率之間找到微妙的平衡。提供高效、高可用的數據存儲和檢索服務,同時確保數據隱私和所有權,無疑需要進行廣泛的探索。即使是 IPFS 也經常經歷不穩定的訪問情況,而像 Storj 這樣的其他項目也不夠去中心化。
該市場的潛在增長空間也備受期待。僅在 2012 年,AWS S3 就存儲了1萬億個對象。考慮到一個對象可能在 10 到 100 MB之間,這意味着僅 AWS S3 就使用了 10000 到100000 PB 的存儲空間。
根據 Messari 的數據,截至 2022 年底,最大的提供商 Filecoin 的存儲利用率僅爲 3% 左右。這意味着 Filecoin 上只有大約 600 PB 的存儲空間被積極利用。顯然,去中心化存儲市場仍有很大的發展空間。
而隨着人工智能 DePin 的興起,我們對去中心化存儲的未來保持着光明的前景,因爲幾個關鍵的增長驅動因素將促進市場的擴張。
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。
標題:數據革命:去中心化存儲的全景揭祕
地址:https://www.sgitmedia.com/article/6891.html
相關閱讀:
- 一文讀懂AI智能體代幣化平台Virtuals Protocol 2024-11-21
- AI 的暴力美學 Arweave 的抗衡之道 2024-11-21
- 鄧建鵬 李鋮瑜:加密資產交易平台權力異化及其規制進路 2024-11-21
- 一個跨越三輪周期的價投老VC面對這輪meme焦慮嗎? 2024-11-21
- BTC已近95000 再看幣圈微笑曲线 2024-11-21
- 特朗普的移民政策會適得其反? 2024-11-21
- 索羅斯門徒會成爲特朗普的財政部長嗎? 2024-11-21
- 白宮即將迎來首位Crypto顧問? 2024-11-21