Crypto 是 AI 的幻覺

2024-02-26 13:48 佐爺歪脖山


來源:佐爺歪脖山

  • 湧現(emergence):當許多小的個體相互作用後產生了大的整體,而這個整體展現了構成它的個體所不具備的新特性的現象,比如,生物學所研究的生命現象是化學的一個湧現特性。

  • 幻覺(Hallucination):模型有輸出欺騙性數據的傾向,AI 模型的輸出看起來是正確的,實際上是錯誤的。

AI 和 Crypto 的鏈接呈現出明顯的波段起伏特徵,在 2016 年 AlphaGo 战勝人類圍棋職業選手後,加密世界自發誕生了 Fetch.AI 等將兩者結合的嘗試,自從 2023 年 GPT-4 的橫空出世,這種 AI + Crypto 的熱潮再起,以 WorldCoin 發幣爲代表,人類似乎要進入一個 AI 負責生產力,Crypto 負責分配的烏托邦時代。

這種情緒在 OpenAI 推出文生視頻應用 Sora 後達到高潮,但既然是情緒,總有不理性的成分在,至少李一舟就屬於被誤傷的那一部分,比如

  • AI 的具體應用和算法研發總被混爲一談,Sora 和 GPT-4 背後的 Transformer 原理开源,但是使用二者要給 OpenAI 付費;

  • AI 和 Crypto 的結合尚屬於 Crypto 的主動貼近,而 AI 巨頭們尚未有明顯意愿,現階段 AI 能爲 Crypto 做的大於 Crypto 能爲 AI 做的;

  • 在 Crypto 應用中使用 AI 技術 ≠ AI 和 Crypto 的融合,比如鏈遊/GameFi/元宇宙/ Web3 Game/AW 中的數字人;

  • Crypto 能爲 AI 技術發展做的,主要是在 AI 三要件算力、數據和模型上的去中心化、代幣激勵等方面的補強;

  • WorldCoin 是二者結合的成功實踐,zkML 處於 AI 和 Crypto 的技術交叉點,UBI 理論(人類基本收入)進行了第一次大規模實踐。

我在本文會聚焦 Crypto 能爲 AI 增益之處,當前主打 AI 應用的 Crypto 項目主要是噱頭,不便納入討論。

從线性回歸到 Transformer

長期以來,涉及 AI 話題的焦點是人工智能的“湧現”會不會造就《黑客帝國》中的機械智能體或者硅基文明,在人類和 AI 技術的相處上,此類擔憂一直存在,最近的是在 Sora 問世後,而稍早前也有 GPT-4(2023)、AlphaGo(2016)和 1997 年IBM 的深藍擊敗國際象棋。

此類擔憂從未成真也是事實,不如放松心態,簡要梳理下 AI 的作用機制。

我們從线性回歸出發,其實就是一元一次方程,比如賈玲的減肥機制,就可以做如下歸納,x 和 y 分別代表攝入能量和體重的關系,即喫的越多自然長得越胖,如果要減肥那么就要少喫。

但是,這樣會帶來一些問題,第一,人類的身高和體重有生理極限, 3 米巨人和千斤大小姐不太容易出現,因此考慮極限以外的情況缺乏意義;第二,單純的少喫多練,並不符合減肥的科學原理,嚴重時會損害身體。

我們引入 BMI (Body Mass Index)身體質量指數,即體重除以身高的平方來衡量二者的合理關系,並且通過喫、睡、練三個因子來衡量身高和體重的關系,因此我們需要三個參數和兩個輸出,明顯线性回歸是不夠用的,神經網絡就此誕生,顧名思義,神經網絡模仿的是人腦結構,思考次數越多,也有可能越合理,三思而後行,加多加深思考的次數,即深度學習(我牽強附會亂說的,大家理解意思就好)

AI 算法發展史簡要說明

但是層數的加深也不是無止境的,天花板依然存在,達到某個臨界值可能效果就會變差,因此通過更合理的方式理解既有信息之間的關系就變得很重要,比如深刻理解身高和體重之間更細致的關系,找到以往沒發現的因子,再或者賈玲找到頂級教練,但是不好意思直說想減肥,那么就需要教練揣摩下賈玲到底啥意思。

減肥的意思

在這種場景下,賈玲和教練構成編碼和解碼的對手,來回傳遞的意思代表了雙方的真正含義,但是不同於“我要減肥,給教練送禮”的直白,雙方真正的意圖被“意思”隱藏了起來。

我們注意到一個事實,如果雙方往復的次數夠多,那么各個“意思”的含義也就更容易猜出來,並且各個意思和賈玲和教練的關系也會越來越明確。

如果將這個模型擴展,那就是通俗意思上的大模型(LLM,large language model),更精確的說是大語言模型,考察的是詞句之間的上下文關系,但是目前的大模型都被擴展,可以涉足圖像、視頻之類的場景。

在 AI 的光譜中,不論是簡單的线性回歸還是極其復雜的 Transformer 都是算法或模型的一種,除此之外,還有算力和數據兩個要素。

說明:AI 簡要發展史 圖源:https://ourworldindata.org/brief-history-of-ai

簡單來說,AI 就是吞吐數據,進行運算,導出結果的機器,只不過和機器人等實物相比,AI 更虛擬一些,在算力、數據和模型三部分上,目前 Web2 商業化運作流程如下:

  • 數據分爲公共數據、公司自有數據和商業數據,需要專業的標注等預處理環節才能使用,比如 Scale AI 公司就爲目前主流 AI 公司提供數據預處理;

  • 算力分爲自建和雲算力租賃兩種模式,GPU 硬件目前英偉達一家獨大,CUDA 庫老黃也准備很多年,目前軟硬件生態一家獨大,其次是雲服務廠商的算力租賃,比如微軟的 Azure、谷歌雲和 AWS 等,很多提供一站式的算力和模型部署功能;

  • 模型可以分爲框架和算法兩類,模型之战已經終結,谷歌的 TensorFlow 先來先涼,Meta 的 PyTorch 後發先至,但是不論是提出 TransFomer 的谷歌還是坐擁 PyTorch 的 Meta 都逐漸在商業化上落伍於 OpenAI,但是實力依舊不容小覷;算法目前 Transformer 一家獨大,各類大模型主要在數據源和細節上开卷。

AI 運作過程

如前所述,AI 應用領域廣泛,比如 Vitalik 所說的代碼修正早已經投入使用,如果換個視角,Crypto 能爲 AI 做的主要集中在非技術領域,比如去中心化的數據市場、去中心化的算力平台等等,去中心化的 LLM 有一些實踐,但是要注意,用 AI 分析 Crypto 代碼和區塊鏈上大規模跑 AI 模型根本不是一回事,以及在 AI 模型中加一些 Crypto 因素也很難稱得上是完美結合。

Crypro 目前還是更擅長生產和激勵,異想天开用 Crypto 強行改變 AI 的生產範式則大可不必,這屬於爲賦新詞強說愁,拿着錘子找釘子,Crypto 融入 AI 的工作流以及 AI 賦能 Crypto 才是合理選擇,以下是我總結的比較可能的結合點:

  1. 去中心化的數據生產,比如 DePIN 的數據採集,以及鏈上數據的开放性,蕴藏着交易數據的富礦,可用於金融分析、安全分析和訓練數據;

  2. 去中心化的預處理平台,傳統預訓練並無不可攀越的技術壁壘,而在歐美大模型的背後,是第三世界人工標注員的高強度勞動;

  3. 去中心化的算力平台,個人帶寬、GPU 算力等軟硬件資源的去中心化激勵和使用;

  4. zkML,傳統的數據脫敏等隱私手段並不能完美解決問題,zkML 可以隱藏數據指向性,也可以有效評估开源和閉源模型的真實性和有效性;

這四個角度是我能想到的 Crypto 能爲 AI 賦能的場景,AI 是通用工具,AI  For Crypto 的領域和項目就不再贅述,大家可以自行研究。

可以發現,Crypto 目前主要在加密、隱私保護和經濟學設計上發揮作用,技術結合點只有 zkML 有一些嘗試,這裏可以开一下腦洞,如果未來 Solana TPS 真能跑到 10 萬+,Filecoin 和 Solana 結合又比較完美的話,能不能打造一個鏈上 LLM 環境,這樣能打造出一個真實的鏈上 AI,改變目前的 Crypto 附着於 AI,兩者地位不對等的關系呢?

Web3 加入 AI 工作流

無需多言,英偉達 RTX 4090 顯卡是硬通貨,目前的某個東方大國很難獲得,但是更嚴重的是,個人、小公司和學術機構也遭遇了顯卡危機,畢竟大型商業公司才是氪金玩家,如果能在自購、雲廠商之外开闢第三條道路,很明顯具備實際的商業價值,也就脫離了純粹的炒作,合理的邏輯應該是“如果不用 Web3,則無法維持項目運作”,這種才是 Web3 For AI 的正確姿勢。

Web3 視角下的 AI 工作流

數據之源:Grass 和 DePIN 汽車全家桶

Grass 由 Wynd Network 推出,Wynd Network是一個闲置帶寬售賣市場,Grass 是一個开放式的網絡數據獲取和分發渠道,不同於單純的數據收集和售賣,Grass 具備將數據清洗和驗證功能,以規避越來越封閉的網絡環境,不僅如此,Grass 希望能直接對接上 AI 模型,爲其提供直接可用的數據集,AI 的數據集需要專業處理,比如大量的人工微調,以滿足 AI 模型的特殊需求。

擴展一下,Grass 要解決數據售賣的問題,而 Web3 的 DePIN 領域能生產 AI 需要的數據,主要集中在汽車的自動駕駛上,傳統上的自動駕駛需要對應公司自行積累數據,而 DIMO、Hivemapper 等項目直接運行在汽車之上,採集越來越多的汽車駕駛信息和道路數據。

在以往的自動駕駛中,需要汽車識別技術和高精地圖兩部分,而高精地圖等信息被四維圖新等公司長期積累,形成事實上的行業壁壘,如果後來者借助 Web3 數據反而具備彎道超車的機會。

數據預處理:解放被 AI 奴役的人類

人工智能可以分成人工標注和智能算法兩部分,第三世界,如肯尼亞和菲律賓等地區負責人工標注等價值曲线最低的部分,而歐美的 AI 預處理公司拿走大頭收入,進而出售給 AI 研發企業。

隨着 AI 的發展,更多的企業盯上這部分業務,在競爭下數據標注的單價越來越低,該部分業務主要就是給數據打標籤,類似識別驗證碼的工作,並無技術門檻,甚至有 0.01 元人民幣的超低價。

圖源:https://aim.baidu.com/product/0793f1f1-f1cb-4f9f-b3a7-ef31335bd7f0

在這種情況下,諸如 Public AI 等 Web3 數據標注平台也具備實際商業市場,鏈接 AI 企業和數據標注民工,使用激勵體系取代單純的商業低價競爭模式,但是要注意,Scale AI 等成熟企業的標注技術保證可靠的質量,而去中心化的數據標注平台如何控制質量,禁止擼毛黨則是絕對剛需,本質上這是 C2B2B 的企業服務,單純的數據規模和數量並不能說服企業。

硬件自由:Render Network 和 Bittensor

需要說明,跟比特幣礦機不同,目前沒有專用的 Web3 AI 硬件,現存的算力、計算平台都是成熟硬件疊加 Crypto 激勵層改造而來,本質上可以歸納爲 DePIN 領域,但是和數據來源項目有所區別,故按照 AI 工作流寫在此處。

Render Network 是“老項目”,並不完全爲 AI 准備,最早致力於渲染工作,一如 Render 之名,2017 年开始運營,當時的 GPU 還沒那么瘋狂,但是市場機遇已經逐步出現,GPU 顯卡市場,尤其是高端顯卡被英偉達壟斷,高昂的價格阻礙渲染、AI 和元宇宙使用者的進入,如果能在需求方和供給方構建起通道,那么類似共享單車的經濟模型就有機會成立。

並且 GPU 資源並不需要實際交接硬件,僅調配軟件資源即可,更值得一提的是,Render Network 在2023 年便轉投 Solana生態,舍棄 Polygon,在 Solana 並未回暖之時的投奔也被時間證明是正確之舉,對於 GPU 使用和分配而言,高速網絡是一種剛需。

如果說 Render Network 是老項目,那么 Bittensor 則風頭正盛。

BitTensor 建構在波卡之上,其目標是通過經濟激勵訓練 AI 模型,比拼各節點能否將 AI 模型訓練至誤差最小或者效率最高,也是較爲符合經典的 AI 上鏈流程的 Crypto 項目,但是真正的訓練過程依然需要英偉達 GPU 和傳統平台,整體上類似 Kaggle 等競賽平台。

zkML 和 UBI:Worldcoin 的 AB 面

零知識機器學習(zkML)通過將 zk 技術引入 AI 模型訓練過程,以此來解決數據泄露、隱私失效和模型驗真的問題,前兩者容易理解,zk 加密後的數據仍然可以被訓練,但是不會再泄露個人或者隱私數據。

模型驗真是指某些閉源模型的評估問題,在 zk 技術加持下,可以設定某個目標值,那么閉源模型可以通過驗證結果的方式證明自己的能力,而無需公开計算過程。

Worldcoin 不僅是較早設想 zkML 的主流項目,還是 UBI(人類基本收入)的擁躉,在其設想中,未來 AI 的生產力將遠超人類的需求上限,因此真正的問題在於公平分配 AI 的福利,UBI 的理念將通過 $WLD 代幣像全球用戶分享,因此必須進行實人生物識別,以遵循公平原則。

當然,目前的 zkML 和 UBI 還在早期實驗階段,但是足夠有趣,我會持續關注。

結語

AI 的發展,以 Transformer 和 LLM 爲代表的路线發展也會逐漸陷入瓶頸,一如线性回歸和神經網絡,畢竟不可能無限制增加模型參數或者數據量,繼續增加的邊際收益會遞減。

AI 也許是湧現出智慧的種子選手,但現在幻覺問題十分嚴重,其實可以看出,目前認爲 Crypto 能改變 AI 的幻覺是一種自信,同時也是一種標准的幻覺,Crypto 的加入很難從技術上解決幻覺問題,但至少可以從公平、透明角度入手改變一些現狀。

參考文獻:

  1. OpenAI: “GPT-4 Technical Report”, 2023; arXiv:2303.08774.

  2. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin: “Attention Is All You Need”, 2017; arXiv:1706.03762.

  3. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei: “Scaling Laws for Neural Language Models”, 2020; arXiv:2001.08361.

  4. Hao Liu, Wilson Yan, Matei Zaharia, Pieter Abbeel: “World Model on Million-Length Video And Language With RingAttention”, 2024; arXiv:2402.08268.

  5. Max Roser (2022) - “The brief history of artificial intelligence: The world has changed fast – what might be next?” Published online at OurWorldInData.org. Retrieved from: 'https://ourworldindata.org/brief-history-of-ai' [Online Resource]

  6. An introduction to zero-knowledge machine learning (ZKML)

  7. Understanding the Intersection of Crypto and AI

  8. Grass is the Data Layer of AI

  9. Bittensor: A Peer-to-Peer Intelligence Market

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

標題:Crypto 是 AI 的幻覺

地址:https://www.sgitmedia.com/article/24241.html

相關閱讀: