1/ 正所謂:華山派早年曾無劍宗、氣宗之分。如果從更大視角來看,網際網路是劍宗,區塊鏈是氣宗。如果單看網際網路,商業應用是劍,數字基建是氣。同樣,單看區塊鏈,挖礦基建是劍,應用落地是氣。
2/ 比特幣算是區塊鏈挖礦劍宗的開創者,其要訣是唯快不破,縱然內功平平,也能克敵制勝。比特幣礦機和礦池開創了無數一夜暴富的神話,無需置喙。
3/ 雲端儲存是計算機工程領域內氣宗20年之集大成者。谷歌在2003年釋出的武功秘訣《The Google File System》確定了當下雲端儲存系統的思想基礎:叢集架構、後設資料與資料分離、普通商用伺服器。此後,GFS以及後續的Colossus成為業界借鑑的物件,催生了Hadoop生態系統以及大量的雲端儲存廠商。同時普通商用伺服器的做法,也掀起了國內去IOE的浪潮。
4/ 和網際網路的Web服務不同,Filecoin是一個區塊鏈+儲存的專案,業務相對比較純粹,是基建的範疇。Filecoin挖礦實際上是儲存挖礦,需要集合兩種武功心法:比特幣的劍宗和雲端儲存的氣宗。
6/ Filecoin挖礦講究的是以氣運劍,氣劍合一。由此,Filecoin官方一直在推叢集版實現和外包GPU的原因,也就不言自明瞭。而那些模仿比特幣劍宗模式走礦機路線的,可以說是用前朝的尚方寶劍來斬本朝的官,更別提有什麼效果了。為正本清源,我公開Filecoin挖礦要訣之鴻鈞九式。
7/ 鴻鈞一式:縮減總擁有成本(TCO)。目前Filecoin挖礦討論最多的是排名與投入產出比(或者說是投資回報率ROI)。排名當然說明了一切,ROI是指收益和投入的比值。談排名的也在談ROI,但這些談論一般都停留在Capex的投入上,而不是討論總擁有成本(TCO)。
雲模式何以成功?因為雲模式從各個方面降低了TCO。Filecoin的儲存是否應該採用雲的模式?答案是顯然的,為什麼不站在巨人的肩膀上呢?雲的模式有多種,自建資料中心,雲,以及兩者的混合,業內的實踐結果是混合模式的成本最低(如下圖所示三種部署場景的TCO對比)。那麼對比來看,Filecoin挖礦存在以下幾種模式:礦機、資料中心叢集礦池、雲叢集礦池、以及三者的混合模式。同樣,混合模式Filecoin礦池的TCO成本最低。
採用混合部署模式只是第一步,TCO包括搭建基礎設施所有直接和間接成本的總和,包括所有Capex、軟體開發、監控、維護和支援(Opex)、運營、資料中心、網路、宕機、可持續性、敏捷性等。參考Google SRE的實踐經驗:谷歌可靠性工程的設計經驗。
對於Filecoin儲存挖礦來說,可以參考Google的經驗,關注資料永續性和可用性的成本(儲存市場),以及提供資料服務的成本(檢索市場),如果保持磁碟繁忙(靜止的磁頭也是沉沒成本),就會最小化總儲存TCO。參考這篇文章:谷歌Colossus檔案系統的設計經驗。
搞清楚基礎架構的TCO並不是一件容易的事情。TCO不僅包括伺服器、儲存、網路和IT勞力,還包括每年的資本成本以及摩爾定律對未來價格的影響。各大雲廠商都有自己的TCO計算器,那麼你呢?
8/ 鴻鈞二式:維持可持續性。可持續性是指基礎設施適應業務不斷髮展的需求的能力,高利用率會減少投入,但是會限制可持續性,並對創新和業務增長產生負面影響。
從雲模式來看可持續性。大多數企業的硬體利用率都大大低於20%,這是因為處理業務高峰的資源需求過大。雲模式提供透過規模效應降低成本,用彈性擴充套件提供服務,而使用者以較高的利用率按照小時租用硬體、軟體、電源等裝置。這就是雲端計算的規模效益和按需付費模式。下圖藍色的線代表購買硬體的投入,這些投入往往是定期的,紅色箭頭代表企業必須承受的產能過剩成本,紅色陰影區域代表資源配置過低不能滿足業務需求的情況。
這種可持續性的價值很難計算,因此很多人都傾向於忽略它,那將是一個巨大的錯誤。那麼對於Filecoin,問幾個問題即可明白挖礦系統的可持續性:
挖礦系統輸出的存力隨時間變化的程度如何?
挖礦系統適應變化的能力如何?
在全網算力變化過程中收穫的相對價值如何變化?
全網算力水漲船高,已有投入會成為沉沒成本嗎?
如何升級?升級的成本是多少?
挖礦裝置能夠附接儲存嗎?能夠搬遷資料嗎?
9/ 鴻鈞三式:叢集架構。雲端儲存的模式,或者說是儲存的叢集架構和分散式架構,是Filecoin挖礦最應該回顧和借鑑的思路。圖靈獎得主Jim Gray在文章《分散式計算經濟學》中給出兩個結論(計算靠近資料和組合多個分佈站點的資料)和兩個警告(Beowulf叢集具有完全不同的網路經濟和摩爾定律將加強兩個結論)。Pat Helland也總結過資料中心經濟學:資料中心可以透過廉價電力、靠近骨幹網、共享管理等措施以相對划算的價格提供計算、儲存和網路服務。因此,對於Filecoin挖礦經濟學來說,需要借鑑的是:構建叢集或者外包給叢集,實現計算(seal)和儲存分離、挖礦(鏈)與儲存的分離。對於大多數人而言,管理自己的礦池或者資料中心不太可能具有戰略意義,外包或投資也是一個不錯的選擇,這種背後的邏輯是:可以降低總擁有成本(TCO)。
10/ 鴻鈞四式:計算與儲存分離。隨著雲原生的深入發展,計算和儲存的分離已經是IT系統的基本正規化。谷歌在這方面開始的最早,但對外資料很少。亞馬遜在SIGMOD 2017上發表Aurora資料庫的設計引領業內雲資料庫計算和儲存分離的浪潮。Facebook在2018年的Apache Spark & AI Summit 大會上做了主題為計算和儲存分離的分享。計算和儲存的分離除了遵循提高成本效率的經濟學原理外,還可以允許系統以更細粒度(計算和儲存)進行擴充套件,保持可持續性發展。
11/ 鴻鈞五式:計算與儲存的比例。Filecoin礦池如何安排計算和儲存的比例?根據雲端計算和雲端儲存的執行經驗(下圖所示),雲託管的場景是需要的計算能力大於儲存能力。對於Filecoin挖礦來說,評估計算和儲存的比例對於部署挖礦系統對於降低TCO有很大的影響。對於可持續性的規模增長來說,自建資料中心的成本更低。對於單個礦機來說,由於違背了鴻鈞四式計算和儲存分離的原則,計算和儲存的比例無從談起,更不要說可持續性了。
12/ 鴻鈞六式:創新儲存架構。涉及整個儲存堆疊針對Filecoin挖礦場景和儲存場景的最佳化,內容較多,眼前有景道不得
。可以參考的是谷歌Colossus檔案系統的設計經驗。
13/ 鴻鈞七式:礦池的規模。礦池規模多大比較好?礦池規模是不是越大越好?如下圖所示,隨著資料量的增加,雲端儲存的TCO快速增加。結合Filecoin構建檢索市場的願景,礦池規模不是越大越好。
14/ 鴻鈞八式:定製數字中心磁碟,在IOPS和容量之間平衡。磁碟將是Filecoin挖礦的核心,GPU不是,磁帶也不是。SSD具有更高的IOPS,是儲存的未來,但存在的問題是成本($/GB)仍然太高,並且在未來的十年不會降低太多。谷歌在資料中心磁碟上的探索值得借鑑,主要包括關注磁碟集合而不是單個磁碟(同時也包括評估雲時代超越3.5英寸磁碟的重新設計,以及安全、韌體、尾延遲等方面的最佳化)以及IOPS和容量之間平衡。
對於磁碟集合,基於磁碟的儲存解決方案的TCO主要由磁碟獲取成本、磁碟電源成本、磁碟連線開銷(磁碟插槽、計算和網路)以及修復和維護開銷組成。谷歌建議關注磁碟集合而不是單個磁碟,並考量以下五個關鍵指標的全域性最大值:
更高的每秒輸入輸出 (IOPS),通常受磁頭尋道限制,
更高的容量(以GB計算)
較低的尾延遲,
滿足安全要求,並且
較低的總擁有成本(TCO)。
對於IOPS和容量之間平衡,谷歌內部使用下圖所示的一種思考空間:字母表示磁碟的各種型別,以$/GB(以TCO表示)和IOPS /GB表示。更大磁碟容量增加GB/$,但是降低IOPS/GB,更小磁碟容量則相反。磁碟轉速更高會增加IOPS/GB,但會降低GB/$,轉速更低則相反。理想的發展方向是向下向右。同一型別的新磁碟成本往往更低(更少的$/GB),但更靠左(因為容量變得更大,而不是更快)。更換為容量較小的拼盤大小是向右移動的一種方式。一般的情況下,我們可以聚合磁碟,實現從C到D的模型(向右向上),向下向右是我們夢寐以求的(比如E到F),而我們的現實路徑往往是圖中的紅線。
15/ 鴻鈞九式:你回首看得越遠,你向前也會看得越遠。這是丘吉爾說的。區塊鏈本身就是組合式創新的典範,而區塊鏈+儲存本身就是一場成本革命,那麼區塊鏈儲存所面臨的問題和挑戰,在歷史的故紙堆裡同樣可以找到答案,沒有必要重新發明輪子或製造輪子。