自動駕駛、智能制造、AI……新技術帶來數(shù)據(jù)量的爆炸式增長，這也導致企業(yè)的存儲成本快速上升。

以自動駕駛為例，L3級自動駕駛項目需要存儲50到120PB的傳感器數(shù)據(jù)，這些數(shù)據(jù)要求在短時間內(nèi)分析完成，完整測試產(chǎn)生的數(shù)百PB數(shù)據(jù)需要存儲30年以上。這對訓練效率和海量存儲的成本優(yōu)化提出了更高的要求。

分布式存儲，因其性能和擴展性更高、TCO成本更優(yōu)，成為越來越多企業(yè)的選擇。作為一款企業(yè)級分布式存儲產(chǎn)品，杉巖MOS海量對象存儲(以下簡稱杉巖MOS)針對成本優(yōu)化，除了常規(guī)的糾刪碼、橫縱雙向擴容外，還有哪些特色功能特性?來一探究竟!

常規(guī)特性解讀

1. 糾刪碼和亞節(jié)點糾刪，節(jié)省存儲空間

糾刪碼是提高存儲系統(tǒng)數(shù)據(jù)可靠性的一項編碼技術。杉巖MOS將糾刪碼技術應用到數(shù)據(jù)冗余處理中。寫入的對象被拆分為 K 個數(shù)據(jù)塊，然后編碼生成 M 個校驗塊，總共 K+M 份數(shù)據(jù)通過DHT 算法分別存入不同硬盤中。當系統(tǒng)出現(xiàn)故障，丟失了某些塊時，只要這個對象丟失的塊數(shù)目不超過 M，就可通過數(shù)據(jù)恢復算法，將丟失的數(shù)據(jù)塊從剩余的塊中計算出來。在這種方式下，空間的利用率約為 K/(K+M)，數(shù)據(jù)的可靠性由 M 值的大小決定，M 越大可靠性越高。

例如“3+2”EC 配置下一個對象寫入時，對象會生成 5 個塊，每個塊均存入不同的硬盤，如下圖所示：

圖 1 “3+2”EC 策略示意圖

杉巖MOS提供了靈活的EC配置方式以滿足不同應用場景。杉巖MOS支持EC22+2的存儲策略，相較于HDFS的三副本策略，采用EC22+2存儲策略的存儲空間利用率提升了175%。

默認的糾刪碼是按照節(jié)點來分配數(shù)據(jù)的，例如EC4+2需要配置6個節(jié)點，但亞節(jié)點糾刪可按照硬盤來分配數(shù)據(jù)，例如EC4+2:1，則是把3個節(jié)點當6個節(jié)點用，每個節(jié)點選擇2塊硬盤，整個集群選擇6塊不同的硬盤來存放4+2總計6個分片數(shù)據(jù)。如下圖所示：

圖2 “4+2”EC 亞節(jié)點糾刪策略示意圖

因此，EC4+2:1相比EC2+1，雖然能容忍節(jié)點故障數(shù)量仍然是1個，但它可以允許2個節(jié)點分別有1塊硬盤故障(總計2塊硬盤故障)而數(shù)據(jù)不丟失。而實際情況下，硬盤故障的概率是遠遠低于整個節(jié)點故障的，所以EC4+2:1還是非?？煽康模诳臻g利用率上也遠高于三副本。

配置建議：

在滿足性能及可靠性要求下配置適當?shù)腅C策略。

在滿足性能要求下，節(jié)點數(shù)量少于EC塊數(shù)量，可以配置亞節(jié)點糾刪。

2. 無感知橫縱雙向擴容，降低人力時間成本

杉巖MOS不僅支持節(jié)點的橫向擴展，還可支持縱向擴展。當后期業(yè)務容量不足時，可在線擴容節(jié)點磁盤或者節(jié)點。杉巖MOS基于多故障域的擴容，配合存儲策略，向應用屏蔽了底層存儲的變更細節(jié)，能夠在業(yè)務無感知的情況下，實現(xiàn)業(yè)務的擴容，避免了傳統(tǒng)存儲變更時，需要業(yè)務系統(tǒng)同時變更的情況，大大減少了運維人員及業(yè)務人員的工作量，降低人力時間成本。

配置建議：

將新擴容的節(jié)點/磁盤獨立成一個故障域，避免數(shù)據(jù)的遷移，建議選擇當前集群業(yè)務較少或無業(yè)務時間段操作，以防影響業(yè)務性能。

結合生命周期轉移技術，將某個故障域的數(shù)據(jù)自動轉移到另一個故障域中，實現(xiàn)數(shù)據(jù)的分層存儲。

杉巖MOS特色特性解讀

3. 重刪及壓縮，節(jié)省存儲空間及帶寬

隨著企業(yè)業(yè)務的不斷增長，需要存儲的數(shù)據(jù)越來越多。與此同時，企業(yè)可能面臨如下問題：

歷史數(shù)據(jù)中可能存在大量的冗余數(shù)據(jù)。冗余數(shù)據(jù)的增長消耗了非必要的存儲資源，導致存儲資源浪費，存儲成本也隨之增加。

存儲容量的增加帶來了維護管理的復雜，增加了運維成本及其他成本。

杉巖MOS支持數(shù)據(jù)重刪、壓縮(包括對象壓縮及數(shù)據(jù)的傳輸壓縮)兩種功能。重刪功能通過刪除杉巖MOS中的冗余數(shù)據(jù)塊，減少冗余數(shù)據(jù)在站點內(nèi)占用的物理存儲容量，從而滿足日益增長的數(shù)據(jù)存儲需求。壓縮功能可在數(shù)據(jù)存儲時對數(shù)據(jù)桶進行壓縮，以及在多站點的場景下，將數(shù)據(jù)壓縮后再傳輸，節(jié)省存儲容量及帶寬。

配置建議：

在文件共享訪問等場景，建議開啟重刪和壓縮。

在備份場景下，推薦啟用數(shù)據(jù)壓縮功能。

多站點同步場景下，建議開啟數(shù)據(jù)傳輸壓縮。

注意事項：重刪和壓縮過程會占用CPU資源，所以重刪壓縮的數(shù)據(jù)越多，對系統(tǒng)性能的影響越大。

4. 數(shù)據(jù)分級存儲，降低歸檔成本

藍光存儲為客戶提供低成本、高可靠、長周期、大容量的冷數(shù)據(jù)存儲服務，適用于海量、訪問頻次低的非結構化數(shù)據(jù)的存檔和管理。

數(shù)據(jù)的訪問頻率通常會隨著時間的推移由熱轉冷，龐大的冷數(shù)據(jù)鮮少被再次調用，若繼續(xù)存在對象存儲中，成本非常高。杉巖MOS支持對數(shù)據(jù)進行全生命周期管理，支持冷熱數(shù)據(jù)介質分層遷移。基于成本考慮，可將冷數(shù)據(jù)自動歸檔至公有云或藍光存儲，實現(xiàn)大容量、低成本、長期保存數(shù)據(jù)。

配置建議：

重要數(shù)據(jù)建議備份至公有云。

結合生命周期策略，將冷數(shù)據(jù)歸檔至公有云或藍光存儲中。

5. 生命周期清除，降低存儲成本

杉巖MOS支持數(shù)據(jù)生命周期管理，用戶可通過設定數(shù)據(jù)生命周期管理策略，定期自動清理無用數(shù)據(jù)，釋放存儲空間。

配置建議：

針對無用數(shù)據(jù)，建議設置生命周期過期刪除策略，定期刪除無用數(shù)據(jù)。

統(tǒng)一設置桶的生命周期執(zhí)行時間，可以將執(zhí)行時間設置在數(shù)據(jù)流量較低的時間段，降低生命周期執(zhí)行對業(yè)務的影響。

6. 傳統(tǒng)SAN納管，降低采購成本

杉巖MOS支持通過將客戶舊有的IP/FC-SAN設備掛載到MOS存儲節(jié)點，通過運維界面一鍵配置，將SAN設備虛擬成MOS的存儲池，將其云化為對象存儲設備，保護客戶歷史投資，降低采購成本。

圖3 將SAN設備虛擬成MOS的存儲池，利舊云化

7. NAS/S3異構技術，降低管理成本

在企業(yè)用戶從使用傳統(tǒng)的文件存儲到使用對象存儲的應用改造過程中，主要有以下幾個步驟：

業(yè)務系統(tǒng)代碼改造——數(shù)據(jù)遷移——數(shù)據(jù)校驗——業(yè)務系統(tǒng)停機升級——增量數(shù)據(jù)遷移與校驗——正式上線。

上述過程中，工作量最大的往往不是業(yè)務系統(tǒng)的代碼改造，而在于數(shù)據(jù)的遷移與校驗。在數(shù)據(jù)遷移的過程中，涉及到數(shù)據(jù)的傳輸，文件數(shù)量及內(nèi)容的校驗，每一項工作都會消耗大量的時間與人力，為業(yè)務的割接上線帶來了許多阻力。

NAS/S3異構技術，實際上就是對象存儲系統(tǒng)對原有NAS/S3進行納管，從而能夠通過對象存儲接口(S3)訪問到NAS/S3中的數(shù)據(jù)，而無需數(shù)據(jù)遷移。在業(yè)務上線的過程中，省去了數(shù)據(jù)遷移與校驗的過程，大大縮短了業(yè)務上線的時間窗口，實現(xiàn)業(yè)務系統(tǒng)的快速切換與上線。

在經(jīng)濟趨緩的背景下，如何節(jié)省企業(yè)存儲成本，已經(jīng)成為優(yōu)化企業(yè)IT開支的重要環(huán)節(jié)。杉巖MOS憑借優(yōu)異的產(chǎn)品性能和功能特性，例如重刪及壓縮、數(shù)據(jù)分級存儲、生命周期清除、傳統(tǒng)NAS納管和NAS/S3異構技術，在幫助企業(yè)提高存儲空間利用率、保護歷史投資、節(jié)省存儲空間和采購成本等方面有著獨特的價值優(yōu)勢。

深耕分布式存儲科技創(chuàng)新，杉巖數(shù)據(jù)幫助企業(yè)夯實數(shù)據(jù)底座、挖掘數(shù)據(jù)價值、釋放數(shù)據(jù)潛能，助力企業(yè)“降本增效”，從容應對大數(shù)據(jù)挑戰(zhàn)!

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內(nèi)容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。