未來十年數(shù)據(jù)存儲技術(shù)將出現(xiàn)的六個變化，你認同嗎？
發(fā)布時間：2022-04-11
來源：twt企業(yè)it社區(qū)
瀏覽量：
字號：【加大】【減小】
手機上觀看
回顧過去，數(shù)據(jù)存儲技術(shù)從90年代的DAS存儲發(fā)展到今天的分布式軟件定義存儲，伴隨著成本、可靠性、擴展性這幾個核心因素的平衡，可謂是風風雨雨經(jīng)歷了幾十年。在這段漫長的歲月當中，存儲架構(gòu)的發(fā)展經(jīng)歷了從短暫的DAS架構(gòu)迅速過度到以SAN架構(gòu)和NAS架構(gòu)混合存在的時代，SAN存儲可謂主宰乾坤幾十載；物理存儲介質(zhì)從軟盤、光盤、機械盤發(fā)展到今天的固態(tài)盤，其中SAS接口的機械硬盤伴隨著SAN存儲架構(gòu)的存在也可謂主宰乾坤幾十載；存儲軟件功能上，從最開始的單純讀寫服務發(fā)展到分級、分層、壓縮、虛擬化等等，再到今天的各種軟件定義。應該講，數(shù)據(jù)存儲的發(fā)展可謂是迅速走過工業(yè)時代，長久信息化時代，惆悵于互聯(lián)網(wǎng)時代。未來十年的發(fā)展道路上，個人認為數(shù)據(jù)存儲技術(shù)的會呈現(xiàn)出以下幾個明顯特征。1.存儲架構(gòu)會由集中式為主的時代發(fā)展為混合模式時代。從市場數(shù)據(jù)上看，根據(jù)Gartner對于2020年全球外置存儲市場統(tǒng)計來看，分布式存儲發(fā)貨容量13ZB、銷售額33億$。2018年到2023年期間，中國分布式存儲市場年均復合增長率將達到22.4%。不難看出，在數(shù)據(jù)量不斷暴漲和國產(chǎn)化趨勢的雙重驅(qū)動下，未來十年分布式存儲逐漸會成為企業(yè)追求的重要目標。從應用發(fā)展模式上看，伴隨著Web1.0、2.0、3.0的飛速發(fā)展，越來越多的業(yè)務模式轉(zhuǎn)變?yōu)锽S模式，業(yè)務訪問的并發(fā)量上發(fā)生了有史以來最大量級的升級。業(yè)務特性上，分析類業(yè)務劇增，依靠數(shù)據(jù)分析挖掘商機的時代到來。大數(shù)據(jù)、BI等新型業(yè)務系統(tǒng)紛紛在企業(yè)信息系統(tǒng)群中上線，數(shù)據(jù)本身的再生產(chǎn)價值能力受到空前的重視。集中式架構(gòu)已經(jīng)無法滿足這些新需求帶來的挑戰(zhàn)。從數(shù)據(jù)發(fā)展的特點上來看，越來越多的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)形態(tài)涌入企業(yè)應用系統(tǒng)；數(shù)據(jù)量級呈爆發(fā)式的增長；數(shù)據(jù)生命周期管理由原來的在線離線為主的模式轉(zhuǎn)變?yōu)槎嗌芷诘哪Ｊ?；?shù)據(jù)分析成為企業(yè)必備的核心后臺。這些從數(shù)據(jù)結(jié)構(gòu)到數(shù)據(jù)量以及數(shù)據(jù)訪問特點上的變化都會驅(qū)動著分布式存儲架構(gòu)體系的建設。2.數(shù)據(jù)存儲平臺會從獨立分散的狀態(tài)發(fā)展為統(tǒng)一融合化平臺。目前來看，大多數(shù)的企業(yè)是沒有完善統(tǒng)一的數(shù)據(jù)平臺架構(gòu)的。傳統(tǒng)應用有傳統(tǒng)應用的關(guān)系型數(shù)據(jù)存儲平臺，數(shù)倉及分析類業(yè)務有自己獨立的數(shù)據(jù)存儲平臺，系統(tǒng)之間通過特定的應用接口來進行數(shù)據(jù)的下沉和上浮。但是互聯(lián)網(wǎng)平臺的基礎之上，企業(yè)的業(yè)務會出現(xiàn)極高的融合度，企業(yè)對數(shù)據(jù)的利用會提高到戰(zhàn)略高度。因此越來越多的數(shù)據(jù)分析和人工智能元素會融入到數(shù)據(jù)的整合利用當中。企業(yè)急需要將分散的數(shù)據(jù)通過采集、傳輸、過濾、加工、分析、匯總等系列過程進行不同維度的再利用，那么統(tǒng)一的數(shù)據(jù)中臺、后臺就會成為數(shù)據(jù)存儲技術(shù)發(fā)展過程當中必不可少的關(guān)鍵因素。而這個數(shù)據(jù)的整合匯總平臺一定是一個將硬件介質(zhì)、存儲架構(gòu)、軟件功能、應用處理融合為一體的體系化建設工程。在金融行業(yè)當中，已經(jīng)有很多企業(yè)在建設自己的數(shù)據(jù)中臺、后臺等，只是大家在建設的策略方面還未到足夠成熟階段。相信未來十年，越來越多行業(yè)會步金融行業(yè)的后塵建設自己行業(yè)的數(shù)據(jù)平臺。3.在軟件定義的基礎之上，智能化的元素會不斷融入新的存儲產(chǎn)品當中。谷歌在2003、2004、2006年僅以學術(shù)共享形式發(fā)表的 Google FS、MapReduce、BigTable三篇論文，十年之后卻成為互聯(lián)網(wǎng)企業(yè)實際應用的先驅(qū)模板。而且隨著企業(yè)業(yè)務模式的不斷發(fā)展，這些源代碼經(jīng)歷了多次有針對性的優(yōu)化和改造，解決了很多新的場景問題。從市場數(shù)據(jù)上看，2014到2019的五年時間內(nèi)，軟件定義存儲的市場將從14億美元增長到62億美元以上，年復合增長率高達35%。伴隨著軟件化的不斷發(fā)展，企業(yè)對數(shù)據(jù)存儲的智能化程度要求越來越高。數(shù)據(jù)存儲規(guī)劃方面，越來越多的企業(yè)無法對未來發(fā)展的數(shù)據(jù)特點、量級、性能等要求作出準確設計，因此他們希望數(shù)據(jù)存儲的軟件功能具備根據(jù)動態(tài)運維數(shù)據(jù)提出優(yōu)化建議并可自動執(zhí)行的能力。數(shù)據(jù)存儲使用方面，工程師更希望存儲可以通過數(shù)據(jù)訪問的基礎運維數(shù)據(jù)來動態(tài)調(diào)整端口、帶寬、緩存以及其他一些列存儲資源的利用策略，以達到優(yōu)化存儲資源利用均衡化的目的。數(shù)據(jù)存儲配置方面，架構(gòu)師希望在紛繁復雜的基礎運維數(shù)據(jù)當中，存儲設備可以幫他找到數(shù)據(jù)之間的聯(lián)系，分析出最優(yōu)的性能配置策略、空間使用策略、安全配置策略以及最優(yōu)的技術(shù)參數(shù)體系。事實上，很多的數(shù)據(jù)存儲產(chǎn)品也在有意無意將人工智能的元素融入到數(shù)據(jù)存儲的新產(chǎn)品當中。4.云存儲技術(shù)會成為數(shù)據(jù)存儲領(lǐng)域又一顆璀璨的明星。隨著云計算的不斷發(fā)展，云存儲已經(jīng)從最開始的網(wǎng)盤模式發(fā)展為社會生活當中必不可少的關(guān)鍵對象，未來也一定會充斥著社會經(jīng)濟生活當中的各個角落。從云計算帶動的信息革命角度來看，正是有了云計算的存在，才會有今天以及未來各行各業(yè)的革命性創(chuàng)新。從智能交通到智慧城市，這里面會有無法計量的并且數(shù)據(jù)結(jié)構(gòu)、狀態(tài)、特點呈現(xiàn)五花八門形態(tài)的海量數(shù)據(jù)，這些數(shù)據(jù)來自于城市當中的每一個職能部門和企業(yè)，同時又為所有的社會群體服務，那么數(shù)據(jù)的存儲和利用必然走向云化特征。從企業(yè)的數(shù)據(jù)戰(zhàn)略高度來看，企業(yè)未來生死輸贏的先決條件就是它對數(shù)據(jù)的利用能力如何，無論是金融行業(yè)還是零售行業(yè)，大數(shù)據(jù)分析戰(zhàn)略已經(jīng)是企業(yè)必不可少的建設目標了。在利用好企業(yè)自身積淀的數(shù)據(jù)基礎之上，它們開始研究利用云平臺上的社會共有數(shù)據(jù)，大家都在處心積慮圍繞著客戶這條線索建立一套屬于自己的完整商業(yè)數(shù)據(jù)畫像。因此云存儲是這一戰(zhàn)略唯一可選的數(shù)據(jù)存儲方案。據(jù)IDC數(shù)據(jù)顯示，到2025年，全球創(chuàng)建、獲取和復制的數(shù)據(jù)量將增至175ZB，其中，企業(yè)存儲的數(shù)據(jù)量將會占據(jù)全球總數(shù)據(jù)量80%以上。這一數(shù)據(jù)表明企業(yè)正迅速成為生產(chǎn)數(shù)據(jù)和管理數(shù)據(jù)的主要載體，加上目前我國正處于云計算的高速發(fā)展時期，企業(yè)上云成為必然趨勢。越來越多的企業(yè)選擇將自己的日常辦公數(shù)據(jù)、備份數(shù)據(jù)、歸檔數(shù)據(jù)、靜態(tài)歷史數(shù)據(jù)等活動性不強的海量數(shù)據(jù)移入云存儲資源池甚至直接推向云端。5.存儲硬件技術(shù)會向綠色節(jié)能方向不斷演進。2016年4月8日，由工業(yè)和信息化部、國家機關(guān)事務管理局、國家能源局聯(lián)合召開“國家綠色數(shù)據(jù)中心試點工作推進會暨京津冀綠色數(shù)據(jù)中心協(xié)同發(fā)展論壇”。在這次會議上，強調(diào)了開展綠色數(shù)據(jù)中心試點地區(qū)的重要性，并對下一步的工作思路和任務做出了明確清晰的回應，工業(yè)和信息化部相關(guān)負責人也指出了試點單位應對創(chuàng)新工作的創(chuàng)建做好準備。未來降低能耗將成為數(shù)據(jù)中心建設的首要目標，通過使用可代替可再生能源將成為數(shù)據(jù)中心主要的電力能源。新一代綠色數(shù)據(jù)中心需要新型綠色節(jié)能技術(shù)的支持。同樣存儲設備作為數(shù)據(jù)中心所有IT設備當中最耗能源的設備，也必須與這個整體目標相符發(fā)展。從存儲產(chǎn)品的硬件層面來實現(xiàn)節(jié)能無非需要從架構(gòu)設計、芯片使用以及硬盤介質(zhì)等幾個方面來推進。從目前的技術(shù)參數(shù)對比來看，從時延、功耗、返還率等重要技術(shù)參數(shù)對比來看，固態(tài)硬盤都要遠遠優(yōu)于傳統(tǒng)機械硬盤，未來隨著TCO不斷降低固態(tài)硬盤會取代機械硬盤的霸主地位；更節(jié)能高效的非易失性內(nèi)存技術(shù)填補了從硬盤到DRAM之間的性能、成本、能耗等方面的不平衡性。也定會成為未來新型存儲產(chǎn)品必不可少的關(guān)鍵技術(shù)。6.存儲協(xié)議會從AHCI為主的模式演變?yōu)镹VMe的天下。在存儲系統(tǒng)當中，HDD和SSD早期的傳輸協(xié)議都是AHCI（Advanced Host Controller Interface），AHCI為單隊列模式，也就是說服務器和硬盤之間的數(shù)據(jù)傳輸為單隊列模式。早期數(shù)據(jù)存儲的性能主要受限于HDD硬盤本身，因此AHCI的性能瓶頸也就不是主要矛盾了。但是隨著SSD介質(zhì)技術(shù)的不斷應用，AHCI的單隊列模式已經(jīng)嚴重制約SSD介質(zhì)的并發(fā)訪問性能的發(fā)揮了。因此NVMe（NVM Experess）協(xié)議應用而生，它旨在降低時延的同時提高IOPS，可以達到16Gbps的吞吐量，部分基于NVMe的驅(qū)動器可以達到200萬甚至1000萬的IOPS。從數(shù)據(jù)上來看，憑借其卓越性能優(yōu)勢，NVMe SSD產(chǎn)品在2018-2023年間以38%的復合年增長率持續(xù)增長，2021年占據(jù)企業(yè)級SSD出貨量的55%以上。未來十年的存儲技術(shù)發(fā)展，伴隨著NVMe本身的分支技術(shù)發(fā)展，它一定會主宰未來存儲協(xié)議。總之，隨著數(shù)字經(jīng)濟時代的不斷深入發(fā)展，企業(yè)數(shù)據(jù)的價值被進一步重視和挖掘，數(shù)據(jù)存儲技術(shù)的應用和發(fā)展會向多元化、智能化、體系化、綠色化等方向逐步發(fā)展，在這個過程當中也會有更多的新型軟件及硬件技術(shù)誕生并應用到未來的存儲產(chǎn)品當中。相信存儲產(chǎn)業(yè)經(jīng)濟的發(fā)展模式也會從客戶適應產(chǎn)品的通用產(chǎn)品模式逐步發(fā)展為圍繞客戶需求定制化的個性化產(chǎn)品經(jīng)濟模式。
