大數據時代已經來臨并和我們的生活密不可分。
隨著移動互聯網的充分普及,以及近年來物聯網出現和快速發展,今天數據的主要來源已經不僅僅是人機會話了,而是通過設備、服務器、應用自動產生的,機器產生的數據(物聯網)正在呈幾何級增長,比如基因數據、各種用戶行為數據、定位數據、圖片、視頻、氣象、地震、醫療等等。據早前Gartner預測,到2020年全球將有大約200億臺物聯網設備,數據量將達到35ZB。
同時,和傳統數據不同,這些數據是以非結構化、半結構化為主,對數據存儲帶來了全新的挑戰。
由此,近年來分布式存儲系統在這種以業務數據為核心應用的領域得到了飛速發展與應用。
分布式存儲方案
分布式文件、分布式塊以及分布式對象三種分布式存儲系統的使用形態,用來滿足業務系統對于海量數據的存取方式、合法訪問、容量控制以及運維等方面的需求。
一
分布式文件,是分布存儲系統最初提供的應用形式,主要解決海量非結構化文件數據的并發存取、權限管理、容量配額管理等問題,在基于NAS協議的訪問基礎上,利用分布式存儲系統的性能聚合、容量聚合形成的專為海量非結構化數據存儲的產品。
因此,它適合文件共享、高并發存儲性能、海量數據存儲、權限分級管理以及存儲容量配額管理等應用需求的場景。如廣電行業的視頻編輯/媒資管理系統/VOD點播/CDN文件分發/動漫渲染、石油勘探/衛星遙感/基因工程等HPC應用領域。
二
分布式塊的應用得益于云架構IT系統的推動而在近幾年大力的發展起來,其中最以OpenStack云平臺應用最為廣泛。
其次,安防行業的平安城市/智慧城市中視頻監控應用在延續了使用塊設備做為存儲介質的使用習慣的基礎上,由于規模的不斷擴大,分布式存儲系統的容量與性能上的優勢被逐漸在應用在項目當中。
分布式塊的應用形態,可以提供眾多塊設備的管理,大容量的存儲空間以及性能的線性擴展,彌補了傳統形態塊存儲設備只能縱向擴展的不足。
三
分布式對象是近年來發展最快的應用形態。
隨著眾多行業應用在生產過程中會產生眾多的海量小文件,而小文件的存儲在分布式文件應用形態多,由于分布式存儲系統的存儲路徑較長,加上元數據處理的技術缺陷,在海量小文件查詢、定位和檢索上性能不能滿足行業的需求,因此,基于S3對象的分布式對象存儲形態應運而生。
分布式對象存儲利用扁平的元數據和數據管理,可以有效解決元數據性能的問題,結合分布式存儲系統的并發訪問的性能特性,以及基本HTTP形式的訪問形態,可以提供眾多的性能加速方案,可以有效的解決海量小文件應用的需求。
分布式之產品選購
柏科數據自主研發的IS Cloud分布式存儲系統產品,同時提供了分布式文件、塊和對象三種數據應用形態,并可同時部署提供數據服務,有效的滿足了各類業務對于不同數據類型、大小以及IO特性的使用場景。
柏科IS Cloud分布式存儲能夠滿足復雜、多樣的業務應用場景,并提供相應的存儲高級功能,如數據服務HA、多鏈路、多網關、訪問鑒權、配額、WORM、NDMP、快照、精簡配置、零拷貝等。
同時,為滿足國內自主可控的需求,IS Cloud分布式存儲系統軟件已適配國產飛騰、申威、海光以及鯤鵬硬件平臺。
下一期,小編為您解析分布式存儲產品如何規劃布局。