大數(shù)據(jù)的云存儲(chǔ)服務(wù)特征
首先,從目前多種云存儲(chǔ)的方案中可以明顯體會(huì)到,云存儲(chǔ)本身并非某一特定的技術(shù)路線,而是一種具有典型特質(zhì)的存儲(chǔ)服務(wù)方式,即可以明確地指出云存儲(chǔ)是一種服務(wù),而非某種單一的技術(shù)。云存儲(chǔ)的服務(wù)就屏蔽了大量的技術(shù)細(xì)節(jié)、功能特點(diǎn)等繁瑣的實(shí)現(xiàn)原理,做到無(wú)論其構(gòu)成如何復(fù)雜、系統(tǒng)如何龐大,其服務(wù)方式始終是具有共性和可描述的。
那么云存儲(chǔ)的服務(wù)可以描述為是統(tǒng)一、靈活、安全的存儲(chǔ)服務(wù)。統(tǒng)一體現(xiàn)在對(duì)云存儲(chǔ)內(nèi)部的多種存儲(chǔ)技術(shù)、多種存儲(chǔ)設(shè)備形態(tài)的屏蔽。通過(guò)軟件的統(tǒng)一整合向用戶提供唯一的服務(wù)獲取出口,具體可以體現(xiàn)為唯一訪問(wèn)IP、唯一的管理界面、唯一的操作方式等等。
靈活則體現(xiàn)在從云存儲(chǔ)獲取服務(wù)時(shí)的自由度上。早期曾有業(yè)界人士將使用云存儲(chǔ)服務(wù)比作用水用電一樣,這種思想和方式即體現(xiàn)在對(duì)存儲(chǔ)容量獲取的靈活性上。用戶使用云存儲(chǔ)服務(wù),將自己的數(shù)據(jù)寫(xiě)入云存儲(chǔ),可做到需要多少容量就獲取多少容量,不受限于底層存儲(chǔ)設(shè)備的規(guī)格限制。這個(gè)就需要云存儲(chǔ)系統(tǒng)在容量分配時(shí)能夠做到足夠的精準(zhǔn),同時(shí)對(duì)調(diào)整的要求也要足夠靈活。
安全體現(xiàn)的是云存儲(chǔ)提供可靠保障的能力,對(duì)不同的數(shù)據(jù)可以提供不同的安全級(jí)別保障,差異化服務(wù)。視頻監(jiān)控?cái)?shù)據(jù)體量龐大,因此常有不同的存儲(chǔ)周期要求,不同的存儲(chǔ)周期對(duì)于數(shù)據(jù)的完整性要求也不盡相同。因此云存儲(chǔ)系統(tǒng)提供存儲(chǔ)安全保障的能力應(yīng)該匹配實(shí)際項(xiàng)目的需求,在項(xiàng)目成本控制和安全級(jí)別要求上達(dá)到平衡和共識(shí)。
大數(shù)據(jù)的云存儲(chǔ)服務(wù)難點(diǎn)與挑戰(zhàn)
1、統(tǒng)一服務(wù)
上述云存儲(chǔ)的服務(wù)能力雖然容易達(dá)成一致,但是在技術(shù)路線選取、具體能力級(jí)別的實(shí)現(xiàn)上卻普遍出現(xiàn)較大差異。首先就統(tǒng)一的服務(wù)獲取出口這一功能就需要云存儲(chǔ)系統(tǒng)具有強(qiáng)大的橫向擴(kuò)展能力,需要在系統(tǒng)容量擴(kuò)展上不存在上限,同時(shí)性能也要與容量保持同等線性增長(zhǎng)才能滿足在擴(kuò)容的同時(shí)服務(wù)質(zhì)量不至于下降。當(dāng)前實(shí)現(xiàn)云存儲(chǔ)的架構(gòu)一般多為分布式存儲(chǔ)架構(gòu),雖然云存儲(chǔ)系統(tǒng)是物理位置相對(duì)集中的中心存儲(chǔ)方案,但是在系統(tǒng)內(nèi)部數(shù)據(jù)卻是被切片后存儲(chǔ)在不同的物理設(shè)備上的。在這種架構(gòu)上元數(shù)據(jù)服務(wù)器起到對(duì)數(shù)據(jù)分布式的統(tǒng)一調(diào)度、靈活分配、動(dòng)態(tài)調(diào)整的作用,其性能直接決定云存儲(chǔ)系統(tǒng)的規(guī)模。常規(guī)的元數(shù)據(jù)服務(wù)器主備工作模式采取的是一主一備兩臺(tái)元數(shù)據(jù)服務(wù)器,其中只有一臺(tái)服務(wù)器在工作,另一臺(tái)僅同步配置信息和元數(shù)據(jù)信息,并不響應(yīng)業(yè)務(wù)的分布式調(diào)度需求,因此性能并未有任何提升。在此種工作模式下,云存儲(chǔ)系統(tǒng)也往往存在容量和性能瓶頸,我們常規(guī)看到的可管理存儲(chǔ)設(shè)備最大數(shù)量從16臺(tái)到30臺(tái)不等,各廠商實(shí)現(xiàn)也不盡相同。這種規(guī)模級(jí)別直接制約了云存儲(chǔ)系統(tǒng)的統(tǒng)一服務(wù)能力。
而最新興起的元數(shù)據(jù)服務(wù)器集群組建方式則有效地解決了這一問(wèn)題。元數(shù)據(jù)服務(wù)器通過(guò)彼此間相互同步元數(shù)據(jù)信息,共同對(duì)整個(gè)系統(tǒng)提供分布式存儲(chǔ)策略調(diào)度和管理,有效地提升整個(gè)云存儲(chǔ)系統(tǒng)管理性能。通過(guò)元數(shù)據(jù)集群本身的線性增長(zhǎng),可以促使存儲(chǔ)設(shè)備數(shù)量的不斷增加,真正實(shí)現(xiàn)容量的無(wú)阻礙橫向擴(kuò)展,在超大規(guī)模云存儲(chǔ)系統(tǒng)的統(tǒng)一服務(wù)提供上做出了有效的支撐。
2、靈活服務(wù)
在存儲(chǔ)容量靈活性要求下,需要云存儲(chǔ)系統(tǒng)能夠最大限度匹配視頻監(jiān)控的存儲(chǔ)需求。1路2Mbps的標(biāo)清攝像頭,一天產(chǎn)生的數(shù)量約為21GB。若一天中只有工作時(shí)間錄像或者事件觸發(fā)錄像則產(chǎn)生的數(shù)據(jù)量更低。在民用視頻監(jiān)控行業(yè)中對(duì)于按需付費(fèi)的思路則要求云存儲(chǔ)分配的存儲(chǔ)空間粒度至少是GB級(jí)別。這對(duì)于云存儲(chǔ)的空間分配策略、虛擬化容量整合能力提出了嚴(yán)峻的要求。傳統(tǒng)按照邏輯卷或者磁盤大小為單位的構(gòu)建方式將直接導(dǎo)致分配容量時(shí)粒度過(guò)大,不能滿足這種靈活的容量分配需求。因此在云存儲(chǔ)技術(shù)實(shí)現(xiàn)中對(duì)磁盤容量進(jìn)行更低粒度的切片,生成更低粒度的數(shù)據(jù)塊,以在容量的分配、調(diào)整上換取更大的靈活性成為一種可行的技術(shù)方向。以數(shù)據(jù)塊作為云存儲(chǔ)基礎(chǔ)的數(shù)據(jù)單元之后,可以實(shí)現(xiàn)數(shù)據(jù)的靈活分配、調(diào)整、以及對(duì)分布式存儲(chǔ)的支持和大數(shù)據(jù)并發(fā)吞吐性能的提升都帶來(lái)的意想不到的好處。但是隨之而來(lái)的問(wèn)題則是對(duì)大量數(shù)據(jù)塊如何進(jìn)行有效的管理,在這里業(yè)界主要有兩種不同的方向。
第一種方向的思路通過(guò)文件系統(tǒng)對(duì)數(shù)據(jù)塊資源進(jìn)行組織和利用,這種思路的優(yōu)勢(shì)是可以支持多種數(shù)據(jù)的存儲(chǔ),不限定數(shù)據(jù)類型。但同時(shí)也忽略了視頻錄像數(shù)據(jù)是流式數(shù)據(jù)的這一本質(zhì)特點(diǎn),在視頻錄像的存儲(chǔ)效率和應(yīng)用擴(kuò)展上做出了犧牲和讓步。要說(shuō)清這個(gè)問(wèn)題需要理解視頻流式數(shù)據(jù)與非流式的文件數(shù)據(jù)的差異。簡(jiǎn)單來(lái)講流式數(shù)據(jù)在視頻監(jiān)控領(lǐng)域是由攝像機(jī)產(chǎn)生,以開(kāi)始錄像為起點(diǎn)持續(xù)不斷的產(chǎn)生,在不做時(shí)間限定的前提下是沒(méi)有結(jié)束的,因此其數(shù)據(jù)量大小也會(huì)不斷增加沒(méi)有終點(diǎn)。而非流式的文件型數(shù)據(jù)則是有固定的文件大小、文件格式、文件名稱等文件屬性。如果以非流式的文件方式存儲(chǔ)流式的視頻數(shù)據(jù)則需要將視頻流人為截?cái)?、按照文件名、按照?shù)據(jù)量大小生成一個(gè)個(gè)單獨(dú)的視頻文件,這從本質(zhì)上就破壞的流式數(shù)據(jù)的特征。再加上對(duì)視頻流檢索查找時(shí),在文件系統(tǒng)中就只能通過(guò)文件名、目錄結(jié)構(gòu)、文件屬性等進(jìn)行檢索查找,無(wú)法深入精確的定位到每一秒或者每一毫秒的視頻數(shù)據(jù),在視頻數(shù)據(jù)的使用和大數(shù)據(jù)分析上人為增加了技術(shù)壁壘。