大數(shù)據(jù)的云存儲(chǔ)服務(wù)特征

　　首先，從目前多種云存儲(chǔ)的方案中可以明顯體會(huì)到，云存儲(chǔ)本身并非某一特定的技術(shù)路線，而是一種具有典型特質(zhì)的存儲(chǔ)服務(wù)方式，即可以明確地指出云存儲(chǔ)是一種服務(wù)，而非某種單一的技術(shù)。云存儲(chǔ)的服務(wù)就屏蔽了大量的技術(shù)細(xì)節(jié)、功能特點(diǎn)等繁瑣的實(shí)現(xiàn)原理，做到無(wú)論其構(gòu)成如何復(fù)雜、系統(tǒng)如何龐大，其服務(wù)方式始終是具有共性和可描述的。

　　那么云存儲(chǔ)的服務(wù)可以描述為是統(tǒng)一、靈活、安全的存儲(chǔ)服務(wù)。統(tǒng)一體現(xiàn)在對(duì)云存儲(chǔ)內(nèi)部的多種存儲(chǔ)技術(shù)、多種存儲(chǔ)設(shè)備形態(tài)的屏蔽。通過(guò)軟件的統(tǒng)一整合向用戶提供唯一的服務(wù)獲取出口，具體可以體現(xiàn)為唯一訪問(wèn)IP、唯一的管理界面、唯一的操作方式等等。

　　靈活則體現(xiàn)在從云存儲(chǔ)獲取服務(wù)時(shí)的自由度上。早期曾有業(yè)界人士將使用云存儲(chǔ)服務(wù)比作用水用電一樣，這種思想和方式即體現(xiàn)在對(duì)存儲(chǔ)容量獲取的靈活性上。用戶使用云存儲(chǔ)服務(wù)，將自己的數(shù)據(jù)寫(xiě)入云存儲(chǔ)，可做到需要多少容量就獲取多少容量，不受限于底層存儲(chǔ)設(shè)備的規(guī)格限制。這個(gè)就需要云存儲(chǔ)系統(tǒng)在容量分配時(shí)能夠做到足夠的精準(zhǔn)，同時(shí)對(duì)調(diào)整的要求也要足夠靈活。

　　安全體現(xiàn)的是云存儲(chǔ)提供可靠保障的能力，對(duì)不同的數(shù)據(jù)可以提供不同的安全級(jí)別保障，差異化服務(wù)。視頻監(jiān)控?cái)?shù)據(jù)體量龐大，因此常有不同的存儲(chǔ)周期要求，不同的存儲(chǔ)周期對(duì)于數(shù)據(jù)的完整性要求也不盡相同。因此云存儲(chǔ)系統(tǒng)提供存儲(chǔ)安全保障的能力應(yīng)該匹配實(shí)際項(xiàng)目的需求，在項(xiàng)目成本控制和安全級(jí)別要求上達(dá)到平衡和共識(shí)。

　　大數(shù)據(jù)的云存儲(chǔ)服務(wù)難點(diǎn)與挑戰(zhàn)

　　1、統(tǒng)一服務(wù)

　　上述云存儲(chǔ)的服務(wù)能力雖然容易達(dá)成一致，但是在技術(shù)路線選取、具體能力級(jí)別的實(shí)現(xiàn)上卻普遍出現(xiàn)較大差異。首先就統(tǒng)一的服務(wù)獲取出口這一功能就需要云存儲(chǔ)系統(tǒng)具有強(qiáng)大的橫向擴(kuò)展能力，需要在系統(tǒng)容量擴(kuò)展上不存在上限，同時(shí)性能也要與容量保持同等線性增長(zhǎng)才能滿足在擴(kuò)容的同時(shí)服務(wù)質(zhì)量不至于下降。當(dāng)前實(shí)現(xiàn)云存儲(chǔ)的架構(gòu)一般多為分布式存儲(chǔ)架構(gòu)，雖然云存儲(chǔ)系統(tǒng)是物理位置相對(duì)集中的中心存儲(chǔ)方案，但是在系統(tǒng)內(nèi)部數(shù)據(jù)卻是被切片后存儲(chǔ)在不同的物理設(shè)備上的。在這種架構(gòu)上元數(shù)據(jù)服務(wù)器起到對(duì)數(shù)據(jù)分布式的統(tǒng)一調(diào)度、靈活分配、動(dòng)態(tài)調(diào)整的作用，其性能直接決定云存儲(chǔ)系統(tǒng)的規(guī)模。常規(guī)的元數(shù)據(jù)服務(wù)器主備工作模式采取的是一主一備兩臺(tái)元數(shù)據(jù)服務(wù)器，其中只有一臺(tái)服務(wù)器在工作，另一臺(tái)僅同步配置信息和元數(shù)據(jù)信息，并不響應(yīng)業(yè)務(wù)的分布式調(diào)度需求，因此性能并未有任何提升。在此種工作模式下，云存儲(chǔ)系統(tǒng)也往往存在容量和性能瓶頸，我們常規(guī)看到的可管理存儲(chǔ)設(shè)備最大數(shù)量從16臺(tái)到30臺(tái)不等，各廠商實(shí)現(xiàn)也不盡相同。這種規(guī)模級(jí)別直接制約了云存儲(chǔ)系統(tǒng)的統(tǒng)一服務(wù)能力。

　　而最新興起的元數(shù)據(jù)服務(wù)器集群組建方式則有效地解決了這一問(wèn)題。元數(shù)據(jù)服務(wù)器通過(guò)彼此間相互同步元數(shù)據(jù)信息，共同對(duì)整個(gè)系統(tǒng)提供分布式存儲(chǔ)策略調(diào)度和管理，有效地提升整個(gè)云存儲(chǔ)系統(tǒng)管理性能。通過(guò)元數(shù)據(jù)集群本身的線性增長(zhǎng)，可以促使存儲(chǔ)設(shè)備數(shù)量的不斷增加，真正實(shí)現(xiàn)容量的無(wú)阻礙橫向擴(kuò)展，在超大規(guī)模云存儲(chǔ)系統(tǒng)的統(tǒng)一服務(wù)提供上做出了有效的支撐。

　　2、靈活服務(wù)

　　在存儲(chǔ)容量靈活性要求下，需要云存儲(chǔ)系統(tǒng)能夠最大限度匹配視頻監(jiān)控的存儲(chǔ)需求。1路2Mbps的標(biāo)清攝像頭，一天產(chǎn)生的數(shù)量約為21GB。若一天中只有工作時(shí)間錄像或者事件觸發(fā)錄像則產(chǎn)生的數(shù)據(jù)量更低。在民用視頻監(jiān)控行業(yè)中對(duì)于按需付費(fèi)的思路則要求云存儲(chǔ)分配的存儲(chǔ)空間粒度至少是GB級(jí)別。這對(duì)于云存儲(chǔ)的空間分配策略、虛擬化容量整合能力提出了嚴(yán)峻的要求。傳統(tǒng)按照邏輯卷或者磁盤大小為單位的構(gòu)建方式將直接導(dǎo)致分配容量時(shí)粒度過(guò)大，不能滿足這種靈活的容量分配需求。因此在云存儲(chǔ)技術(shù)實(shí)現(xiàn)中對(duì)磁盤容量進(jìn)行更低粒度的切片，生成更低粒度的數(shù)據(jù)塊，以在容量的分配、調(diào)整上換取更大的靈活性成為一種可行的技術(shù)方向。以數(shù)據(jù)塊作為云存儲(chǔ)基礎(chǔ)的數(shù)據(jù)單元之后，可以實(shí)現(xiàn)數(shù)據(jù)的靈活分配、調(diào)整、以及對(duì)分布式存儲(chǔ)的支持和大數(shù)據(jù)并發(fā)吞吐性能的提升都帶來(lái)的意想不到的好處。但是隨之而來(lái)的問(wèn)題則是對(duì)大量數(shù)據(jù)塊如何進(jìn)行有效的管理，在這里業(yè)界主要有兩種不同的方向。

　　第一種方向的思路通過(guò)文件系統(tǒng)對(duì)數(shù)據(jù)塊資源進(jìn)行組織和利用，這種思路的優(yōu)勢(shì)是可以支持多種數(shù)據(jù)的存儲(chǔ)，不限定數(shù)據(jù)類型。但同時(shí)也忽略了視頻錄像數(shù)據(jù)是流式數(shù)據(jù)的這一本質(zhì)特點(diǎn)，在視頻錄像的存儲(chǔ)效率和應(yīng)用擴(kuò)展上做出了犧牲和讓步。要說(shuō)清這個(gè)問(wèn)題需要理解視頻流式數(shù)據(jù)與非流式的文件數(shù)據(jù)的差異。簡(jiǎn)單來(lái)講流式數(shù)據(jù)在視頻監(jiān)控領(lǐng)域是由攝像機(jī)產(chǎn)生，以開(kāi)始錄像為起點(diǎn)持續(xù)不斷的產(chǎn)生，在不做時(shí)間限定的前提下是沒(méi)有結(jié)束的，因此其數(shù)據(jù)量大小也會(huì)不斷增加沒(méi)有終點(diǎn)。而非流式的文件型數(shù)據(jù)則是有固定的文件大小、文件格式、文件名稱等文件屬性。如果以非流式的文件方式存儲(chǔ)流式的視頻數(shù)據(jù)則需要將視頻流人為截?cái)?、按照文件名、按照?shù)據(jù)量大小生成一個(gè)個(gè)單獨(dú)的視頻文件，這從本質(zhì)上就破壞的流式數(shù)據(jù)的特征。再加上對(duì)視頻流檢索查找時(shí)，在文件系統(tǒng)中就只能通過(guò)文件名、目錄結(jié)構(gòu)、文件屬性等進(jìn)行檢索查找，無(wú)法深入精確的定位到每一秒或者每一毫秒的視頻數(shù)據(jù)，在視頻數(shù)據(jù)的使用和大數(shù)據(jù)分析上人為增加了技術(shù)壁壘。