浪潮衛星海量存儲方案發起數字攻勢
- 發佈時間:2015-03-09 14:59:00 來源:環球網 責任編輯:書海
基於軟體定義和融合架構,浪潮海量存儲可提供TB級聚合頻寬和EB級的存儲空間,敏捷吞吐衛星採集的海量監測數據,成為霧霾防治的數據“利刃”。
浪潮海量存儲承載衛星環境監測的海量數據
“看清”霧霾 構築更快捷、更靈活的海量存儲是關鍵
衛星承擔著國家對地觀測、資源勘探等重要任務,可提供精準的對以霧霾等異常情況的觀測數據,成為政府環境治理決策的數據“智囊團”。
隨著決策數據要求的精密性增加、以及衛星技術的不斷發展,衛星數據採集器的數據規模越來越龐大,對存儲設備的容量拓展、傳輸頻寬、可靠性等方面的要求越來越高。
首先,在數據量方面,一些高分衛星可在距離地面約36000公里的地球同步軌道運作,觀測面積大,並能長期對某一地區持續觀測,其解析度在50米以內,每十多分鐘便能獲取一幅圖像。衛星每日生成數據量8TB以上,年數據容量達到2.6PB以上。
其次,在存儲性能方面,衛星數據採集的原始數據主要為非結構化的文件數據,這些原始數據的接收和處理需要佔用巨大的寫入頻寬資源。根據分析內容和側重點不同,原始數據的加工處理方法也不同,同一套原始數據經常需要反覆讀取和處理,對存儲設備的讀寫頻寬要求很高。而且,衛星採集器的數據庫龐大,前端應用系統對數據的調用開銷很大,需要通過有效的方式提高數據庫的訪問性能,減小前端系統的等待時間。
最後,存儲可靠性作為一個老生常談的話題,在衛星數據存儲中同樣需要得到充足的保障。
快捷、海量、高可靠 衛星海量存儲解決方案必備的“三板斧”
根據對衛星數據採集領域的海量存儲需求分析,浪潮衛星海量存儲整體解決方案框架如下:
浪潮衛星海量存儲解決方案架構圖
首先,對於衛星海量存儲的大容量需求,浪潮海量存儲系統支援多控制器的橫向擴展,實現了系統容量、性能的動態擴展,通過最大5000個控制器的規模提供EB級海量存儲空間存儲能力,有效保證了衛星數據的未來8-10年的存儲容量需求。
同時,在容量擴展性方面,浪潮海量存儲也有獨到之處。衛星採集數據是海量的,且存儲容量和存儲性能隨著業務量的增長而增長。通常一套系統的建設初期數據存儲和處理量不大,但未來會出現爆髮式的增長。如果採用一次性投入的方式,前期會造成較大的資源浪費,後期存儲系統容量及性能不足的時候又較難擴展,因此,較合理及高性價比的方案是採用分批建設。浪潮海量存儲系統具有很高的可擴展性,支援線上擴展且無需對中斷業務,做到存儲容量和性能的線上線性擴展。
浪潮海量存儲系統
其次,對於衛星大規模數據的存儲性能需求,浪潮海量存儲系統基於橫向動態擴展控制器架構設計的浪潮海量存儲系統,通過全局暫存、最先進的FDR Infiniband數據通信網路、全交換、無阻塞的存儲交換網路有效提供數百GB聚合頻寬,滿足了衛星數據接收、處理的高併發IO需求;同時,浪潮海量存儲系統的自動分層功能可以把熱點數據遷移到FLASH暫存或SSD高性能存儲池中,實現熱點數據快速訪問,也可以把文件按照大小進行分級,衛星下傳小文件放在IOPS更高的磁片池中,實現數據分層。其中快閃記憶體層,可以提供最大程度的性能提升、支援高性能OLTP系統;SAS層滿足數據庫中的各個不同層級和虛擬資源的數據存儲;大容量存儲層,實現對歸檔數據或冷數據的存儲。
再次,對於衛星大規模數據的高可靠需求,浪潮海量存儲系統利用橫向擴展多控制器架構、全局共用暫存、全交換網路和多重冗余的數據保護機制,消除了海量存儲系統的單點故障。通過線上數據的快速複製、已接收數據的近線存儲、冷數據的備份實現了衛星數據的三級存儲備份保護,完美滿足衛星應用中的線上、近線、備份三級存儲要求;
浪潮海量存儲具有EB級容量和TB級頻寬
同時,浪潮海量存儲系統支援數據跨數據中心、跨機房、機櫃的容災,一份數據被寫入多個數據中心中,支援掉電保護,為數據的安全可靠提供強大支援,跨中心的冗余保護避免單數據中心重要數據因意外災害導致的數據丟失,為衛星數據中心提供強有力的保障。
三級存儲 浪潮海量存儲承載“高分衛星”數據
“高分衛星”項目地面系統是國家高解析度對地觀測系統的重要組成部分,其主要任務是通過搭建一體化的地面系統體系架構,在充分利用現有技術能力和基礎設施條件的基礎上進行優化,增強“高分衛星”地面系統對地觀測衛星的數據接收、綜合處理、數據庫與管理和分發服務等功能,提升運營和服務能力。
結合衛星中心數據業務的特點,浪潮衛星海量存儲解決方案將整個存儲系統分為三個部分,備份存儲區子系統、近線存儲區子系統和線上存儲區子系統,三個存儲子系統統一由浪潮海量存儲系統管理,實現對數據進行自動調動遷移和保存。
南水北調3D路線圖青藏鐵路二期影像圖北川縣影像圖鄂爾多斯影像圖
睜著眼睛做決策
浪潮衛星海量數據整體解決方案,針對衛星數據採集的行業應用特點,提供了多種類型的存儲資源,支援Windows/Unix/Linux等異構平臺,存儲系統具有大容量、高併發、高頻寬、高性能、高可擴展性等典型特徵,滿足衛星採集器的數據存儲和處理分析需求,還通過分級存儲、自動精簡配置等方式提高存儲資源的利用效率、降低投入和運作成本。浪潮海量存儲系統可與數據處理系統、前端應用系統等無縫結合,提供統一的監控和管理平臺,改善客戶的管理和使用體驗。
“以前是閉著眼睛幹活,現在是睜著眼睛做決策。浪潮海量存儲運作後,獲得和使用衛星對地監測的海量數據更加高效,對霧霾等異常環境監測更加精準。一句話,利用衛星數據使我們的眼睛更明亮,看得更清楚,決策就更有力。”某衛星數據中心資訊化負責人説。