成都超算助力“拉索”大腦增效提速

1.6TB數據40分鐘內跨2000公里完成快速傳輸驗證

來源:成都日報 時間:2024-03-17 09:37:00 編輯:張夏桐 點擊:

日前,中國科學院高能物理研究所(簡稱“高能所”)聯合中國電信研究院和國家超級計算成都中心(簡稱“成都超算”),基於中國電信推出的“超算快線”解決方案,在中國電信大科創裝置+城域網上提供了跨域10G數據專線,在業界首次完成跨2000公里把1.6TB數據在40分鐘內從客戶側傳輸到成都超算中心的數據快速傳輸驗證,本次驗證將提升高海拔宇宙線觀測站“拉索(LHAASO)”利用超級電腦探索解決宇宙線起源問題的能力,為“東數西算”的大數據跨域自動調度提供了創新的解決方案。

試驗過程中,高能所作業調度系統根據拉索計算任務特性、超算節點算力資源和計算數據傳送要求,成功通過超算快線API介面申請夜間閒時頻寬,把網路專線頻寬從50Mbps提升到10Gbps,服務類型從盡力而為切換到低時延保障(雙向時延從72ms縮短至32ms),在預定任務時間內把拉索部分數據傳送到成都超算完成計算任務,計算完成後結果傳送回高能所,網路恢復原狀。
“試驗充分驗證了‘超算快線’任務式協同調度、秒級彈性服務和G級跨域傳輸能力,試驗獲得了良好的效果。”相關負責人表示,後續,高能所、中國電信研究院和成都超算將對該方案持續進行優化和完善,力爭實現海量科學數據的遠端按需訪問和處理,為前沿科學研究提供強大的計算支撐。
據了解,為解決算力資源不足的難題,高能所努力探索利用超算中心等第三方算力資源作為補充,研發了跨算力中心的統一作業調度系統、數據存儲系統和網路管理系統,面向用戶提供單一的計算系統視圖。但由於固定網路專線的費用和頻寬等原因,科學大數據傳輸成為制約使用第三方算力資源的主要瓶頸,如何提高網路傳輸性價比已成為目前亟待解決的問題。
中國電信研究院“超算快線”採用PON接入方案,通過支援IPv6+業務網關和業務網控制技術,實現了低成本、智慧化的海量數據從客戶側傳輸到超算中心的需求,解決了一直困擾科研界的一大“痛點”難題。本次試驗的成功,將有助於高能所加快應用運營商提供的大頻寬、高彈性、自助式的普惠易用的網路服務,支撐國家戰略性科學研究以及國家數字經濟高品質發展。
拉索是以宇宙線觀測研究為核心的國家重大科技基礎設施。拉索于2021年7月建成並開始高品質穩定運作,是國際上最靈敏的超高能伽馬射線探測裝置,每年産生10PB(1PB=1024TB=2^50字節)級的科學數據,採用大規模的計算集群進行分析和處理,已經取得多項重要的科學發現成果。(成都日報 黃雪松)