中航機載共性使用 IoTDB 預計節省百萬存儲成本,端邊雲架構實現機載製造系統協同

發佈時間:2023-05-11 13:13:40 | 來源:大眾網 | 作者: | 責任編輯:趙茜

1.中航機載共性業務場景

中航機載系統共性技術有限公司(以下簡稱中航機載共性)隸屬於中國航空工業集團有限公司(中央管理的國有特大型企業),是航空工業為推進落實國家重大戰略,實現機載系統研製戰略轉型、健康發展而全資設立的直屬研究機構,是航空機載産業關鍵共性技術研究的國家隊。中航機載共性主要通過機載系統關鍵共性技術研究,制定機載系統研製體系,研發機載系統研製管理及工具系統、機載系統研製的倣真驗證系統,建立支援機載系統協同研製與生産製造的工業網際網路環境,並通過該環境向用戶提供相關服務。

機載系統智慧製造是在數字化技術和製造技術的深度融合的背景下,根據分配至系統的飛機級需求,通過對數字化設計、數字化生産、數字化管理及人工智慧技術等的綜合運用,實現對機載系統産品快速生産,進而製造出滿足用戶需求、適航要求、商業成功的機載産品的全過程。目前隨著多類民機型號研製的全面推進,我國民機産業發展迎來關鍵時期,而在機載系統的智慧生産製造環節目前國記憶體在空白,迫切需要實現以智慧製造體系及標準規範為引領、以關鍵製造系統智慧化為核心、以工業網際網路為支撐、以智慧工廠為應用對象、以最終産品滿足適航要求獲得商業成功為最終目標的機載系統智慧製造系統,解決機載系統的生産製造問題,並開展應用示範,從而實現機載系統生産製造的自主可控,為機載産業戰略轉型提供支援。

因此,中航機載共性構建了面向機載系統産品生産製造的智慧雲製造系統,覆蓋雲、邊、端多層級,完成了端側智慧化工廠數據採集,邊緣側數據預處理和雲端播發,雲側數據中心、協同管控、智慧決策等多個子系統構建,實現異地工廠端與雲中心側的分佈式數據互通和統一管理。基於 IoTDB自身的先進特性,中航機載共性選擇 IoTDB作為智慧雲製造系統,實現海量製造、産能數據低延遲採集、低成本存儲、多場景治理,達到製造過程雲化、資源供給中臺化、數據應用智慧化。

2.業務需求痛點

2.1雲製造設備層次複雜

智慧雲製造系統涵蓋機電、航電、飛控等領域,各領域包含能源、雷達、電子顯示等多類子系統,各子系統又包含多個模組(如控制系統可能包含發動機控制、飛行導航等模組),多品種、小批量的生産模式使系統的組織結構和産品的交聯關係相對龐雜。因此,智慧雲製造系統數據層級關係、數據結構複雜,亟需層次化高效存儲模式。同時現場設備協議、介面多樣化,難適配,需要強大的協議庫生態實現對現場各種工業設備的協議支援。

2.2現場數據品質差,查詢難

機載産品工業現場環境複雜多變,由於數據同步週期不一致、系統延時、網路阻塞、弱網斷連等問題,會導致大量亂序數據産生;由於採集設備故障、現場設備宕機、網路中斷、工人誤操作等問題,也可能導致數據缺失。亂序和缺失的原始數據導致數據存儲和查詢效率低下,亟需數據庫軟體有效對原始數據進行預處理。

2.3數據量巨大,存儲成本高

航空設備安全性要求極高,適航審定對製造和設計的一致性要求高,迫切需要大量數據支撐。而考慮數據備份等安全措施,智慧雲製造數據存儲成本也相對較高。以每家工廠接入終端設備為 200台,每台設備感測器可採集物理量點位數 25個,每個測點變數所佔空間為 22字節,數據頻率為 2Hz的最小值測算,每年所需存儲空間約 176.68 TB,考慮存儲伺服器的高可用性備份,需每年至少新增約 350 TB的存儲空間,粗略估計耗資逾百萬,亟需實現高效數據壓縮,降低存儲成本。

3.選型 IoTDB原因

IoTDB由於其存儲結構、數據介面、異常數據處理、壓縮比、用戶功能函數(UDF)上的優勢,經中航機載共性評估,能全方位解決工業實時數據獲取、存儲和查詢問題。

3.1業務適配的存儲結構

針對雲製造複雜系統關聯的工業數據庫存儲問題,IoTDB的樹狀 Schema架構以物聯網常用層級(設備、測點等)存儲數據,和當前機載製造的“系統-子系統-模組-製造單位-工廠-産線-設備-感測器”的多層次結構相符,降低開發/運維人員理解成本,便於智慧雲製造系統進行數據管理、數據查詢與架構擴容。

3.2支援多協議數據介面

針對機載産品製造現場設備協議、介面多樣化,難適配的問題,IoTDB生態提供了多種類的數據介面,如  MQTT、HTTP、ModBus等,且團隊聯合業內多家單位持續進行工業協議開發,能支援智慧雲製造系統多種類、多協議的數據採集、協議遷移和適配。

3.3亂序、缺失數據有效處理

針對智慧雲製造系統亂序數據、缺失數據導致存儲、查詢難度大的問題,IoTDB針對數據亂序到達實現了多種優化,如寫前保序、寫後重排、時間序列對齊等多種手段,在存儲層面消除亂序數據,避免影響後續操作。同時,針對數據缺失,IoTDB提供了用於插值計算的 UDF,可方便地進行數據補齊。

3.4實現高壓縮比,高效數據清洗

針對智慧雲製造系統數據量巨大,存儲與傳輸成本高的問題,IoTDB提供稀疏索引機制和多元序列存儲機制,能夠實現海量數據的高速寫入和查詢,並且可基於數據特徵可進行多種類型的數據壓縮,能實現高壓縮比,降低存儲成本。同時,IoTDB提供的數據清洗 UDF能夠一鍵進行邊緣數據清洗,有效減少雲端和通信鏈路的數據傳輸壓力。

4.解決方案架構

中航機載共性構建的智慧雲製造系統囊括端側製造現場、邊緣層數據處理、雲側數據智慧管理多層級,覆蓋了機載智慧製造數據流通全鏈路,包括設備數據採集、邊緣網關轉發、分佈式數據存儲、企業業務效能評估、數據分析建模、可視化預測監控、智慧決策應用等功能模組,以便實現對於工廠現場製造、加工、物流等設備數據的邊緣採集及邊緣處理需求、生産製造過程中産生數據的完整高效存儲需求、及對雲上業務系統與數據中心的數據交互、調用需求。因上述 IoTDB選型優勢,中航機載共性將 IoTDB應用於機載智慧雲製造系統的研製過程中,在端、邊、雲三方面的相關係統平台中均進行了採集、存儲、應用的落地實踐。

在端側製造現場,中航機載共性基於通用數據協議的統一數據採集框架(協議庫),構建了航空工業現場專用數據採集流程。IoTDB相容 OPC UA、ModBus、MQTT等多類現場採集協議,並可穩定保持千萬數據點秒級寫入吞吐量,能夠進行工廠側數據全量、長時間本地暫存,並提供亂序、缺失數據預處理等功能。同時,中航機載共性研發了多種構形的數據採集套件,部署到位於南京、上海、西安的多個智慧工廠中。IoTDB應用於多類採集套件,幫助實現多協議數據解析及邊緣層數據存儲,處理結果可進一步支援健康監控、指令下發等下游功能。

在雲側數據層,中航機載共性將 IoTDB作為核心組件,應用於多個分佈式數據中心中。分佈式數據中心將儀錶、設備、MES、ERP等數據源通過流處理與批處理匯總進入包括結構化數據、非結構化數據的數據湖進行存儲,並通過多類規則定義與建模驗證進行進一步的數據治理,再通過流處理與批處理進行數據成果應用。分佈式數據中心搭建 IoTDB集群,依靠 IoTDB的行列混合存儲特性實現高速時序數據寫入,並運用 IoTDB的 TsFile的數據特徵分列存儲特性,實現高壓縮比時序數據存儲。同時,IoTDB可與數據中心中的 Flink組件、HDFS組件無縫整合,有效打通時序數據上下游生命週期,實現高效分佈式數據整合。

在雲側企業層及智慧層,數據應用系統中的大數據分析平臺、數字孿生系統、可視化服務中心,協同管控系統中的製造業務管理系統、生産效能管理系統均使用 IoTDB進行數據採集、存儲,為智慧雲製造系統實現計劃管理、品質管理、適航管理、智慧排産等降本增效功能提供底層數據支撐。

5.應用場景舉例

面向航空機載雲製造場景全流程,本文選取了不同層級的應用系統作為場景舉例,涵蓋應用層的數據應用系統、協同管控系統,産線層的 PCS産線管控系統,與設備層的核心參數灰度預測。

5.1應用層 -協同製造管控及數據應用子系統

通過 KAFKA協議和 HTTP協議,IoTDB負責存儲大數據分析平臺、數字孿生系統、可視化服務系統、製造業務管理系統、生産效能管控系統中的多類生産流程、産能監控、訂單情況的實時數據,包括建模階段及入庫狀態、工藝流程、工序準備及加工時間、設備狀態參數、供應商資訊、訂單資訊、生産成本、産能負荷、合格品數量、不良率、使用率、直通率等,方便後期進行數據分析,實現智慧雲製造系統對生産流程的智慧決策與産能優化。

IoTDB相比中航機載共性以前的數據存儲方案實現了多項優化,如支援數據直取直用,可以保障數據被消費的同時進行數據存儲,且不影響寫入存儲和查詢分析性能。同時,中航機載共性生産數據之前為即用即丟模式,或採用覆蓋模式在關係型數據庫中存儲,無法回溯歷史記錄,且因數據體量龐大,僅支援存儲部分主要指標項。引入 IoTDB後,多類系統平臺數據可高效完成全量指標存儲及歷史數據回溯。

5.2産線層 -  PCS産線管控系統

面向産線級的數據分佈式採集,中航機載共性使用 IoTDB實現了對於 PCS産線管控系統相關數據的採集、存儲、管控。通過 MQTT協議,IoTDB負責存儲海量産線設備運維數據,如生産設備編號、設備運作狀態、進給倍率、實際進給速度、主軸倍率、主軸負載、主軸轉速、機械臂狀態等,以加強産線生産效能控制,保障設備實時檢修與産能最大化。

之前中航機載共性産線層僅配備 SQL Server數據庫,寫入與存儲性能十分受限,所以大量實時數據因暫時缺乏明確的使用需求,採用即用即丟模式。採用 IoTDB後可以針對産線設備數據進行長期存儲、毫秒級查詢,同時也給工廠側基於歷史數據的預測類需求,如刀具壽命研究、預換刀研究提供了數據源,長線上幫助維持、提升産線效能。

5.3設備層 -設備故障灰度預測

中航機載共性基於 IoTDB的 UDF進行多類型的數據治理應用,並提供通用的數據管控、數據治理模型介面,實現多種對外服務形式。例如,基於 IoTDB提供的 UDF功能,中航機載共性實現了異常數據的灰度預測。針對智慧雲製造系統需要對生産過程進行異常數據預警、指標監控等需求,中航機載共性構建已知部分參數特徵的灰度系統並形成模型演算法,並採用 IoTDB的 UDF進行封裝,方便工廠側、設備側的應用軟體進行調用。選擇對應工廠、設備需要預測的核心數據後,結合 IoTDB採集存儲的時序數據,可使用 UDF方便地生成該數據未來趨勢預測,判斷是否超過閾值,實現快捷、準確的生産過程監測。

6.應用效果及未來展望

以 IoTDB為核心的智慧雲製造系統初期已完成對典型單位的有限範圍推廣使用。多家應用廠商均對 IoTDB在降低存儲成本、降低高安全數據鏈路成本、降低突發宕機事件、提高經營效率等方面的效用表示了認可,IoTDB為各廠節省存儲資源、服務費用 8萬元 - 74萬元不等,降低人工成本 20 - 40人天,有效提高了各廠商的設備研製、測試、調試、故障數據採集和分析效率。

中航機載共性希望在未來能進一步推進 IoTDB在航空製造領域的應用,通過接入更多的工廠及 IoTDB在智慧雲製造系統構建更多的應用,向更多不同的工廠提供數據管理解決方案。同時希望構建組織級的製造大數據中心,通過不斷擴容保障實時數據高效存儲,最終形成基於 IoTDB的行業解決方案,向不同單位進行推送,計劃三至五年實現覆蓋整個航空領域的智慧製造産業鏈,形成完整解決方案生態。

未來,以每家工廠接入終端設備為 200台,每台設備感測器可採集物理量點位數 25個,每個測點變數所佔空間為 22字節(工廠代號佔 4字節、設備代號佔 4字節,時間戳佔 6字節,數據值佔 8字節),數據頻率為 2Hz的最小值測算,每年所需存儲空間約 176.68 TB,每年至少新增約 350 TB的存儲空間。按照市場存儲空間收費 0.8/GB*h計算,每年需要額外增加 336萬存儲費用。IoTDB數據庫壓縮率可達 10倍,與 InfluxDB相比,空間佔用僅為其 30%,估計可節省硬體開支約 200萬元/年。

天謀科技簡介

天謀科技(Timecho)成立於 2021年 10月,是行業領先的時序數據庫管理系統及相關服務的提供商,現已獲得近億元人民幣天使輪融資。公司由 Apache IoTDB核心團隊創立,團隊聚焦大數據底層技術軟體研發,針對企業組建物聯網大數據平臺時所遇到的數據體量大、採樣頻率高、數據亂序到達、分析需求多、存儲與運維成本高等多種問題,為企業提供海量時序數據管理的高效解決方案。目前,其物聯網原生時序數據庫管理系統已在國家電網、國家氣象局、中航成飛、中核集團、中國中車、長安汽車、金風科技等企業廣泛應用。