2022年3月2日 星期三
當前位置: 生活頻道 詳情

騰訊雲胡利明:AI步入大模型時代 資源的最大化利用成伺服器OS關鍵命題

中國網 |    發佈時間:2024-07-21 11:49:53.0 |

 隨著雲和AI時代加速來臨,伺服器OS作為承接底層硬體與上層應用的核心,如何更好地發揮軟硬體性能、實現伺服器資源的最大化利用,成為了行業的關鍵命題。

7月19日,在2024中國國際金融展上,騰訊雲副總裁胡利明發佈了全新的騰訊雲國産伺服器作業系統TencentOS Server V3。據胡利明介紹,TencentOS Server V3具備安全可信、穩定高效等特性,並針對雲和AI場景做了眾多升級,極大提升了數據庫等軟體性能,以及CPU、GPU等資源的利用率。

據了解,TencentOS Server是騰訊自主研發的企業級Linux伺服器作業系統,自2010年誕生以來,已有14餘年的技術積累,在Linux內核社區持續貢獻。在實踐方面,TencentOS Server V3全面相容主流的國産晶片伺服器,支援建設了鯤鵬、海光和飛騰三大主流CPU超大規模的伺服器集群。目前TencentOS Server憑藉近1000萬套的部署規模成為國內部署量最大的Linux作業系統。

CentOS正式停服 伺服器作業系統平滑替換成剛需

眾所週知,CentOS是國內企業廣泛運用的主流OS之一。今年6月30日,CentOS宣佈全面停服,缺失的安全補丁更新和缺陷修復無法滿足關鍵生産系統的需求。CentOS的停服讓中國企業用戶迫切需要一個新的伺服器OS,進行原有業務的遷移與替換。而對於業務不能中斷的金融機構而言,能否實現無縫替換、平滑遷移至關重要。

據胡利明介紹,TencentOS Server為企業提供簡單易用的CentOS原地替換工具,面向金融業務需求,專注替換過程中業務的可用性和安全性,實現低風險、低影響的CentOS到TencentOS Server的原地替換。騰訊雲在替換工具中設計了多種保障機制,包括備份、預檢、替換、回滾等等,支援不同範圍的套裝軟體替換,相容CentOS7和CentOS8,相容x86和ARM架構,替換後後重啟就能生效。通過這些保障機制,實現業務系統100%安全。另據騰訊雲平臺統計數據,TencentOS Server在一年內發生的故障率比CentOS低90%。

除平滑替換CentOS外,伺服器OS能否更好地發揮軟硬體性能以及帶來更好的用戶體驗也是企業關注的重點。近幾年,TencentOS Server 在國産數據庫場景做了許多實踐,與鯤鵬和海光分別搭建了國産數據庫實驗室,探索為數據庫搭建一個高效的運作平臺。同時,騰訊雲也推出了NVME軟RAID解決方案,保障了數據庫可用性的同時,大幅提高了性能。

2023年,騰訊雲TencentOS Server與TDSQL組合的自主創新方案,打破了交易型數據庫性能記錄,做到每分鐘處理8.14億次交易,標誌著國産數據庫技術取得新的突破。據測試,最新發佈的TencentOS Server V3,能夠使國産數據庫的整體性能提升30%,運作記憶體節省超過15%。

不僅如此,TencentOS Server全面相容主流的國産晶片伺服器,支援建設了鯤鵬、海光和飛騰三大主流CPU超大規模的伺服器集群,並且支援騰訊專有雲TCE實現一雲多芯。作為雲上的GuestOS,TencentOS有豐富的北向軟體相容能力,可以支撐客戶的豐富業務應用。同時,TencentOS針對虛擬化場景的性能優化,虛擬機性能損耗小于2%的領先水準。

AI步入大模型時代 資源的最大化利用成伺服器OS關鍵命題

目前,AI的發展已步入大模型時代,眾所週知做大模型很“貴”,若能提高現有資源的利用效率,便能大幅降低大模型的建設和運作成本。

“因此,TencentOS Server V3也針對AI時代的典型場景需求進行了升級和優化。”胡利明表示,“在金融行業中,有很多的傳統推理業務,例如OCR、智慧客服等,這些分類型的場景消耗了大量昂貴的GPU卡資源,GPU本身的利用率往往非常不高。TencentOS Server可提供qGPU組件,將一張卡虛擬化切分為多張卡,可極大提升卡的復用度。”據了解,某券商客戶利用騰訊雲qGPU技術,成功節約了60%的Nvidia集群卡的採購成本。

胡利明還表示,TencentOS Server中默認整合大模型訓練和推理加速框架,能夠極大提高吞吐量,降低延遲,可以實現2倍效率提升,從而節省大量的GPU卡資源。此項技術在騰訊混元、微信輸入法、騰訊代碼助手等騰訊內部業務中都已得到實踐驗證。

此外,針對企業的伺服器CPU平均利用率低、伺服器記憶體佔用成本高和運營成本高等痛點,TencentOS Server採用離線混部的技術,合理部署客戶的高優和低優任務,將整個伺服器的部署密度變得更高。微信採用TencentOS Server的離線混部方案後,運作成本降低了43%,業務響應能力也有了相應的提升。在騰訊雲的公有雲和金融雲原生實踐案例中,CPU利用率可提升20%以上。

聲明:本文為資訊資訊,不代表本站觀點;如有違規或您認為該頁面內容侵犯您的權益,請聯繫我們,我們將及時處理。市場有風險,選擇需謹慎,此文僅供參考,不作買賣依據。


來源:咸寧新聞網

作者:

責任編輯:劉瑞

熱點關注

鏡頭面前