2022VDC雲與基礎架構專場:以高效基礎架構能力矩陣推進雲原生時代技術革新
發佈時間:2022-11-10 10:23:09 | 來源:東方網 | 作者: | 責任編輯:趙茜11月8日,2022 vivo開發者大會以線上直播的形式召開,此次大會以“MORE,近你所想”為主題。在次日的雲與基礎架構分會場,vivo介紹了近年來其在雲原生和容器技術層面的最新探索和實踐。vivo網際網路容器技術負責人潘良彪、網際網路容器研發高級工程師束迎亞等6位專家分別在現場做了主題演講。
擁抱雲原生,助力演算法降本提效
2018年起,vivo以容器作為基礎底座,打造了 vivo的一站式雲原生機器學習平臺。向上支撐了演算法中臺,為演算法工程師提供數據管理、模型訓練、模型管理、模型部署等能力,為廣告、推薦和搜索等業務賦能,成功為演算法實現了降本、提效,讓雲原生和容器價值初露鋒芒。
基於機器學習平臺的試點成果,經過演算法場景的試點實踐和價值分析,vivo對內部戰略做了升級。確定基於雲原生理念去構建行業一流的容器生態,實現規模化的降本提效目標。為了更好匹配戰略落地擁抱雲原生,vivo還對內部技術架構重新規劃和升級,新增引入統一流量接入平臺、容器運維管理平臺、統一名字服務、容器監控等平臺和能力,支撐容器生態在公司內部的全面建設和推廣。
對此,vivo網際網路容器技術負責人潘良彪也詳細介紹了vivo在容器集群高可用建設中的具體實踐,包括在容器集群高可用建設、容器集群自動化運維、容器平臺架構升級、容器平臺能力增強、容器生態打通等層面的打磨和建設。目前,vivo容器産品能力矩陣逐漸趨於完善,並將圍繞全面容器化、擁抱雲原生和在離線混部三個方向繼續發力。
vivo網際網路容器技術負責人潘良彪
不懼千錘百煉, Kubernetes集群升級推動平臺能力躍升
vivo在雲原生技術領域已經深耕多年。從2017年開始接觸並積累容器技術,之後搭建與運維 Kubernetes集群,到如今提供成熟的容器化平臺解決方案,並在公司內部推廣接入線上業務和離線訓練任務。對於vivo而言,業務全面容器化可以説是公司級別戰略,在平臺能力陸續更新上線的背景下,容器化集群無損升級則成了重要課題。
針對這一課題,vivo網際網路容器研發高級工程師束迎亞在演講中分享了 vivo在容器化集群無損升級過程中的一些實踐經驗。
在滿足API相容性、控制邏輯一致性以及Kubelet穩定性三個關注點的前提下,vivo最終選擇將1.10版本升級到1.17版本。升級後,容器化平臺充分利用高版本Kubernetes以及第三方控制器新特性,功能矩陣持續完善。對用戶,需求能高效得到建設且穩定性更好,收益顯著;對運維同事,統一的內部集群 Kubernetes版本使得運維複雜度大大降低,工作效率顯著提高。接下來,vivo將圍繞效率建設、自動化建設、標準化建設繼續進行Kubernetes集群的升級管理。
vivo網際網路容器研發高級工程師束迎亞
保持監控系統能力穩步提升,為業務服務提供長效保障
vivo自2018年開啟了監控系統的自研之路,期間不斷轉型、升級,系統服務能力漸趨成熟。從2022年開始,vivo建設了統一監控平臺,將基礎監控、應用監控和自定義監控進行統一,包含統一配置服務和統一檢測服務。從監控的建設歷程來看,vivo一路覆蓋了 IaaS、PaaS、DaaS、CaaS等平臺,其職能也從DevOps向AIOps邁進。
vivo將基礎設施層、系統伺服器層、系統服務層、業務應用層、客戶體驗層視為系統的監控對象,通過不同的服務體系達成監控全覆蓋,以滿足各類環境部署訴求。此外,系統還支援多種採集方式,SDK和API採集主要應用在自定義監控場景,Agent主要採集主機類指標,由此建立起一套完備的監控體系。
vivo網際網路監控服務架構師陳寧寧在演講中表示,隨著公司業務發展,業務模型、部署架構越來越複雜,故障定位很困難,定位問題成本高,而監控系統在面對複雜、異構、調用關係冗長的系統時,就起到了重要作用。未來,vivo將在場景串聯、可觀測性、服務能力化等層面進一步探索,深挖産品價值,並構建其統一可觀測平臺,通過多維能力的提升,保障業務的可用性,提升業務服務品質。
vivo網際網路監控服務架構師陳寧寧
加速數據庫服務建設,讓雲原生時代數據運維難題迎刃而解
2020年左右進入後移動網際網路時代,社會數字化程度進一步加深,雲原生的概念應運而生,微服務架構,資源彈性,容器等雲原生技術廣為傳播。數據庫的穩定性方面,因為開源數據庫的高可用體系普遍成熟而大大緩解。數據庫規模方面,實例數量和品類都進一步大增。數據庫安全方面,2021年8月我國正式出臺了個人資訊保護法,個人隱私數據保護成為了數據庫運維的時代重點。
在以上時代背景下,vivo網際網路雲平臺架構師鄧松認為,數據庫運維面臨著大規模數據庫實例難以有效運維、數據庫難以做好資源彈性伸縮以及個人隱私數據安全難以保障這三個方面的挑戰。對此,vivo也給出了自身的應對方案。
首先,vivo自研了數據庫運維平臺DaaS來支撐數據庫運維工作。在規模覆蓋、效率提升、故障告警處理等層面均衡發力,保障了數據的穩定性,以工單自助,故障自愈為核心,實現了數據庫的高效運維。
其次,在數據庫資源彈性管理層面,vivo重視資源成本優化。圍繞資源分配、資源彈性伸縮、資源隔離分別給出了智慧化解決方案,並通過套餐自動優化,進一步降低了管理成本。最後,基於個人隱私數據,平臺也提供了對業務幾乎無影響的MySQL的透明加密方案,來減輕因為隱私數據加密帶來的研發和運維工作量。
vivo網際網路雲平臺架構師鄧松
步履不停,vivo持續探索消息平臺新可能
長期以來,vivo在超大規模消息中間件方面也是動作頻頻。線上業務側,vivo選擇RocketMQ構建消息平臺,意在依託其豐富的功能特性滿足業務間削峰、解耦、異步化的需求。大數據側,vivo選擇具備高併發、高可用、高吞吐的消息流組件Kafka構建超大規模數據處理能力的數據接入服務。在大數據業務全鏈路中,Kafka作為統一數據接入服務和實時數倉服務,是大數據生態體系建設中不可或缺的重要組件之一。
基於此,vivo網際網路中間件架構師羅明波從資源隔離、流量均衡、限流、集群治理四個維度分享了Kafka在vivo的最佳實踐。vivo kafka消息中間件團隊在三年時間內,根據實際的業務場景和生産數據規模沉澱了較多的實踐經驗。未來,也將以項目啟動、穩定性建設、能力進階、穩定運營四個階段為基準,展開對Pulsar組件的長續規劃和建設。
vivo網際網路中間件架構師羅明波
除此之外,vivo基於RocketMQ的消息中間件平臺建設也有著豐富的實踐經驗。在會上,vivo網際網路中間件架構師劉潤雲分享了保障消息平臺高可用落地的三個方面,包括集群部署架構和平臺系統架構、日常運維操作平臺化以及構建集群的監控大盤和完善平臺的的監控告警能力。以高可用建設落地為基礎,vivo通過建設AMQP消息網關的方式完成了線上業務超過1000個服務從RabbitMQ到RocketMQ的無縫遷移,實現了線上業務消息中間件組件的統一。
圍繞線上業務消息平臺的未來發展方向,vivo也有著十分明確的規劃。在新特性引入層面,vivo表示希望可以調研升級到RocketMQ5.0版本架構,力求借該版本的存算分離架構來更好的解決其當前遇到的存儲瓶頸問題;通過Pop消費實現更好的消費負載均衡;並基於gRPC協議建設統一的消息網關能力。此外,在平臺能力提升層面,vivo則希望可以探索消息中間件容器化部署,提供消息中間件的快速彈性擴縮容能力,更好的支援業務需求。
vivo網際網路中間件架構師劉潤雲
vivo將在消息中間件運維領域繼續深入研究,期望可以建設擁有更高性能、更豐富功能特性的消息平臺,為各位開發者與合作夥伴提供更優質的服務!
(正文結束)
關於vivo
vivo是一家以設計驅動創造偉大産品,打造以智慧終端和智慧服務為核心的科技公司,致力於成為聯接人與數字化世界的橋梁。vivo以獨特的創造力,為用戶提供更加便捷的個人移動數字化生活。秉承“本分、用戶導向、設計驅動、學習、團隊”等企業核心價值觀,vivo在整個價值鏈中遵循並貫徹可持續發展策略,致力於成為一家更健康、更長久的世界一流企業。
vivo總部位於中國東莞,充分吸納、發展本地的人才資源,佈局了廣泛的研發網路,覆蓋深圳、東莞、南京、北京、杭州、上海、西安等城市,範圍包括5G通信、人工智慧、工業設計、影像技術等眾多個人消費電子産品和服務的前沿領域。目前,vivo還佈局了智慧製造網路(含品牌授權),截至目前,vivo年生産能力近2億台,銷售網路覆蓋60+國家和地區,用戶超過4億。
關注vivo微信公眾號“vivo”獲取全面的企業、品牌及産品資訊。