大熊貓演算法模型亮相騰訊雲AI峰會,計劃接入大模型知識引擎打造“AI大模型奶爸”

5月17日,“全球首個大熊貓行為智慧識別模型”及智慧管理系統在騰訊雲生成式AI産業應用峰會上正式亮相,可智慧識別大熊貓進食、喝水和睡覺等行為並生成報告,被稱為“大熊貓AI奶爸”。

據介紹,這是廣東工業大學(以下簡稱“廣工”)資訊工程學院電子資訊工程班在中國大熊貓保護研究中心、騰訊雲的支援和指導下,開展的人工智慧+大熊貓保護探索項目。項目組的學生們在一階段打造了全球首個大熊貓行為智慧識別模型及智慧系統,識別圈養大熊貓進食、喝水和睡覺等日常行為,準確率超過了80%。

期間,騰訊雲基於公有雲、人工智慧開發服務平臺騰訊雲TI-ONE及一站式研發管理平臺CODING DevOps等産品和資源,為項目組提供從底層算力、訓練環境部署、數據標注到模型訓練的全鏈路技術與平臺支援,幫助學生們了克服大熊貓行為標注、演算法模型訓練、協同開發、代碼優化等難題,縮短演算法模型訓練時長,加速成果落地。

未來,廣工“AI+大熊貓保護”項目組的學生們還將借助騰訊雲大模型知識引擎,打造更智慧、更專業的大熊貓“AI大模型奶爸”,助力大熊貓保護工作。

全球首個大熊貓AI奶爸,助力大熊貓保護

廣工學生、“AI+大熊貓保護”項目組組長藍學深介紹,項目組開發了智慧管理系統,部署了大熊貓行為智慧識別模型,可識別大熊貓行為並生成日報、週報、月報、年報等,工作人員看一眼報告就能掌握大熊貓吃、喝、睡的基本情況。

以大熊貓彩雲為例。模型識別後生成的報告顯示,大熊貓彩雲一天中大概有4到5個小時都在進食,喝了2次水,睡覺時間超過了12個小時。其中,彩雲晚上8點左右開始睡覺,11點左右醒來進食,進食持續了1小時左右,12點左右繼續睡覺。

大熊貓吃、喝、睡行為的識別和報告,對大熊貓保護工作有什麼價值?

中國大熊貓保護研究中心專家介紹,大熊貓每日進食時間較長,擁有豐富的行為數據,且進食、喝水、睡覺等行為是判斷大熊貓健康狀況的重要依據,也是日常飼養過程中非常關注的。比如,長時間不進食或進食時間不足均可能會導致營養不良,有的行為和飲食異常也是生病的徵兆。

這些大熊貓行為過去主要依靠人工現場觀察和記錄,飼養員在日常管理中需要每隔5分鐘觀察一次大熊貓的行為狀態,估算進食量等等。因此,如果能用AI識別並記錄這些行為的發生時間、時長和頻率,將日常飼養數據記錄智慧化、數字化,幫助飼養員研究,對於大熊貓保護具有重大的意義。

全球首個大熊貓行為智慧識別模型的背後,是全球首個大熊貓行為數據集。廣工“AI+大熊貓保護”項目組學生們從5000小時的原始視頻數據中精選出120小時有效行為視頻,在騰訊雲TI-ONE平臺快速抽幀得到220萬張大熊貓圖片,構建起業內首個高品質的大熊貓行為數據集。借助騰訊雲TI-ONE平臺,學生們對數據集進行篩選、數據標注、清洗以及演算法訓練,最終訓練出首個大熊貓行為智慧識別模型。

“項目的順利推進,離不開同學們的努力,離不開中國大熊貓保護研究中心專家的專業知識指導,也離不開騰訊雲提供的技術指導和開發平臺支援。”項目指導老師、廣東工業大學教授、博士生導師蔡念表示,行業出題,院校答題,騰訊助力,共建共用,這是一次産教融合教學模式的成功案例。

基於大熊貓行為智慧識別模型的首創價值,在蔡念教授指導下,同學們為該演算法模型申請國家發明專利,並與提供專業指導的大熊貓保護單位共用專利所有權。

借助騰訊雲人工智慧平臺等,加速大熊貓模型訓練部署

“AI+大熊貓保護”項目源於2023年暑假。在一次廣東工業大學資訊工程學院電子資訊工程(騰創班)(簡稱“廣工騰創班”)人工智慧專業課結束後,幾名學生找到蔡念教授提出“為大熊貓開發一個智慧行為識別演算法模型”的想法,希望能夠識別大熊貓異常行為並及時預警。

廣工騰創班是騰訊雲和廣東工業大學聯合打造的本科創新班,打破學科專業壁壘,緊密貼合産業實際案例和技術前沿,設計課程體系和教學內容。在蔡念教授的鼓勵下,藍學深和另外10名同學一起組成項目組,並分成了前端組、後端組、演算法組、雲端組四個小組,展開了數據採集、演算法訓練、智慧系統開發等工作。

如何構建一個高品質的大熊貓行為數據集,是演算法訓練的第一步,也是讓演算法能夠準確“找到”熊貓、“認出”大熊貓行為的關鍵。

這是同學們遇到的真正意義上的第一道挑戰,其中最直接的難題是在當時看起來非常龐大的工作量——僅需要標注大熊貓行為的圖片就有7.2萬張,更別提還有數據清洗等任務。

一開始,項目組的同學們依靠手動操作,平均一小時才能完成1條視頻的行為標注,效率十分低下。藍學深記得,最忙的時候組織了8位組員協助演算法組進行標注,但每天都要熬到淩晨四點才完成了當天計劃的標注量。

事實上,完全通過人工手動標注來建立一個高品質、大規模的專業領域數據集,不僅成本高、效率低,更大的挑戰在於無法保證數據標注的準確度——如果標注人員對於數據的理解存在偏差,打標簽的範圍大一點或者小一點,都會對標注的準確性和精度産生影響。

騰訊雲教育行業高級架構師劉永傑介紹,騰訊雲TI平臺為數據標注的質效提升提供了關鍵的技術支撐。採用平臺半自動標注功能,學生們得以提前完成大熊貓行為標注,並快速清洗篩選出具有鮮明行為特徵的幀級圖像數據,不僅提高了效率,也比手工標注更加精準。

借助TI平臺半自動標注的能力,演算法組2位同學只用了1天的時間就完成了7.2萬張圖片的大熊貓行為標注,而如果按照原計劃手動標注,預估需要投入8人並且連續工作10天,效率提升了近40倍。

據了解,TI平臺是騰訊雲推出的一站式機器學習平臺,致力於打通AI落地全流程鏈路,助力快速創建和部署AI應用,為了加速大模型産業落地,近期騰訊雲TI平臺進行了全面的工具鏈升級,預置了140個不同類型大模型精調任務場景的數據集,覆蓋了數據清洗、優化、過濾和增強等環節,形成了完整的數據處理流程。

根據Forrester Wave《2023年第四季度中國人工智慧/機器學習平臺》報告,騰訊雲TI平臺在訓練工具、訓練評估、推理目標、應用工具、定價靈活性和透明度以及路線圖等六項標準中獲得了最高分,被評為“強勁表現者”。

“名師引領,真實場景,以賽促學,朋輩碰撞,這是一次産教融合教學模式的生動案例”,廣東工業大學資訊工程學院張俊副院長表示,一直以來,廣東工業大學秉承著培養有家國情懷、有國際視野、有堅實基礎、有創新能力的高素質創新性複合型人才培養的理念開展教育工作,項目制是廣工騰創班拔尖人才培養的模式,在實踐情境下鍛鍊學生的思維方式,激發內生動力,培養解決複雜工程問題的能力。

未來接入大模型知識引擎,讓“AI奶爸”更智慧

“AI不是虛無縹緲的,必須與社會需求緊密結合併落地,才能不斷推動AI技術發展。”蔡念教授表示,專利申請能為學生將帶來更多的認可和價值感,但我們希望未來能夠將研究成果真正應用到大熊貓保護管理工作當中。

騰訊雲副總裁、騰訊雲智慧負責人吳運聲表示,當前大模型嘗鮮期已過,大模型技術如何落地更受行業關注。過去,通用大語言模型無法理解垂直領域或企業內部的專業知識,而訓練一個企業專屬的大模型則受到算力、成本、專業人才等多方面的制約。因此,騰訊雲把AI大模型的能力封裝成PaaS、API、智慧應用等,推動生成式AI普惠落地,助力各行各業數字化、智慧化、高品質發展。

目前,廣工“AI+大熊貓保護”項目組的學生們在騰訊工程師的指導下,正探索基於騰訊雲大模型知識引擎,對大熊貓的養殖數據圖表、飼養經驗、健康知識等進行解析和重組,探索打造一個資訊全面、知識專業的“AI大模型奶爸”——既懂每一個大熊貓個體的特性,也掌握專業的飼養知識,能為飼養員們生成大熊貓“個性化餐單”等養殖建議。

據介紹,騰訊雲大模型知識引擎是基於大語言模型的應用構建平臺,通過開箱可用的應用模板、和可被整合的原子能力API兩種便捷使用方式,幫助不同開發能力的夥伴、客戶,快速定制符合業務訴求的大模型知識問答、知識總結、知識創作應用。