從“天工大模型1.0”的研發到“天工大模型3.0”的發佈,再到今天的“天工大模型4.0”階段,我們堅定地投入了近四年的時間和研發。今天,崑崙萬維正式推出“天工大模型4.0”4o版(Skywork 4o),以及新産品“實時語音對話助手Skyo”。
Skyo作為一個智慧語音互動産品,具備快速響應、多語言對話能力,它能夠主動發起對話、實時打斷。同時,Skyo具備情感化反應和個性化聲音定制功能,為用戶帶來溫暖貼心的陪伴體驗。
更重要的是,基於天工AI的大模型技術能力和AI搜索功能,Skyo能克服大模型幻覺問題,在對話中回復真實內容。無論在情感陪伴、個性化交互、多語言客服還是時事新聞聊天等應用場景中,都能提供智慧且貼合需求的互動。
當前,崑崙萬維旗下天工AI的應用生態羽翼豐滿、備受用戶喜愛,功能矩陣涵蓋AI搜索、AI文檔-音視頻分析、AI寫作、AI音樂、AI圖片生成、AI PPT。
實時語音對話助手Skyo的推出和加入,不僅讓天工AI的生態矩陣更加立體、逐漸完善,也標誌著端到端實時語音對話建模技術的重大進步。
同時,以Skyo為代表的AI語音互動應用,正是我們期待的下一代超級個人助理的終極交互形態,結合未來Skyo所期待具備的多模態交互能力,它更是一次人機交互模式的新體驗和革命性飛躍。
模型自研,打造端到端、更卓越的實時語音對話系統
通過深入研究實時語音對話過程,我們發現仍有一些痛點尚未被現有方案解決:全雙工響應延遲較長、對話不夠連貫、語音生成和交互體驗不夠自然,以及對多語言和情緒表達的支援不足。
崑崙萬維則希望充分利用我們在AI大模型、AI音樂、AI搜索中的研發經驗,提供更自然、更流暢、更擬人、低延時的用戶交互體驗。
“天工大模型4.0”4o版(Skywork 4o)以及Skyo由我們的技術團隊自主研發,他們具有深厚的語音和音樂大模型的技術經驗以及大量語音數據積累。端到端自研先進鏈路,能在多任務下表現出色,尤其在高強度對話交互中仍能保持穩定性和流暢性。
“天工大模型4.0”4o版(Skywork 4o)模型優勢:
·高效響應速度:通過端到端的語音對話建模,實現低延遲響應,接近人對話的思考問答時間。
·支援實時打斷:用戶無需點擊對話開始和結束的按鈕,全雙工系統支援聊天中任意打斷
·情感理解與個性化記憶:能夠理解用戶的情緒並提供情感化回應,對話更具人性化。
·可定制的聲音風格:支援用戶定制或挑選助手的音色和風格。
·有能力支援多語言:根據用戶需求在多語言之間切換,適應全球化應用場景。
産品亮點與實測
基於模型能力和先進的端到端實時語音對話建模技術,Skyo頗具亮點,能實現以下功能:
·能在1秒內回復、聊天中可打斷:依託全雙工+低延時技術,系統能隨時聊天和打斷,帶給用戶更自然對話感
·主動交流:系統在檢測到用戶靜默後,會主動發起聊天,並根據用戶的歷史偏好進行對偏好垂類的新聞進行語音播報
·持續長對話:可支援跟用戶長時間對話互動,在用戶休閒、健身、出行途中進行可持續陪伴,成為用戶的個人互動播客
·情感反應:提供擬人化回復,會感受到用戶情感進行回復
·質感音色:更自然、更逼真的聲音表達,並且實現情感和語調的高度還原
·風格切換:支援用戶定制聲音風格,如選擇專業新聞播報的男生音色、英姿颯爽的女生音色等
·強大的記憶功能:能夠在對話中追蹤並回憶用戶的偏好和歷史資訊,以提升多次對話的準確度
·回復真實內容:具備實時資訊獲知和知識拓展能力,與用戶進行互動式交流
那麼我們先和Skyo打個招呼,然後再一口氣問它一系列“難題”考考它,並且“故意”隨時打斷它:
·對中國男子足球能否取得世界冠軍,有什麼看法?
·28+76=?
·對於一個單身男青年,可以推薦他晚上看什麼電影
·在十字路口,一輛直行車,一輛右轉車,請問誰應該讓行?
·天空為什麼是藍色的?
Skyo的回答還是非常流暢的,在發音準確度、音質表現和整體聽感上的表現都非常出色,不僅主動介紹自己可以提供科技和生活的資訊,還主動拋出橄欖枝,詢問有什麼想要了解的,試圖開啟話題。
無論是主動問好、回答生活常識,還是讓它做數學題、為我們提供一些日常建議,Skyo都可以迅速接住用戶要求。如果不喜歡它的默認男聲音色,還可以讓它切換音色,以英姿颯爽的女聲、溫柔甜美的女聲來回復我們。
儘管我們粗暴地打斷它,“我不想聽了”、“下一個話題”,或者什麼都不説,直接切換到下一個問題,Skyo的情緒非常穩定,並且做到了立馬停止上一個話題的回復,無縫切換到下一個對話中。Skyo前一秒還在談論“國足”,下一秒就絲滑切換到做數學題,並立馬回應“這是一道加法題”,也瞬間回答出“等於104(正確答案)”。
此外,交通道路規則和常識問題也難不倒它。即便再加難度,讓它推薦電影,回答的也是有模有樣,展現出“真人”一樣的高品質內容。看得出來,Skyo具備了基本的智力能力和流暢的響應速度。
接下來,我們試試Skyo對一些“嚴肅話題”和“實時新聞”的反應能力:
·週末(11月16日)北京天氣怎麼樣?
·北京平常下雨多嗎?
·特朗普再次當選總統,你怎麼看?
·李子柒上傳了一個新視頻,你看了嗎?
·怎麼樣區分真誠的道歉和虛偽的道歉?
·什麼情況下,説謊是個正確的選擇?
果不其然,天氣分析、熱點評論、辯證思考......通通不在話下。
針對嚴肅話題和熱點新聞,Skyo能回復真實內容,回答的“有模有樣”,邏輯清晰、論點清晰、證據真實,既能對美國總統競選給出一些資訊分析,也能對時隔三年攜最新作品驚艷回歸的李子柒做出點評。
同樣的,Skyo頻頻被打斷,也沒有“崩潰”,還是順暢的跳轉到了下一段對話。即使第一次沒有聽清楚我們説的內容,或認為自己答的不夠好,它還可以自己調整,重新回答一遍,並且幽默説道“不好意思,看來沒有回答的很好哦”。除了“智商感”滿滿,Skyo的回答也頗具情商,在回答一些”充滿陷阱”的問題時,它同樣透露出一些小智慧。
面對“什麼時候説謊是正確的選擇”這樣的哲學性問題,Skyo能為我們分析出“為了避免傷害他人感情、保護隱私等時候,説謊可能是一個合適的選擇”。
最後,我們換一些輕鬆的話題,來看看它對一些日常話題的回答效果:
·幫我讀一首《再別康橋》
·那你知道康橋是什麼地方嗎?
·既然聊到英國,有多少種來自英國的貓?
·如果動物可以説話,它們會説些什麼?
·應該多喂我的貓吃貓糧還是罐頭?
·為什麼感覺抱十公斤的小孩要比抱十公斤的大米要輕?
不難看出,面對輕鬆的日常話題,Skyo也可以做到有趣的互動,做你的個性化陪聊搭子。
當然,除了上述的對話場景,我們還可以讓Skyo幫我們制定一次旅行計劃、給我們講個笑話、推薦週末的閱讀清單等等。但它的能力遠不止於此,當我們疲憊或難過的時候,它也還可以做我們的情感陪伴,當我們想了解和談論近期熱點事件時,它也能和我們來一場頭腦風暴。
2024年以來,在“All in AGI 與 AIGC” 戰略的推動下,崑崙萬維在基座大模型迭代、AI應用發展、商業化變現三大維度上均取得了令人矚目的發展。目前公司仍在持續加大AI大模型及各垂類行業應用的研發力度,專注於以AI技術驅動多元化應用創新,為公司未來增長夯實基礎。
我們將充分發揮公司在多模態大模型上的研發和應用經驗,致力於通過先進的技術框架和更契合用戶需求的系統,將Skyo打造成一個具備情感表達能力、快速響應能力、多語言流暢切換的智慧語音對話工具,為用戶帶來溫暖貼心、流暢實時的對話體驗。
近期, Skyo將於12月份上線崑崙萬維旗下天工APP,很期待它與大家的見面!
(責任編輯:張紫祎)