最新原創 專題 新經濟 曝光臺 中國訪談 中國三分鐘 沖浪特殊資産 潮評社 溫州 紹興 衢州 淳安 岱山 桐廬 文娛 元宇宙
您的位置:首頁 > 本站專題 > 浙江有禮 > 浙風十禮 > 幫有禮 新聞詳情
突破幻象元宇宙!我觸故我在 西湖大學團隊開發虛擬現實觸感交互系統
發佈時間 | 2023-06-09 08:58:48    

   6月6日淩晨,蘋果公司全球開發者大會後,元宇宙再一次成為熱詞。蘋果公司推出了它第一款混合現實頭戴式顯示設備Apple Vision Pro,標誌著又一科技巨頭向虛擬現實産業進軍。

  時間倒回1992年,美國作家尼爾·斯蒂芬森在科幻小説《雪崩》中,第一次向世人展示了接入元宇宙的方式:戴上耳機和目鏡,找到連接終端,就能夠以虛擬分身的方式進入由電腦模擬、與真實世界平行的虛擬空間。

  從耳機、目鏡,到虛擬現實、增強現實,高科技設備為我們打開了元宇宙的入口。當頭顯裏的LED螢幕亮起,使用者便産生了置身於數字世界的實感——即便,眼前的事物都只是視聽效果製造的幻象。

  近日,西湖大學姜漢卿團隊發表在《自然》雜誌子刊《自然-機器智慧》上的一項研究成果卻告訴我們,元宇宙可以不只是幻象。他們在國際上首次提出並開發了“高保真主動機械觸感交互系統”,為元宇宙帶來了全新的觸覺感知維度。西湖大學工學院博士後張壯為本文第一作者,西湖大學工學院講席教授姜漢卿為該文通訊作者。

  而這項突破,竟然還與中國傳統手工藝“摺紙”有著奇妙的聯繫。

  捉摸不透的觸覺

  比起視覺與聽覺,人類的觸覺一直更加令人捉摸不透。

  在感官機制的研究上,科學家揭開觸覺奧秘的過程比聽覺與視覺要艱難得多。2021年,美國科學家大衛·朱利葉斯和阿登·帕塔普蒂安因發現溫度和觸覺受體獲得諾貝爾生理學或醫學獎。而早在上世紀60年代,科學家就分別因為“發現耳蝸內刺激的物理機理”和“發現眼內視覺的初級生理和化學過程” 獲得了兩屆諾貝爾獎。

  觸覺很神秘。在人類的五感中扮演著極為重要的角色——視、聽覺在資訊接收方面居於主導地位,味、嗅覺處於輔助地位,觸覺則居於根本地位。已有研究表明,人可以僅依靠“察知觸覺”來識別物體及其屬性特徵,伴隨著觸碰的過程,情緒、情感在一定程度上也會被喚醒。我們據此獲得對外部世界的體驗與認知。

  觸覺如此不可替代。研究者們也很快意識到,它是元宇宙世界缺失的一塊重要拼圖。

  媒介理論家麥克盧漢有一句著名的論斷:媒介是人體的延伸。問題在於,如何才能找到延伸觸感的媒介?

  震動是最初級的形式。早期出現的一些遊戲手柄,能夠根據遊戲內容配合不同的震動方式,讓使用者感受到引擎啟動、子彈發射的瞬間。

  2019年,柔性電子之父、美國西北大學約翰·羅傑斯院士聯合黃永剛院士開發了一種無線、無電池的觸覺制動器,它類似一種覆蓋在皮膚上的“貼片”,使用的原理仍然是機械震動。震動模式可以通過編程操控,從而模擬VR/AR情境下人的觸摸、物品的性狀、身體的碰撞等。

  2021年,科技巨頭Meta發佈觸覺感知手套,用壓力大小調控觸覺。從外觀上看,這款手套上佈滿了可伸縮、活動的黑色充氣塑膠墊。握住一個虛擬物品,手指上的氣閥會充氣壓迫來模擬阻力;塑膠墊輕輕拉動皮膚,還能模擬重力牽引的效果,讓人感受到物體的重量。

  然而,密切關注這些研究進展的姜漢卿告訴記者,如果把這些模擬觸覺的方法歸歸類,會發現,它們本質上都是在用設備將觸感“灌輸”給你:當你拿到一個虛擬的物品,你獲得的觸感來自於馬達的振動、氣囊的膨脹,就像坐在4D電影院裏突然感受到座椅的晃動,實際上,是機器在碰你,而不是你在碰機器。

  姜漢卿將此類觸覺稱為“被動觸覺”,在日常生活中,接收被動觸覺的部位大多是肩、胸、腰、背。而人的手和腳,應當是“主動觸覺”的主要器官。“簡單理解,主動觸覺來自我們主動發起的行為,需要我們有意識地控制肌肉發力,去觸碰眼前的物體。”姜漢卿解釋説。

  能否將“主動觸覺”也引入元宇宙中?姜漢卿團隊擺脫當前虛擬現實交互的思維定式,開始了新的探索。

  “折”出真實的體驗

  傳統摺紙藝術的魅力,在於以平面塑造空間,以簡單塑造繁複。

  運用最基本的幾何原理,薄薄的紙張能被折疊成多樣的立體造型。反過來,一塊極小的折疊起來的紙塊,展開後也能形成很大的面積。

  這和觸覺交互有什麼關係?

  讓我們從姜漢卿對摺紙力學特性的興趣説起。

  2020年,姜漢卿曾發表過一篇學術文章,通過“曲線摺紙”的折痕切換實現材料正剛度、零剛度,直到負剛度的原位調節。這是一次純粹的力學原理探索。對於姜漢卿來説,他非常享受用紙張這樣簡單的物品設計複雜解決方案的過程。

  科研上,姜漢卿是一位“跨界達人”。後來,他想到把這種摺紙與機器人研究結合起來。“摺紙材料可能很軟,但是依賴於不同的折疊方式,摺紙結構又會變得很硬,基於摺紙結構的機器人,就可以隨時調節軟硬程度。”

  再跳躍到虛擬現實的應用中,一款能夠任意調節軟硬度的設備,不恰好能夠模擬不同類型的物體特徵,供使用者去體驗嗎?

  姜漢卿團隊設計了兩款交互裝置:一種可引發局部觸感的手持式裝置, 用戶可通過主動抓握,體驗不同物品的軟硬程度;還有一種可以産生全身體感的腳踏式裝置,用戶可通過主動踩踏,以全身運動的形式體驗其所處的環境地面的特性。

  手持裝置的外觀是一個球體,上面的5個位點對應人的5根手指。仔細觀察裝置內部的結構,每一個位點下面是呈現“X”形狀交叉的兩片成組的曲線摺紙塑膠片。電機帶動10個塑膠片扭轉成各種不同角度,就形成了對應不同物體材質的不同“軟硬度”。

  與之配套的腳踏式裝置原理一樣,差別在於踏板下是鋼片而非塑膠片,而且數量更多、矩陣排布,通過拉繩的方式改變曲線摺紙的角度,從而改變剛度。

  當使用者按壓位點時,曲線摺紙會彎曲成不同的角度,産生不同大小的反力,給予用戶不同的“彈性”反饋。這種觸覺的變化傳遞給大腦,大腦就會根據“軟硬”做出判斷:抓到的是棉花,是木板,還是鋼球。如果把手換成腳,大腦同樣會根據腳所傳遞的剛度反饋,來判定人是走在馬路上、草地上,還是踩在冰上。

  最後,團隊還通過用戶調查、肌電圖、心率測量等手段檢驗了用戶使用設備的真實感受。

  體驗者站在虛擬的冰面上,隨著踩踏力度的加大,摺紙材料會在某個瞬間産生結構塌陷,突破負剛度,與之對應的是VR眼鏡中冰面突然出現破裂。踏空墜落的失重感使體驗者的心率曲線瞬間達到高峰。

  虛擬世界,就這樣擁有了真實世界的觸感。

  應用空間無限大

  姜漢卿給類似的摺紙裝置起了個名字,叫做“摺紙機械超材料”。

  “摺紙”折的不一定是紙,所謂“超材料”,也並非某種特定材質的物質——超材料的性能不依賴於材料本身的分子結構或者晶體結構,而是依賴於其精巧的構型。

  結構決定材料性能,這帶來了一大優勢。無論是“手球”裏的塑膠片,還是“踏板”中的鋼片,都是團隊網購取得的,可以被替換為任何有彈性、低成本的材料。姜漢卿説,實驗室裏最多的就是美工紙,探索結構的力學性能,簡簡單單的紙張就足夠了。

  當然,用於折疊的平面材料也可以變得很“豪華”。

  姜漢卿最早接觸摺紙時,研究的是“折疊電池”。他們將構造鋰電池需要的各種材料切割後堆疊在一起進行整體封裝,再通過“摺紙”製作成型。如此一來,便可以實現十幾倍的反覆拉伸、彎曲和扭轉,同時保持著電池容量和輸出功率不變。

  在本次研究裏,他們選擇從“機械觸感”,也就是材料的剛度、物品的軟硬度入手,模擬手和腳主動觸摸物體時的感覺。而除了剛度之外,對物體表面紋理、溫度、濕度等的感知也是觸覺的組成部分。借鑒“折疊電池”的原理,這些觸覺體驗同樣可以通過在摺紙材料中使用柔性電子工藝整合大量的感測器件來實現。

  此外,團隊還希望在未來用摺紙打造更大尺度的虛擬體驗,在更大的場景中實現交互。

  姜漢卿大膽展開設想:“想像一個房間的地面上佈滿了摺紙裝置,如果虛擬世界中的我想要坐下,地上就能‘生長’出一張椅子,想划船、想騎摩托車,裝置就能模擬出船和摩托車的形狀來……”

  除了更真實的娛樂體驗外,這項研究在虛擬現實技術支撐的其他人機交互領域,也有著非常廣闊的應用空間。

  論文中列舉了一些可能的應用場景:主動觸覺技術可以用於醫療診治和康復訓練,幫助肢體受傷或者中風患者重建觸覺感知力;VR場景配合能夠模擬跌倒感的腳踏裝置,可以用於恐高症患者的治療;在使用VR模擬深海、太空等極端環境,輔助特殊人員訓練時,引入主動觸覺能幫助他們更全面地認知環境,從而做出更加理性的選擇……

  從摺紙到元宇宙,姜漢卿對新事物的探索一直樂此不疲,但他同時相信,“科研需要創新,要有societal impact(社會影響力),要對這個社會真正有貢獻,所以我的實驗室叫做Beyond mechanics with societal impact(有社會影響力的跨力學實驗室)。”

  從這項研究中,我們正看見了想像力創造社會價值的力量。

  延伸閱讀

  虛擬現實技術賦能千行百業

  據新華社消息整理

  遊戲無疑是當下虛擬現實成熟、普及的應用場景。不過,令人關注的是,隨著大公司陸續進場、企業投入不斷加大,虛擬現實産業正逐漸褪去單一的遊戲娛樂色彩,向更多應用場景拓展,加速與千行百業的融合。

  工業生産

  當前,虛擬現實技術在工業設計、製造裝配、操作維護、産品展示等方面應用較多,對生産數據進行可視化改造,以實現智慧化生産、可視化管理、數字化決策。以工業網際網路為主業的寶通科技公司2022年7月發佈了數字孿生智慧礦山系統,基於AR和VR智慧設備、裸眼3D混合現實空間等數字化産品,構建了礦山應用場景的數字畫像,加速礦山各個生産環節的智慧協同。

  醫療診斷

  虛擬現實技術正在成為傳統醫學手段的有效補充,有效提升了病例討論、教學查房、遠端醫療、醫患溝通的效率。借助一種基於三維智慧影像技術的智慧醫療影像系統,醫生可以直觀、精準地定位病灶,還能實現遠端會診、雙向實時互動等。

  文化旅遊

  深圳市文化廣電旅遊體育研究中心研究顯示,文旅産業在虛實融合中走出了一條新路徑,虛擬現實設備成為文旅産業生態的新入口。在杭州西湖,遊客只需要一部手機,對著實景掃一掃,就可以開啟AR導航導覽模式,體驗沉浸式實景導航以及虛實融合導覽體驗。在重慶三峽文物科技保護基地,虛擬現實技術越來越多地被引入到文物科技保護領域,觀眾戴上特製的頭盔,就可以身臨其境體驗文物修復的過程。

  智慧生活

  以虛擬現實、數字人、數字孿生等元素為特點的虛實共生新型社會形態正在從科幻走向現實。南昌等城市推出了數字孿生城市平臺,助力城市智慧綜治、智慧平安社區、智慧政務等多重領域的數字化升級;OPPO公司最新發佈的單目智慧眼鏡,支援觸控、語音、手勢、頭動操控四種交互方式,可以實現導航、天氣預報、健康資訊推送等功能,未來有望在健身、辦公等場景中發揮作用。

  教育培訓

  在虛擬現實、5G、人工智慧等前沿技術的融合發展下,虛擬學習資源、全息互動教學、VR/AR教育科普應用等新型教育方式應運而生。在廣州,一些中小學在科學課堂上引入虛擬現實技術,以更直觀更生動的方式引導學生探索地球、生物、人體的奧秘;借助VR眼鏡的超高清視覺體驗,北京等地的駕校開始嘗試“VR+駕駛培訓”,坐進VR智慧駕駛培訓模擬器,學員眼前就會出現真實還原的道路,各種天氣、路況都可以進行模擬。

來源:潮新聞    | 撰稿:見習記者 涂佳煜 通訊員 徐珊    | 責編:韓辰霄    審核:張淵

新聞投稿:184042016@qq.com    新聞熱線:135 8189 2583