“青闕見微芒,玉瑕生萬象”。國産大模型助力晶片陶瓷封裝基板視覺檢測,微米之間顯真章。
近日,在國家科技傳播中心舉行的“新天工開物——科技成就發佈會”科學儀器專場上,東北大學于瑞雲教授團隊帶來的“晶片陶瓷封裝基板視覺檢測技術”,以“青闕”與“玉瑕”雙大模型架構,創新性地為工業質檢領域開啟了又一新範式。
中國工程院院士、機器人與智慧系統全國重點實驗室主任于海斌評價稱:“基於大模型技術的缺陷檢測方法,在多場景適應的泛化能力方面處於國際領先水準。該系列檢測裝備和智慧製造系統的成功研製和應用部署,顯著提高了晶片陶瓷封裝基板製造的良品率和智慧化水準,有效提高了我國積體電路先進封裝産業的高品質發展。”
晶片陶瓷封裝視覺檢測的困境
晶片作為現代電子設備的核心,驅動著從智慧手機到超級電腦的一切數字設備。然而,鮮為人知的是,任何晶片都需要封裝基板進行物理支撐和電氣連接。
“封裝基板不僅能夠承載、保護晶片,為晶片散熱、供能,還是與其他電子器件連接的通道。”于瑞雲教授形象地比喻,“如果説晶片是高樓大廈,那麼封裝基板就是大廈的供電、供水、供暖和地基。”
越精密的晶片,就越需要先進的封裝基板。在各類封裝基板中,陶瓷基板憑藉其卓越的性能優勢,成為大功率、高密度、高溫及高頻器件封裝的首選。然而,其製造過程涵蓋流延、衝孔、填孔、印刷等十余道複雜工藝,任何細微的偏差都可能導致嚴重缺陷。
隨著積體電路工藝不斷進步,缺陷檢測要求的精度不斷升級。如何在尺寸、外觀及形態變化多樣的陶瓷封裝基板上,快速、精準地檢測到微米級甚至百奈米級的缺陷,成為一道必須解答的工業難題。
長期以來,國內晶片陶瓷封裝基板産線檢測手段主要依賴人工。于瑞雲教授團隊在調研中發現,一家生産企業需要近百人三班倒進行檢測工作。這種傳統方式存在主觀依賴性強、檢測標準不統一、效率低下等突出問題。
“對於工藝相對簡單的産品,人工檢測效率低下,産品良率和産能難以保證,導致量産成本居高不下;而對於高多層、高精細、高密度互聯的複雜産品,檢測難度已經超過人工檢測的極限,限制了先進製程陶瓷封裝基板的研發和生産。”于瑞雲教授道出了行業的雙重困境。
高端檢測裝備技術被國外壟斷,國內産業鏈在這一關鍵環節受制於人,成為中國積體電路産業升級的“瓶頸”。
“青闕”“玉瑕”大模型雙劍合璧
2023年,于瑞雲教授率領團隊走進晶片陶瓷封裝基板頭部企業,開啟了産學研深度融合的攻堅之路。
20余名碩士、博士研究生深入産業一線,親身參與生産工藝的每一個環節,開展大規模數據採集工作。研究團隊採用高精度面陣相機與高倍率液態遠心鏡頭構建光學成像系統,並自主研發了超解析度和光照自適應等圖像品質優化技術。
經過近兩年的努力,團隊累積採集超14萬個數據樣本,成功構建CPS2D數據集。該數據集于2025年入選國家數據局首批高品質數據集典型案例,成為積體電路領域精度最高、數量最多的開源數據集,為後續AI演算法創新提供了堅實的數據基礎。
基於CPS2D數據集,團隊打造了兩個AI大模型,並賦予它們富有詩意的名字——“青闕”和“玉瑕”。
“青闕大模型”,是工業産品表面缺陷檢測的核心引擎。面對現有大模型難以快速部署、模態單一的問題,研究團隊通過思維鏈、LPA層、模型蒸餾等創新設計,大幅提升了模型識別精度和泛化性。在多個工業場景識別精度超過90%,相較于主流視覺分割大模型,模型推理速度提升15倍以上。
“玉瑕大模型”則別出心裁地解決了工業質檢領域的最大痛點——缺陷樣本稀缺問題。于瑞雲教授在採訪中解釋道:“在現有的工業領域裏面,很難去找到這麼多缺陷的數據。因此,我們設計了‘玉瑕’大模型,能夠基於一些正常的數據樣本,再輔以文本的引導性描述去做缺陷的生成。”團隊基於文本資訊驅動的跨模態融合機制和跨尺度視覺自回歸架構,構建了這一缺陷樣本生成大模型。
目前,“玉瑕”一次可生成幾百張甚至幾萬張圖像,能夠進一步激發“青闕”大模型的智慧躍遷能力。
“‘玉瑕’和‘青闕’是一個相輔相成的關係。”于瑞雲教授強調,“我們用生成圖像去擴增數據集,再用這些真實數據和生成數據混合的數據集對模型做訓練,促進‘青闕’大模型的2.0、3.0版本的推出。”這種雙模型協同的工作機制,形成了從數據生成到缺陷檢測的完整閉環,實現了AI大模型在工業質檢領域的創新應用。
自主鑄就視覺檢測的“火眼金睛”
理論創新的價值,最終需要通過實踐來檢驗。
基於“青闕”和“玉瑕”兩大模型,團隊自主研製了晶片陶瓷封裝基板全系列關鍵工藝自動光學檢測設備,包括流延、鐳射衝孔、填孔、印刷、成品等工藝的自動光學檢測設備。
系列設備全面適配國內外主流AI計算框架和GPU計算單元,在成像精度、檢測準確率、檢測效率等主要技術指標達到國際先進水準。其中,基於大模型技術的缺陷檢測方法在多場景適應的泛化能力方面處於國際領先水準。
在實際應用層面,晶片陶瓷封裝基板圖形化缺陷檢測設備已能夠識別漏磁、短路、異物等10余種陶瓷封裝基板常見缺陷。“該設備應用部署近兩年時間,累積檢測産品11萬件,檢測準確率超過95%,助力企業中高端産品良率提升20%以上,複雜産品驗證週期縮短35%以上。”于瑞雲教授分享道。
針對封裝基板成品形態和尺寸差異性大、腔體結構複雜等特點,團隊還研發了手眼一體化協同檢測模組,解決了同品類設備中存在的檢測精度低及泛化性差的問題。在相關企業試運作以來,已檢測産品類型500余種,設備檢測準確率超過90%,相較於人工檢測效率提升10倍以上。
這一技術成果實現了高端檢測裝備與系統的國産化替代,填補了國內晶片陶瓷封裝基板領域的行業空白,打通了“數據-演算法-軟體-設備-系統”一體化的研究體系,成功跨越了從AI演算法到産業應用的“最後一公里”,助力我國積體電路産業自主發展。
更為重要的是,該技術展現出向更廣闊領域拓展的巨大潛力。
于瑞雲教授稱,半導體領域對缺陷檢測要求高,團隊在先進封裝已達一微米甚至百奈米級解析度,而汽車、3C等領域檢測對解析度要求沒這麼高,“青闕”與“玉瑕”大模型能很好向下相容,在相關産業應用已有一些成功案例。他表示希望通過更多行業生産的應用,使其發展為工業製造領域的基礎大模型
在AI賦能工業製造的浪潮中,東北大學團隊通過國産工業大模型自主研發,不僅為晶片陶瓷封裝基板視覺檢測鑄就了“火眼金睛”,還打通了“數據-演算法-軟體-設備-系統”一體化的研究體系,成為新質生産力推動我國積體電路産業發展的生動案例,為未來中國智造自主儀器設備研發開拓了新的可行路徑。
(責任編輯:王晨曦)