當古籍修復遇上人工智慧

北京大學數字人文研究中心、北京大學-字節跳動數字人文開放實驗室、北京大學人工智慧研究院聯合主辦的“古籍智慧資訊處理”系列研討會日前線上上舉辦。

在研討會上，北京大學數字人文研究中心主任王軍算了一筆賬：我國現存古籍約有20萬種，從1949年到2019年，共修復整理出版了近38000種，照此速度，要將現存古籍全部修復整理出來,可能需要三百年的時間。不過，若利用人工智慧技術輔助修復整理，大概二三十年就能完成。

王軍所説的“利用人工智慧技術修復古籍”，並非遙遠的科學設想，它正在成為現實中的生動實踐。“古籍智慧資訊處理”系列研討會第一講開講後不久，字節跳動宣佈向北大教育基金會提供捐贈，支援北京大學—字節跳動數字人文開放實驗室研發“古籍數字化平臺”，利用智慧技術加速中華古籍資源的數字化建設，預計三年內完成10000種精選古籍的智慧化修復整理。

古籍文本轉化正在智慧化

很長一段時間裏，古籍保護主要採用原生性保護方式，即把古籍當作“文物”保護起來。後來出現再生性保護方式，對古籍進行影印再造和影像保存，讓古籍得以以紙本或縮微膠片的形式存在。現有的數字化古籍很多是由縮微膠片轉換而成，解析度較低且影像多為黑白色。

即便將所有古籍用數字化手段影印出版，古籍也是“死”的，人們無法方便地使用。北京大學中文系教授楊海崢舉了個簡單的例子——影印的古籍沒有標點符號，非常不便於閱讀。另外，這也不利於對古籍內容進行檢索，想查閱某個內容，得逐篇逐頁閱讀原文，很難快速找到想要的知識。因此，要提升傳統古籍的利用率，必須將古籍內容轉化為數字文本。過去，這種轉化主要依靠專家人工錄入，時間成本極高。

“資訊技術的發展，尤其是人工智慧和大數據技術的出現，為古籍的修復整理帶來了革命性變化。”王軍説，近年來，包括北京大學在內的不少高校、科研機構在古籍數字化上開展了不少開拓性的工作，在OCR（光學字符識別）、AI句讀、實體識別等方面積累了比較成熟的技術和經驗。以OCR應用為例，用電子設備對紙本古籍一掃，古籍上的內容就會轉錄到電腦中，並生成相應的數字文檔，效率比人工錄入提升了不止千萬倍。

據了解，利用人工智慧和大數據技術，北京大學數字人文中心在從先秦到明清跨時代的大規模古籍文本語料整理上，已實現對古文本的自動句讀，平均準確率達到94%，同時還實現了對人名、地名、時代名、職官名、書名的自動識別，在中古史料上的準確率接近98%。

在這些方面，字節跳動等網際網路公司也有很多經驗和技術積累。例如，OCR技術在今日頭條、抖音等平臺的圖片文字識別、字幕翻譯，以及商業化業務中的各類卡證票據及行業文檔識別等領域均有廣泛應用。“這些技術可以逐漸向古籍智慧數字化的方向上遷移。我們在古籍數字化平臺開發中，與北大在技術上能優勢互補，進行有效的打通與融合。”字節跳動人工智慧實驗室總監李航表示。

王軍介紹，“古籍數字化平臺”將會進一步提升古籍整理的準確率、智慧化水準和開放度。一方面，可以對重點文本進行精校，滿足專家學者對資料準確度的要求；另一方面，利用智慧平臺上的文字識別、校對工具，學者和古籍愛好者可以線上上一站式完成古籍整理工作，而不用像以前那樣先在word文檔中進行整理編輯，再傳遞相關的文檔，在提高效率的同時，也方便公眾參與。

古籍利用有望智慧化

四川大學中國文化全球傳播大數據中心教授王兆鵬認為，技術的進步為古籍修復整理智慧化帶來兩個面向：一是古籍文本轉化智慧化，二是古籍利用智慧化。

把紙質古籍上的內容轉化成數字文本，只是古籍修復整理的第一步。在此基礎上，要解決的另一個問題是，如何將海量晦澀難懂的古籍內容進行整理歸類，形成可交互、可觸摸、可視化的數字人文作品，以方便人們查閱使用。否則，錄入電腦的古籍依然會繼續“沉睡”。

基於人工智慧技術，目前我國已建立多個古籍整理自動化和可視化平臺。比如，王軍主持設計和研發的“《宋元學案》知識圖譜可視化系統”，對240萬字的《宋元學案》進行了文本處理和分析，將2000多位宋元理學學者、近100個學術流派所涉及的人物、時間、地點、著作等提取出來構造成知識圖譜。然而，不少平臺的智慧化水準仍然較低，比如輸入關鍵詞，搜索出的內容各自孤立、淩亂無序。王兆鵬認為，更智慧的古籍整理利用平臺，應該從1.0版向2.0版演進，比如內容檢索應“以類相從”，檢索出的內容應彼此關聯，且由人工智慧進行有機分類。

北京大學與字節跳動合作研發“古籍數字化平臺”是提升古籍整理和利用智慧化水準的一次嘗試。“我們合作的技術核心是將人工智慧和大數據應用在海量的古籍文獻上，實現古文本知識圖譜的自動生成和對古籍內容的智慧化整理，讓古籍能夠以文本的形態加以檢索、關聯閱讀和深度挖掘利用。”李航説，未來，“古籍數字化平臺”不僅是一個古籍智慧整理平臺，還將是一個面向讀者的數字化閱讀工具，將提供免費開放的訪問服務。

王軍預計，隨著人工智慧技術的運用，古籍文獻中所蘊藏的古代歷史文化知識將不斷被抽取出來，構造成各種各樣的知識庫，並將會以知識圖譜的形式支援網際網路前端應用。

由於在網際網路産品研發、設計方面存在優勢，網際網路公司等社會力量的加入會進一步保障古籍數字化平臺的服務品質。“我們有優秀的産品經理、設計師、軟體工程師，能夠不斷優化、創新古籍數字化平臺的産品功能，提供更好的用戶體驗。”北京字節跳動企業社會責任部産品總經理唐塏鑫表示，目前今日頭條的設計團隊和抖音的開發、測試團隊已經加入“古籍數字化平臺”的開發工作。

需要跨學科通力合作

隨著人工智慧技術在古籍修復整理領域的廣泛應用，作為古典文獻專業的老師，楊海崢經常被學生們問到一個問題：“學古典文獻的同時，還要學人工智慧嗎？”雖然楊海崢不能確定，但一個事實是，人工智慧技術與古籍修復整理的結合，將開闢出全新的交叉學科領域，利用人工智慧技術修復整理古籍肯定需要更多複合型人才。

王軍認為，在這種情況下，高校古典文獻學等相關專業如何培養兼具技術與學術能力的古典文獻學人才，如何形成多學科交叉的課程體系等，都是亟待解決的問題。

此外，人工智慧並非“絕頂聰明”。在華南理工大學電子與資訊學院教授金連文看來，古籍圖像增強、修復，複雜版式古籍文檔圖像版面分析等問題都有待解決。而在對古籍內容的分析整理中，目前最大的技術難點是人工智慧對古籍中人名、地名等專有名詞識別後，如何進一步實現關係提取，從而為古代歷史文化知識圖譜的自動生成準備技術條件。

因此，楊海崢認為，在古籍整理中，人文社科學者還是要積極介入，並加強與技術人員的合作，那樣才能更好地利用機器而不是被機器牽著鼻子走，從而保證結果的準確性。

人工智慧技術的發展帶來了古籍整理研究方法、思路的根本改變。業內的一個共識是，利用人工智慧推進古籍修復整理需要進行跨學科、跨環境、跨文化、跨地區合作。正如王軍所言，“古籍保護需要社會各界的共同努力，應歡迎更多古籍收藏機構、研究機構和熱心古籍事業的個人加入，這樣才能打造出一個開放的‘古籍數字化平臺’”。