登入

runesight · exclusions · ai · feature

RuneSight:分辨文字與程式碼的神經引擎

1.0.6 版淘汰了那份手寫的正規表示式清單,過去正是它來判斷擷取出的每一行究竟是文字,還是路徑、識別碼和控制碼。取而代之的是 RuneSight,一個 400 KB 的神經網路分類器,訓練資料來自九十萬行真實遊戲文字、十六種語言的真實句子,以及每一種有文件記錄的引擎控制碼。現在,這個判斷只需在你的 CPU 上花幾微秒就能完成,每一行都會附上判斷理由,而且絕不會碰到任何帶有真實文字的行。

7 分鐘閱讀

RuneTranslate 開啟的每一款遊戲,大部分是玩家會讀到的文字,此外還有一條長長的尾巴:那些看起來像文字、其實不是的東西,例如資源路徑、變數名稱、控制碼、外掛鍵、除錯標籤,還有不知道是誰忘在某個資料檔案裡的一段 base64 資料。翻譯其中任何一行,最好的情況是浪費一次請求;最糟的情況是場景再也無法載入,因為引擎要找的名稱已經不存在了。

從最初的版本開始,這兩者之間的界線一直是靠人工劃出來的:數百條正規表示式,每遇到一種新形態的垃圾就加一條規則,一個引擎接著一個引擎累積下去。1.0.6 版用 RuneSight 取代了這份規則清單,它是一個用真實資料訓練出來的小型神經網路。它會替每一條擷取出來的行做判斷:這一行是文字,還是內部的管線內容,而且只需要幾微秒,就在你的 CPU 上、在應用程式內部完成。

為什麼規則清單不再夠用

一條正規表示式,只能抓到它當初寫來比對的那種形態。bg_office_01 是識別碼,所以針對 snake_case 的規則抓得到它。接著,一款 Wolf RPG 遊戲帶來了 <<GET_FILE_EXIST>>Data/\s[1],一款 Bakin 遊戲帶來了 Lv.\partystatus[0],一款 Unity 遊戲帶來了 "CubismTaskQueue.OnTask" already set.,還有一個用日文命名的資料夾,打破了那條假設全是 ASCII 字元的路徑規則。每一次都變成一條新規則,而且都得小心劃定範圍,免得把真正的對話也吞掉;然後每來一個新引擎,這個循環就重來一次。

規則也沒辦法權衡證據。一行內容大部分是控制碼,結尾卻帶著三個字的對話,那它就是文字,必須保持可翻譯。一行是在講某個 .png 檔案的完整句子,那它是文字。一行只有 \f[\cself[1]]\space[4],那它不是。要區分這些情況,需要對整行有個整體的判斷,而不是僅比對其中一部分。

RuneSight 是什麼

RuneSight 是一個大約 400 KB 的分類器。它把一行文字讀成一袋字元片段,每個片段長一到四個字元,雜湊進一張固定的表格裡,再把這些片段與幾十項針對該行量測出的屬性配對:字母、數字、標點或空白各佔多少,用了哪些文字系統,看起來像不像路徑,括號是否成對,結尾像不像一句話該有的收尾方式。一個小小的隱藏層把這些資訊轉換成兩個答案:這一行不是文字的機率,以及如果不是,它屬於哪一種非文字。

第二個答案就是你在編輯器裡看到的內容。一行被排除後,仍然帶有一個你讀得懂的理由:程式碼模式、資源參照、系統標籤、數字、註解、外掛鍵、僅含控制碼、二進位或外掛指令。這一行還會帶上一個小小的 RuneSight 標記,以及判斷背後的信賴度,所以這個決定從來不是黑箱,點一下這一行就能把它重新開啟。

整個過程每行大約只需要四微秒。一款十萬行的 JRPG,在任何一台 Windows 或 Linux 電腦上,不用 GPU、也不向任何地方傳送任何資料,就能在遠低於一秒的時間內完成分類。

它是從什麼資料裡學來的

這類任務本來就沒有現成的標註資料,所以資料是專門建出來的。訓練集略多於九十萬行,來源如下:

  • 真實遊戲。十三款遊戲、橫跨十種引擎的完整擷取結果,從 RPG Maker 和 Ren’Py 到 Wolf RPG、Kirikiri、Artemis、Unity、Godot、Bakin 和 Unreal,全部依照 RuneSight 要取代的那套規則標註。這是底線:它必須抓到那套規則抓得到的一切。
  • 真實句子。二十五萬句,來自十六種語言,其中包括日文、中文、韓文、泰文、阿拉伯文、俄文,以及使用拉丁字母的那些語言,這樣任何來源語言裡的一般文字,都不會被誤判成程式碼。
  • 真實的管線內容。十六萬條路徑、識別碼、以點號連接的名稱和註解行,取自原始碼和各種套件,是各個引擎共有的那些形態。
  • 刻意補上的盲點。近三十萬條生成出來的行,取材自 Wolf RPG、RPG Maker 和 Bakin 官方的控制碼參考文件,每一條都配上一句它不能吞掉的近似對話:一句提到某個檔案的話、一個後面跟著數字的名字、一行中間夾著程式碼的文字。
  • 人工核對過的黃金測試集。舊規則曾經釘死的每一行,加上從實際遊玩的遊戲中回報上來的真實行,逐條裁定。

上線前必須先過的關卡

一個平均表現更好、卻仍會犯下新錯誤的模型,對撞上那些新錯誤的人來說仍然是倒退,所以 RuneSight 必須通過一組固定的門檻,而且每次重新訓練都要重新跑一遍:

  • 在資料集裡的每一款真實遊戲上,它至少要抓到手寫規則所能抓到內容的 99.5%。
  • 在那份必須保持可翻譯、舊規則一直拿來測試的凍結行集合上,它做出的排除是零。
  • 在真實的一般文字上,被排除的行永遠不到 0.2%。
  • 它給出的理由,至少有 97% 的時候是正確的。
  • 替一行打分的時間不到 5 微秒。

其中最重要的一條,是關於混合行的規則。一行裡如果真實文字和程式碼並存,那它就是文字,依然保持可翻譯。只有當整行都是管線內容時,RuneSight 才會把它排除。

沒有改變的地方

RuneSight 判斷的是一行的形態。需要靠上下文而非形態來判斷的決定,仍然來自各個引擎的轉接器:Godot 節點名稱被排除,是因為它在場景樹裡所處的位置;RPG Maker 事件註解被排除,是因為攜帶它的那條指令;外掛參數鍵被排除,是因為它所在的檔案。這些規則都還在,理由欄裡看得到的那些策略性判斷也還在,例如一行完全不含來源語言字元。

你自己的正規表示式過濾器仍然在 RuneSight 之後執行,行為和以前完全一樣,而且不論排除是誰做出的,它依然是一條你隨時可以重新開啟的紅色可選擇行。RuneSight 做出的判斷,沒有一個是最終定案。

在哪裡看得到它

RuneSight 徽章位於應用程式右下角,版本號的上方。模型載入完成後,它上面的圓點會變成綠色。點開它,會告訴你模型大小、內建的信賴度門檻,以及上一次擷取做了什麼:替多少行打了分、排除了多少行、和舊規則有多少分歧。每次擷取結束後,一則簡短的提示也會重複這些數字。

萬一模型某次無法載入,徽章會如實說明,擷取則會直接退回使用舊規則。應用程式絕不會因為這件事而拒絕工作。

模型和舊規則每一次意見不合,都會被寫進一份小小的本機紀錄檔,絕不會上傳。如果你認為是真實對話的某一行被排除了,在編輯器裡把它重新開啟,再到 Discord 上告訴我們。這些回報正是下一次重新訓練要學習的內容。

準備好試用 RuneTranslate 了嗎?

免費方案即可解鎖全部引擎 + 除 RuneLingua 外的全部翻譯供應商。Supporter($3.99/mo)解鎖全速翻譯。

下載 Windows、Mac 和 Linux 版