RuneSight: metni koddan ayıran nöral motor

RuneTranslate'in açtığı her oyun, büyük ölçüde bir oyuncunun okuyacağı metin ile yalnızca metne benziyormuş gibi görünen uzun bir kuyruktan oluşur: varlık yolları, değişken adları, kontrol kodları, eklenti anahtarları, hata ayıklama etiketleri, birinin bir veri dosyasında bıraktığı bir base64 blobu. Bunlardan birini çevirirseniz en iyi ihtimalle boşa harcanmış bir istek olur. En kötü ihtimalle ise motorun artık var olmayan bir adı aradığı için hiç yüklenmeyen bir sahne olur.

İlk sürümden bu yana ikisi arasındaki çizgi elle çizildi: motor motor karşılaştığımız her çöp biçimi için bir tane olmak üzere yüzlerce düzenli ifade. 1.0.6 sürümü bu listenin yerine, gerçek veriyle eğitilmiş küçük bir yapay sinir ağı olan RuneSight'ı koyuyor. Çıkarılan her satır için o satırın metin mi yoksa mekanizma mı olduğuna karar veriyor, bunu da uygulamanın içinde, CPU'nuzda, birkaç mikrosaniyede yapıyor.

Bir kural listesi neden artık yetmiyordu

Bir düzenli ifade tam olarak yazıldığı biçimi yakalar. bg_office_01 bir tanımlayıcıdır, dolayısıyla snake_case için bir kural onu yakalar. Ardından bir Wolf RPG oyunu <<GET_FILE_EXIST>>Data/\s[1] ile, bir Bakin oyunu Lv.\partystatus[0] ile, bir Unity oyunu "CubismTaskQueue.OnTask" already set. ile gelir ve Japonca yazılmış bir klasör adı, ASCII varsaydığı yol kuralını bozar. Her biri, gerçek diyaloğu yutmayacak şekilde dikkatle sınırlandırılmış yeni bir kural haline geldi ve her yeni motor döngüyü yeniden başlattı.

Kurallar ayrıca kanıtları tartamaz. Sonunda üç sözcüklük diyalog bulunan, büyük ölçüde bir kontrol kodundan oluşan bir satır metindir ve çevrilebilir kalmalıdır. Bir .png dosyasıyla ilgili tam bir cümle olan satır metindir. Yalnızca \f[\cself[1]]\space[4]'ten ibaret olan bir satır değildir. Bunları birbirinden ayırmak, satırın bir kısmıyla eşleşmeyi değil, satırın bütününe dair bir kavrayış gerektirir.

RuneSight nedir

RuneSight, yaklaşık 400 kilobaytlık bir sınıflandırıcıdır. Bir satırı, bir ila dört karakter uzunluğunda karakter parçacıklarından oluşan bir yığın olarak okur ve bunları sabit boyutlu bir karma tablosuna eşler; bunu satırın ölçülen birkaç düzine özelliğiyle birleştirir: ne kadarının harf, rakam, noktalama işareti ya da boşluk olduğu, hangi yazı sistemlerini kullandığı, bir yola benzeyip benzemediği, parantezlerinin dengeli olup olmadığı, bir cümlenin bittiği gibi bitip bitmediği. Küçük, tek bir gizli katman bunu iki yanıta dönüştürür: satırın metin olmama olasılığı ve metin değilse, ne tür bir metin-dışı olduğu.

Bu ikinci yanıt, düzenleyicide gördüğünüz şeydir. Hariç tutulan bir satır yine de okuyabileceğiniz bir gerekçe taşır: kod deseni, varlık referansı, sistem etiketi, sayısal, yorum, eklenti anahtarı, yalnızca kontrol kodu, ikili ya da eklenti komutu. Satır küçük bir RuneSight işareti ve kararın arkasındaki güven değerini alır, böylece bir karar hiçbir zaman bir kara kutu olmaz ve satıra tek bir tıklama onu yeniden açar.

Bunların tamamı, satır başına yaklaşık dört mikrosaniyede çalışır. Yüz bin satırlık bir JRPG, herhangi bir Windows 10 veya 11 makinesinde, GPU olmadan ve hiçbir şey hiçbir yere gönderilmeden, bir saniyenin çok altında sınıflandırılır.

Nelerden öğrendi

Bunun için etiketlenmiş bir veri yoktu, bu yüzden inşa edildi. Eğitim kümesi dokuz yüz binin biraz üzerinde satırdan oluşuyor:

• Gerçek oyunlar. RPG Maker ve Ren'Py'den Wolf RPG, Kirikiri, Artemis, Unity, Godot, Bakin ve Unreal'a kadar on motordaki on üç oyunun tam çıkarımları, RuneSight'ın yerini aldığı kurallarla etiketlendi. Bu taban çizgisiydi: kuralların yakaladığı her şeyi yakalamak zorundaydı.
• Gerçek cümleler. On altı dilde çeyrek milyon cümle — aralarında Japonca, Çince, Korece, Tayca, Arapça, Rusça ve Latin alfabesiyle yazılan diller de var — böylece herhangi bir kaynak dildeki sıradan metin asla kodla karıştırılmaz.
• Gerçek mekanizma. Kaynak koddan ve paketlerden derlenen yüz altmış bin yol, tanımlayıcı, noktalı ad ve yorum satırı — motorların ortak paylaştığı biçimler.
• Kör noktalar, bilerek. Wolf RPG, RPG Maker ve Bakin'in resmî kontrol kodu referanslarından üretilmiş, neredeyse üç yüz bin satır; her biri yutmaması gereken ramak kala diyaloglarla eşleştirildi: bir dosyadan söz eden bir cümle, ardından bir sayı gelen bir ad, ortasında kod bulunan bir metin satırı.
• Elle kontrol edilmiş bir altın küme. Eski kuralların sabitlendiği her satır, artı oynanan oyunlardan bildirilen gerçek satırlar — tek tek karara bağlandı.

Yayınlanmadan önce kanıtlaması gerekenler

Ortalamada sadece daha iyi olan bir model, yeni hatalarına denk gelen herkes için yine de bir gerileme olur; bu yüzden RuneSight, her yeniden eğitimde tekrar çalıştırılan sabit eşiklere tabi tutulur:

• Kümedeki her gerçek oyunda, elle yazılmış kuralların yakaladığının en az %99,5'ini yakalar.
• Çevrilebilir kalması gereken, eski kuralların her zaman karşı test edildiği dondurulmuş satır kümesinde sıfır hariç tutma yapar.
• Gerçek düzyazıda, satırların %0,2'sinden azı hiç hariç tutulmaz.
• Adlandırdığı gerekçe, zamanın en az %97'sinde doğrudur.
• Bir satır 5 mikrosaniyenin altında puanlanır.

En çok önem taşıyan kural, karışık satırlarla ilgili olandır. Kodların yanında gerçek metin de içeren bir satır metindir ve çevrilebilir kalır. RuneSight bir satırı yalnızca satırın tamamı mekanizma olduğunda kaldırır.

Neyin değişmediği

RuneSight bir satırın biçimine karar verir. Biçim değil bağlam gerektiren kararlar hâlâ motor bağdaştırıcılarından gelir: bir Godot düğüm adı, sahne ağacında bulunduğu yer yüzünden hariç tutulur; bir RPG Maker olay yorumu, onu taşıyan komut yüzünden; bir eklenti parametre anahtarı, içinde yaşadığı dosya yüzünden. Bu kurallar kalıcıdır, gerekçe sütununda görebileceğiniz politika kuralları da öyle — örneğin hiç kaynak dili karakteri taşımayan bir satır gibi.

Kendi regex filtreleriniz RuneSight'tan sonra çalışır ve tıpkı eskisi gibi davranır; kim yaptıysa yapsın her hariç tutma hâlâ yeniden açabileceğiniz kırmızı, isteğe bağlı bir satırdır. RuneSight'ın verdiği hiçbir karar nihai değildir.

Nerede görülür

RuneSight rozeti, uygulamanın sağ alt köşesinde, sürüm satırının üzerinde yer alır. Model yüklendiğinde noktası yeşile döner. Açtığınızda size model boyutunu, birlikte geldiği güven eşiğini ve son çıkarmanın ne yaptığını söyler: kaç satır puanladığını, kaçını hariç tuttuğunu ve eski kurallarla nerede anlaşamadığını. Her çıkarmadan sonra kısa bir bildirim bu sayıları tekrarlar.

Model bir gün yüklenemezse rozet bunu belirtir ve çıkarma basitçe önceki kurallara geri döner. Uygulama bu yüzden asla çalışmayı reddetmez.

Modelin eski kurallarla anlaşmadığı her yer küçük, yerel bir günlüğe yazılır ve asla yüklenmez. Gerçek diyalog saydığınız bir satır hariç tutulmuş olarak görünürse, düzenleyicide onu yeniden açın ve bize Discord'da haber verin. Bu bildirimler, bir sonraki yeniden eğitimin tam olarak neyden öğrendiğidir.