RuneSight: o mecanismo neural que distingue texto de código

Todo jogo que o RuneTranslate abre é, em sua maior parte, texto que um jogador vai ler, mais uma longa cauda de coisas que só parecem texto: caminhos de assets, nomes de variáveis, códigos de controle, chaves de plugin, rótulos de depuração, um blob em base64 que alguém deixou em um arquivo de dados. Traduza um desses e o melhor caso é uma requisição desperdiçada. O pior caso é uma cena que nunca carrega porque a engine agora procura um nome que não existe mais.

Desde o primeiro lançamento, a linha entre os dois era traçada à mão: centenas de expressões regulares, uma para cada formato de lixo que encontrávamos, engine por engine. A versão 1.0.6 substitui essa lista pelo RuneSight, uma pequena rede neural treinada na coisa real. Ele decide, para cada linha extraída, se ela é texto ou estrutura interna, e faz isso em poucos microssegundos, na sua CPU, dentro do app.

Por que uma lista de regras deixou de ser suficiente

Uma expressão regular captura exatamente o formato para o qual foi escrita. bg_office_01 é um identificador, então uma regra para snake_case o captura. Aí chega um jogo Wolf RPG com <<GET_FILE_EXIST>>Data/\s[1], um jogo Bakin com Lv.\partystatus[0], um jogo Unity com "CubismTaskQueue.OnTask" already set., e um nome de pasta escrito em japonês quebra a regra de caminho que presumia ASCII. Cada um virou uma nova regra, cuidadosamente delimitada para não engolir diálogo real, e cada engine nova recomeçava o ciclo.

Regras também não conseguem ponderar evidências. Uma linha que é majoritariamente um código de controle com três palavras de diálogo no final é texto, e deve continuar traduzível. Uma linha que é uma frase inteira sobre um arquivo .png é texto. Uma linha que não é nada além de \f[\cself[1]]\space[4] não é. Diferenciar isso exige uma noção da linha inteira, não uma correspondência com parte dela.

O que é o RuneSight

O RuneSight é um classificador de cerca de 400 kilobytes. Ele lê uma linha como um saco de fragmentos de caracteres, de um a quatro caracteres de comprimento, transformados em hash e colocados em uma tabela fixa, e combina isso com algumas dezenas de propriedades medidas da linha: quanto dela é letras, dígitos, pontuação ou espaços, quais escritas ela usa, se parece com um caminho, se tem colchetes balanceados, se termina do jeito que uma frase termina. Uma pequena camada oculta transforma isso em duas respostas: a probabilidade de a linha não ser texto e, quando não é, que tipo de não-texto ela é.

Essa segunda resposta é o que você vê no editor. Uma linha excluída ainda carrega um motivo que você pode ler: padrão de código, referência de asset, rótulo de sistema, numérico, comentário, chave de plugin, apenas códigos de controle, binário ou comando de plugin. A linha recebe uma pequena marca RuneSight e o nível de confiança por trás do veredito, então a decisão nunca é uma caixa-preta, e um clique na linha a reativa.

O processo inteiro roda em cerca de quatro microssegundos por linha. Um JRPG de cem mil linhas é classificado em bem menos de um segundo, em qualquer máquina com Windows 10 ou 11, sem GPU e sem nada sendo enviado para lugar nenhum.

Com o que ele aprendeu

Não existiam dados rotulados para isso, então eles foram construídos. O conjunto de treinamento tem pouco mais de novecentas mil linhas:

• Jogos reais. Extrações completas de treze jogos em dez engines, de RPG Maker e Ren’Py a Wolf RPG, Kirikiri, Artemis, Unity, Godot, Bakin e Unreal, rotuladas pelas regras que o RuneSight estava substituindo. Essa é a base mínima: ele tinha que capturar tudo o que as regras capturavam.
• Frases reais. Um quarto de milhão de frases em dezesseis idiomas, entre eles japonês, chinês, coreano, tailandês, árabe, russo e os idiomas de escrita latina, para que texto comum em qualquer idioma de origem nunca seja confundido com código.
• Estrutura interna real. Cento e sessenta mil caminhos, identificadores, nomes com pontos e linhas de comentário coletados de código-fonte e pacotes, os formatos que as engines compartilham.
• Os pontos cegos, de propósito. Quase trezentas mil linhas geradas a partir das referências oficiais de códigos de controle de Wolf RPG, RPG Maker e Bakin, cada uma pareada com o diálogo quase idêntico que ela não pode engolir: uma frase que menciona um arquivo, um nome seguido de um número, uma linha de texto com um código no meio.
• Um conjunto de referência verificado manualmente. Toda linha à qual as regras antigas estavam fixadas, mais linhas reais relatadas a partir de jogos jogados, julgadas uma a uma.

O que ele teve que provar antes do lançamento

Um modelo que é apenas melhor na média ainda seria uma regressão para quem esbarrasse em seus novos erros, então o RuneSight é submetido a critérios fixos, executados novamente a cada retreinamento:

• Em todo jogo real do conjunto, ele captura pelo menos 99.5% do que as regras escritas à mão capturavam.
• No conjunto congelado de linhas que precisam continuar traduzíveis, aquelas contra as quais as regras antigas sempre foram testadas, ele faz zero exclusões.
• Em prosa real, menos de 0.2% das linhas chegam a ser excluídas.
• O motivo que ele indica está certo pelo menos 97% das vezes.
• Uma linha é avaliada em menos de 5 microssegundos.

A regra mais importante é a das linhas mistas. Uma linha que contém texto real ao lado de códigos é texto, e continua traduzível. O RuneSight só remove uma linha quando a linha inteira é estrutura interna.

O que não mudou

O RuneSight decide a forma de uma linha. Decisões que dependem de contexto, não de forma, ainda vêm dos adaptadores de engine: um nome de nó do Godot é excluído por causa de onde ele fica na árvore de cena, um comentário de evento do RPG Maker por causa do comando que o carrega, uma chave de parâmetro de plugin por causa do arquivo em que ela vive. Essas regras continuam, assim como as regras de política que você vê na coluna de motivo, como uma linha que não tem nenhum caractere do idioma de origem.

Seus próprios filtros de regex rodam depois do RuneSight e se comportam exatamente como antes, e toda exclusão, seja de quem for, continua sendo uma linha vermelha de inclusão opcional que você pode reativar. Nada que o RuneSight decide é definitivo.

Onde ver isso

O selo RuneSight fica no canto inferior direito do app, acima da linha de versão. O ponto dele fica verde quando o modelo está carregado. Abra-o e ele mostra o tamanho do modelo, o limiar de confiança com que ele vem configurado, e o que a última extração fez: quantas linhas ele avaliou, quantas excluiu e onde discordou das regras antigas. Depois de cada extração, um toast curto repete esses números.

Se em algum momento o modelo não conseguir carregar, o selo avisa, e a extração simplesmente recorre às regras anteriores. O app nunca deixa de funcionar por causa disso.

Todo ponto em que o modelo discorda das regras antigas é registrado em um pequeno log local e nunca enviado para lugar nenhum. Se uma linha que você considera diálogo real aparecer excluída, reative-a no editor e nos avise no Discord. Esses relatos são exatamente o que o próximo retreinamento vai aprender.