Dima Torzhok: un fantasma en la máquina

Imagina: envías un mensaje de voz. Cinco segundos de silencio al final, porque olvidaste presionar “detener”. La IA transcribe diligentemente tus palabras y luego, al final, añade:

Subtítulos hechos por DimaTorzok

Te quedas perplejo. ¿Quién? ¿Qué Dima? ¿Qué subtítulos? Si solo le preguntabas a un amigo dónde se encuentran.

Bienvenido a uno de los errores más curiosos en la historia del aprendizaje automático.

¿Quién es DimaTorzok?

DimaTorzok es una persona real. El canal de YouTube @dimatorzok con la descripción “Escribo subtítulos para tus mensajes de voz y traducciones”. Una persona que voluntariamente hacía subtítulos para videos de otros. Gratis. Por amor al arte. Y firmaba su trabajo: una modesta línea al final: Subtítulos hechos por DimaTorzok.

Una práctica normal. Así lo hacen miles de subtituladores en todo el mundo. Nadie sufría por ello.

Y entonces llegó OpenAI.

¿Qué sucedió?

Cuando OpenAI entrenó a Whisper, su modelo de reconocimiento de voz, le introdujeron un conjunto de datos gigantesco. 680,000 horas de audio de YouTube junto con los subtítulos. La idea es razonable: tomamos videos, tomamos los subtítulos existentes, enseñamos al modelo a entender el habla.

El problema está en una palabra: saneamiento.

O más bien, en su ausencia. Nadie limpió los datos. Nadie eliminó el metatexto. Las firmas de los autores de subtítulos, comentarios técnicos, inserciones publicitarias: todo se fue al conjunto de entrenamiento tal cual.

Y la firma de DimaTorzok también.

Por lo visto, Dima era tan prolífico que su autógrafo apareció en los datos de entrenamiento con la suficiente frecuencia como para que el modelo lo recordara como algo importante. Algo que sin duda debía reproducir.

Un fantasma en el silencio

Ahora Whisper alucina. Cuando en el audio surge una pausa (unos segundos de silencio, ruido de fondo, un suspiro largo), el modelo entra en pánico. Necesita decir algo. Y dice lo que aprendió:

Subtítulos hechos por DimaTorzok

A veces: “Subtítulos hechos por DimaTorzok @project_gestalt”. A veces, solo “DimaTorzok”. A veces, una línea completa pidiendo suscribirse al canal.

Y esto no es un error raro. Ocurre en todas partes. En bots de Telegram para transcribir mensajes de voz. En Twitter (X). En aplicaciones de podcasts. En transcripciones médicas (sí, imagínate). En todo lo que usa Whisper internamente, que, de repente, es muchísimo.

Personalmente, este fantasma se me ha aparecido unas 25 veces en transcripciones de mensajes de voz. Cada vez, en los momentos de silencio. Cada vez, con la firma, como si acabara de terminar de subtitular mi correspondencia personal.

GitHub: “¿Quién es DimaTorzok?! ¿¡Por qué!?”

En GitHub hay una discusión #2372 con un título que refleja el sentir general: “Who is DimaTorzok? Why???”

El hilo es una obra de arte. Gente de todo el mundo comparte capturas de pantalla: aquí Dima, allá Dima, Dima por todas partes. Alguien está furioso. Alguien se ríe. Alguien ya se ha resignado.

Las mejores citas:

¡Odio a este maldito Dima!

Otro usuario, con una actitud más filosófica:

No hackeó nada. OpenAI se tragó su marca de agua y ahora nos persigue a todos.

El hombre no hackeó nada. OpenAI se comió su marca de agua, y ahora acecha a todos.

No es el único

Resulta que Dima no es el único fantasma en la máquina. La versión turca de Whisper hace lo mismo, pero con otra firma: “Altyazı M.K.” (altyazı significa “subtítulos” en turco). En algún lugar de Turquía hay su propio DimaTorzok, y tampoco tiene la culpa.

El problema se reproduce en el modelo large-v3, la versión más avanzada de Whisper. Años de trabajo, millones de dólares en entrenamiento, gigavatios de electricidad, y en cada pausa silenciosa resuena la voz de un subtitulador de Torzhok.

¿Quién tiene la culpa?

Dima no tiene la culpa. Ni un ápice. La persona hacía un trabajo útil, firmaba su trabajo, y ya está. No pidió que su firma fuera introducida en una red neuronal. No podía prever que su nombre se convertiría en la alucinación más frecuente en la historia de las transcripciones de IA.

Los culpables son los ingenieros de OpenAI, que no hicieron lo más básico: no limpiaron los datos antes del entrenamiento. Data cleaning. El primer capítulo de cualquier libro de texto sobre aprendizaje automático. Antes incluso de las redes neuronales, antes de los transformadores, antes de que esto costara miles de millones, la gente sabía: garbage in, garbage out.

Pero cuando tienes 680,000 horas de datos y una fecha límite que arde, ¿quién va a limpiar?

El becario inmortal

Hay algo poético en esta historia. Una persona hacía subtítulos: un trabajo silencioso, invisible, a menudo ingrato. Lo hacía gratis, para la gente. Y accidentalmente se volvió inmortal.

Su nombre ahora está incrustado en una red neuronal que usan millones. No se puede eliminar sin reentrenar completamente el modelo, lo que cuesta como una buena mansión. DimaTorzok se ha convertido en parte de la infraestructura. Un fantasma en la máquina. El becario inmortal al que olvidaron despedir.

En algún lugar de Torzhok (o no en Torzhok, quién sabe) vive una persona que quizás ni siquiera sospecha que su nombre es pronunciado por miles de servidores en todo el mundo cada vez que se hace el silencio.

Cada vez que no tienes nada que decir, Dima habla por ti.