Benj Edwards perdió a su padre en 2013, y entre las muchas cosas que echaba de menos de él, estaba su caligrafía. Su forma de escribir era especial para él, y guardaba unos diarios en los que podía seguir recordando a su padre de esa manera.
Ahora puede hacer algo más que eso. Este editor de Ars Technica contaba en un largo artículo allí cómo lleva tiempo siguiendo los avances en el ámbito de la IA generativa, y se encontró con algo que llamó especialmente su atención: una forma de clonar la caligrafía de cualquier persona.
Edwards descubrió aquello en Reddit, donde un usuario con el alias ‘fofr’ replicó la caligrafía de J.R.R. Tolkien. Aquello causó sensación y pronto hubo usuarios que aprovecharon para generar imágenes de todo tipo. En la de nuestra portada, por ejemplo, un hipotético Tolkien sostenía un mensaje crítico hacia la serie de Amazon Prime Video sobre tu obra de ‘El Señor de los Anillos’.
Aquello, no obstante, le dio la idea a Edwards, que aprovechó la técnica utilizada por fofr para su propio propósito: clonar la caligrafía de su difunto padre. El sistema se basa en un proceso de refinado llamado LoRA (Low-Rank Adaptation) para modelos de IA genarativa.
Consiste en, a partir de un modelo cualquiera, entrenarlo con cierto tipo de material para luego poder crear contenido a partir de esos contenidos específicos. Si entrenamos un modelo de IA generativa como Stable Diffusion con un montón de fotos nuestras, podremos luego pedirle a ese modelo pulido que nos genere en cualquier situación y escenario, y es entonces cuando el realismo de las imágenes resultantes será notable.
En el caso de Edwards, la técnica se aplicó sobre Flux.1, uno de los modelos más populares en los últimos tiempos a la hora de generar imágenes. Al tener esos diarios de su padre con notas de todo tipo, pudo introducirlas como material de entrenamiento específico en Flux a través de una herramienta específica para ello.
Él utilizó cerca de 30 muestras de esas notas que escaneó. Para cada una escribió 30 descripciones indicando exactamente lo que ponía en cada nota, y además eliminó pequeños errores caligráficos de la imagen usando Photoshop para vque luego no aparecieran en la caligrafía clonada.
30 minutos más tarde de introducir esas imágenes, tenía su modelo LoRA preparado para descargar y utilizar localmente, o para usarlo en la nube usando servidores como los de Replicate, que imponen un coste de entre 2 y 3 centavos por imagen.
El primer resultado ya fue perfecto, así que a partir de ahí se dedicó a generar imágenes con Flux en las que la caligrafía de su padre se usaba en los textos incrustados en las mismas. Es cierto que algunas veces esa caligrafía y esos mensajes no se generaban correctamente, pero en general el resultado fue, al menos para este usuario, especial.
Como indica en ese texto, «sentí alegría al ver nuevas muestras sintetizadas de la caligrafía de mi padre. Las leía como si fueran su voz escrita, y puedo sentir la calidez con tan solo ver las letras. Sé que no son reales y que no las escribió él, así que personalmente lo encuentro divertido».
Estamos desde luego ante otro escenario más en el que los modelos de IA generativa plantean usos muy especiales pero también potencialmente preocupantes. Por un lado se reactiva el debate sobre esa forma de poder sentir algo especial de las personas que nos dejaron, por ejemplo, pero por otro este tipo de opción también podría dar lugar a estafas y fraudes.
Source: Crealo