Desarrollo de un doblaje al español usando Inteligencia artificiar

[Juan carlos bodoque]

esta semana se me ocurrió una idea, ¿y si creo un doblaje de Baldur's en español usando la IA? Entonces me ♥♥♥♥ manos a la obra. El plan es tomar los archivos de audio he introducirlos en la IA llamada Whisper la cual realizara una transcripcion an texto de los audios, luego darle esos textos a Chat GPT y pedirle que realice una traduccion, y finalmente introducir los archivos de audio del doblaje en ingles y el texto de los dialogos ya traducido del juego a la IA de elevenlabs para que genere nuevos archivos de audio en español.

aqui les dejo un link a youtube con un pequeño audio de mi avance el esta aventura que es crear un dobleaje al español con IA:

https://youtu.be/dkbyOj7criw

no es mucho pero es el primer intento

Claro nunca nada es tan facil, hasta ahora he tenido varios inconvenientes, pero, realice avances significativos. Primero el el encontrar los archivos que contienen el audio del juego se me complico por horas (debido a que tengo un muy pero muy limitado entendimiento de programación y especialmente limitado conocimiento del desarrollo de vídeo juegos) esto ya que los archivos de audio se encuentran empaquetados en un archivo llamado voice.pak, después de horas logre encontrar una herramienta capaz de desempaquetar los archivo, pero, un problema mas surgió, los archivos de audio están en un formato que nunca había visto, el formato se llama WEM osea que los archivos tienen una extension .wem, después de aún mas horas de investigación consigo encontrar una herramienta capaz de convertir los archivos del formato WEM al formato OGG un formato que el reproductor de windows es capaz de reproducir, pero, hay un grabe problema y es que como y lo dije no se casi nada de programación y la herramienta para convertir los archivos esta programada en C# por lo que me tomo dos días entender como usar la herramienta. para explicar de mejor forma la siguiente parte debo aclarar que los archivos de audio están divididos básicamente en dos carpetas, una llamada Localization y otra llamada Mods, la primera solo contiene audios muy cortos y en comparación con la otra carpeta no contiene muchos archivos, pesando solo 118 MB, mientas que la carpeta llamada mods pesa 4.77 GB. Hoy por fin pude convertir todos los archivos de la carpeta Mods al formato 0GG, pero, no puede hacer lo mismo casi ninguno de los archivos de la otra carpeta, el programa lanza un error. De momento siendo todo el avance que he conseguido en 3 días.

Si les interesa el tema o quieren que les de mas detalles sobre mi proyecto de doblar al español el vídeo juego o si quieren apoyarme en mi aventura respondan me o manden un mensaje a mi cuenta de Steam, Actualizare cada semana mis avances

[dvc1978]

los ejemplos que has puesto en el video de youtube suenan genial. No debe ser una tarea facil lo que te has propuesto, ¡Animo! impaciente por ver como avanza esto, un saludo.

[Juan carlos bodoque]

ya logre convertir todos los archivos de audio del juego al formato wav, son las de 100, 000 archivos sera una tarea dificil hacerlo, aunque la una parte son sonidos de gruñidos que no se quedaran con el doblaje original. estoy trabajando en una prueba de audio mas extensa usando la voz de la narradora

[Juan carlos bodoque]

aqui estan las primeras pruebas redoblando a la narradora

https://youtu.be/6W4dQLqhkmk

[Juan carlos bodoque]

Originally posted by dvc1978:

los ejemplos que has puesto en el video de youtube suenan genial. No debe ser una tarea facil lo que te has propuesto, ¡Animo! impaciente por ver como avanza esto, un saludo.

mira el video de arribia y dime que te esta pareciendo

[Nornim]

No se como podría ayudar pero me parece una idea genial, suerte con ello

[アンジェル]

Originally posted by Nornim:

No se como podría ayudar pero me parece una idea genial, suerte con ello

This thread surely did not age well.

[robert.steven.marshall]

Disculpe pero para mi hay errores en estas traducciones. Pierdan la essencia de lo que han dicho aunque se entiende sin dificultad.

[Juan carlos bodoque]

he subido un nuevo video sobre los avances que he hecho doblando el juego si gustan verlo aqui esta:

https://youtu.be/Fi8PHWKTvOw