https://www.nexusmods.com/skyrimspecialedition/mods/44184
Das KI basierte Tool wurde mit Daten von gesprochenen In-Game-Dialogzeilen trainiert und ist in der Lage auf Basis dieser Daten neue Audiodialoge zu generieren. Die generierten Audiodateien könnten zum Beispiel für NPCs in Quest Mods, Machinima, Memes, oder als Erweiterung/Editierung/Fix von bereits existierenden Quests bzw. Dialogoptionen verwendet werden.
Sprachmodelle gibt es nicht nur für Skyrim, sondern auch für Fallout 3/NV/4, Morrowind und Oblivion. Die weiblichen Stimmen sind von guter Qualität, die männlichen OK, denn die KI-Modelle orientierten sich an einer Sprecherin.
Am besten funktioniert das Tool mit englischen Texten. Deutsch funktioniert einigermaßen, aber manchmal muss man etwas tricksen, damit die Aussprache (halbwegs) annehmbar klingt (bessere Ergebnisse hatte ich, als ich die GPU-Option aktiviert hatte). Für ein "ei" nehme ich ein y und bei einem langen "a" hänge ich einfach ein h dran. Soll eine Silbe betont werden, packe ich einen Punkt oder ein Komma dazwischen.
Bis jetzt habe ich nur ein bisschen herumgespielt, um herauszufinden, was alles möglich ist (dazu mehr weiter unten im Abschnitt "Generierung und Bearbeitung").
Installation
Installiert die Microsoft Visual C++ Redistributable, falls ihr es noch nicht getan habt.
"CPU xVASynth" arbeitet nur mit dem CPU (Prozessor) und "xVASynth GPU" nutzt CPU und/oder GPU (Grafikkarte; falls ihr diese Option nutzen wollt, muss sie im Einstellungsmenü des Tools aktiviert werden). Entpackt die gewählte Version in einen Ordner eurer Wahl. Ich konnte in der Downloadbeschreibung nicht herauslesen, ob die Generierung via GPU nur mit einer NVIDIA-Grafikkarte funktioniert. Jedenfalls brauchen NVIDIA-Grafikkarten-Besitzer*innen zusätzlich CUDA.
Als nächstes folgt die Installation der Sprachmodelle. Die Sprachmodelle (voice models) gibt es als separate Downloads.
Nachdem ihr das gewünschte Sprachmodell heruntergeladen habt, klickt ihr euch im Archiv durch bis zum Ordner resources, den ihr ins Installationsverzeichnis von SKVA Synth schiebt (da, wo sich die xVASynth.exe befindet).
Egal, welche Version ihr wählt, das Tool muss nur einmal installiert und kann gleich auch für andere Spiele genutzt werden (das jeweilige Spiel könnt ihr über eine Dropdown-Liste auswählen, sobald sich die Sprachmodelle in den jeweiligen Ordnern befinden).
Generierung und Bearbeitung
Nehmen wir als Beispiel Serana aus Dawnguard. Startet mit einem Doppelklick auf die xVASynth.exe das Tool. Wählt oben links bei Game im Dropdown-Menü Skyrim aus. Klickt auf den Eintrag Serana. Schreibt euren Text, klickt auf "Load model" und dann auf "Generate Voice". Wenn ihr auf den dünnen blauen Balken unterhalb eines Buchstabens klickt, könnt ihr die ausgesprochene Länge des Buchstabens mittels des Schiebereglers neben "Letter legnth" verändern (mit "Reset Letter" wird die Änderung rückgängig gemacht). Das Verschieben der einzelnen Balken unterhalb der Buchstaben nach unten oder oben verändert die Tonhöhe. Die Buttons und der Schieberegler darunter verändern die ganze gesprochene Dialogzeile: Amplify (Ton verstärken), Flatten (Ton abschwächen), Increase (Tonhöhe erhöhen), Decrease (Tonhöhe erniedrigen), Pacing (Sprechtempo).
Damit jede Änderung übernommen wird, muss jedes Mal der "Generate Voice" betätigt werden. Alle Änderungen lassen sich mit dem Reset-Button auf einen Schlag rückgängig machen.
Seid ihr mit dem Audiodialog zufrieden, könnt ihr ihn als .wav-Datei mittels des "Keep sample"-Buttons speichern. Mit einem Klick auf das Bleistift-Symbol ändert ihr den Namen der Datei, ein Klick auf das Kästchen-Symbol öffnet den Ordner der gespeicherten Datei und ein Klick auf das X-Symbol löscht die Datei.
Für eine gute Sprachqualität sollten die Audiodateien eine Länge von 1 bis 5 Sekunden haben. Längere Texte können in mehre .wav-Dateien aufgesplittet und z. B. mit Audacity zusammengefügt werden.
In den Kommentaren auf der Download-Seite habe ich gelesen, dass die Wav-Dateien im 32-Bit-Format und somit inkompatibel mit dem Creation Kit sind. Damit sie genutzt werden können, müssen sie ins 16-Bit-Format umgewandelt werden. Quelle
Das KI basierte Tool wurde mit Daten von gesprochenen In-Game-Dialogzeilen trainiert und ist in der Lage auf Basis dieser Daten neue Audiodialoge zu generieren. Die generierten Audiodateien könnten zum Beispiel für NPCs in Quest Mods, Machinima, Memes, oder als Erweiterung/Editierung/Fix von bereits existierenden Quests bzw. Dialogoptionen verwendet werden.
Sprachmodelle gibt es nicht nur für Skyrim, sondern auch für Fallout 3/NV/4, Morrowind und Oblivion. Die weiblichen Stimmen sind von guter Qualität, die männlichen OK, denn die KI-Modelle orientierten sich an einer Sprecherin.
Am besten funktioniert das Tool mit englischen Texten. Deutsch funktioniert einigermaßen, aber manchmal muss man etwas tricksen, damit die Aussprache (halbwegs) annehmbar klingt (bessere Ergebnisse hatte ich, als ich die GPU-Option aktiviert hatte). Für ein "ei" nehme ich ein y und bei einem langen "a" hänge ich einfach ein h dran. Soll eine Silbe betont werden, packe ich einen Punkt oder ein Komma dazwischen.
Bis jetzt habe ich nur ein bisschen herumgespielt, um herauszufinden, was alles möglich ist (dazu mehr weiter unten im Abschnitt "Generierung und Bearbeitung").
Installation
Installiert die Microsoft Visual C++ Redistributable, falls ihr es noch nicht getan habt.
"CPU xVASynth" arbeitet nur mit dem CPU (Prozessor) und "xVASynth GPU" nutzt CPU und/oder GPU (Grafikkarte; falls ihr diese Option nutzen wollt, muss sie im Einstellungsmenü des Tools aktiviert werden). Entpackt die gewählte Version in einen Ordner eurer Wahl. Ich konnte in der Downloadbeschreibung nicht herauslesen, ob die Generierung via GPU nur mit einer NVIDIA-Grafikkarte funktioniert. Jedenfalls brauchen NVIDIA-Grafikkarten-Besitzer*innen zusätzlich CUDA.
Als nächstes folgt die Installation der Sprachmodelle. Die Sprachmodelle (voice models) gibt es als separate Downloads.
Nachdem ihr das gewünschte Sprachmodell heruntergeladen habt, klickt ihr euch im Archiv durch bis zum Ordner resources, den ihr ins Installationsverzeichnis von SKVA Synth schiebt (da, wo sich die xVASynth.exe befindet).
Egal, welche Version ihr wählt, das Tool muss nur einmal installiert und kann gleich auch für andere Spiele genutzt werden (das jeweilige Spiel könnt ihr über eine Dropdown-Liste auswählen, sobald sich die Sprachmodelle in den jeweiligen Ordnern befinden).
Generierung und Bearbeitung
Nehmen wir als Beispiel Serana aus Dawnguard. Startet mit einem Doppelklick auf die xVASynth.exe das Tool. Wählt oben links bei Game im Dropdown-Menü Skyrim aus. Klickt auf den Eintrag Serana. Schreibt euren Text, klickt auf "Load model" und dann auf "Generate Voice". Wenn ihr auf den dünnen blauen Balken unterhalb eines Buchstabens klickt, könnt ihr die ausgesprochene Länge des Buchstabens mittels des Schiebereglers neben "Letter legnth" verändern (mit "Reset Letter" wird die Änderung rückgängig gemacht). Das Verschieben der einzelnen Balken unterhalb der Buchstaben nach unten oder oben verändert die Tonhöhe. Die Buttons und der Schieberegler darunter verändern die ganze gesprochene Dialogzeile: Amplify (Ton verstärken), Flatten (Ton abschwächen), Increase (Tonhöhe erhöhen), Decrease (Tonhöhe erniedrigen), Pacing (Sprechtempo).
Damit jede Änderung übernommen wird, muss jedes Mal der "Generate Voice" betätigt werden. Alle Änderungen lassen sich mit dem Reset-Button auf einen Schlag rückgängig machen.
Seid ihr mit dem Audiodialog zufrieden, könnt ihr ihn als .wav-Datei mittels des "Keep sample"-Buttons speichern. Mit einem Klick auf das Bleistift-Symbol ändert ihr den Namen der Datei, ein Klick auf das Kästchen-Symbol öffnet den Ordner der gespeicherten Datei und ein Klick auf das X-Symbol löscht die Datei.
Für eine gute Sprachqualität sollten die Audiodateien eine Länge von 1 bis 5 Sekunden haben. Längere Texte können in mehre .wav-Dateien aufgesplittet und z. B. mit Audacity zusammengefügt werden.
In den Kommentaren auf der Download-Seite habe ich gelesen, dass die Wav-Dateien im 32-Bit-Format und somit inkompatibel mit dem Creation Kit sind. Damit sie genutzt werden können, müssen sie ins 16-Bit-Format umgewandelt werden. Quelle
