Thorsten-Voice, die freie deutsche KI-Stimme.Hier findest du (unregelmäßig) Neuigkeiten rund um offene Sprachtechnologien im Allgemeinen und/oder Thorsten-Voice im Speziellen 💛.
Ihr habt abgestimmt und euch für „Variante 2“ entschieden. Das neue Modell ist seit heute per Coqui 🐸 TTS Version 0.8.0 direkt einsetzbar. Danke für eure Rückmeldungen und eure Unterstützung auf dem Weg zu diesem neuen Modell 😊.
Großer Dank gilt natürlich auch meinem mehrjährigen TTS-Weggefährten Dominik und allen weiteren TTS Enthusiasten 👏.
pip install TTS==0.8.0
tts-server --model_name tts_models/de/thorsten/tacotron2-DDC
http://localhost:5002Ich bin langsam „betriebstaub“, daher brauche ich etwas hilfe von Dir. Aktuell habe ich zwei neue TTS Modelle trainiert, aber nur einer davon wird es in die Veröffentlichung schaffen.
Daher die Frage – welche Variante gefällt besser?
Variante 1
Variante 2
This poll is no longer accepting votes
Im Artikel „Die eigene Stimme als TTS-Modell“ von Golem.de wird der Ablauf zur Erzeugung einer eigenen TTS-Stimme beschrieben. Als Vorlage dient die Erzeugung meiner Thorsten-Voice Stimme. Ich möchte diese Gelegenheit nutzen, um tiefer in meine persönlichen Erfahrungen einzutauchen und einige Einblicke zu teilen, die im ursprünglichen Artikel nicht enthalten waren.
Meine Faszination für Text-to-Speech (TTS) Technologie begann schon vor einiger Zeit. Als ich von der Möglichkeit hörte, eine eigene, personalisierte Stimme zu erstellen, war ich sofort Feuer und Flamme. Der Gedanke, dass meine eigene Stimme digitalisiert und für verschiedene Anwendungen genutzt werden könnte, war gleichermaßen aufregend wie herausfordernd.
Der Weg zur Thorsten-Voice war keineswegs einfach. Es begann mit stundenlangen Aufnahmesessions, in denen ich zahlreiche Sätze und Phrasen einsprach. Die Herausforderung bestand darin, konsistent zu bleiben – in Tonlage, Geschwindigkeit und Aussprache. Oft musste ich Passagen wiederholen, weil sich ein Räuspern eingeschlichen hatte oder die Betonung nicht stimmte.
Nach den Aufnahmen folgte die technische Verarbeitung. Hier zeigte sich, wie komplex die Erstellung eines TTS-Modells tatsächlich ist. Das Training des Modells nahm mehrere Tage in Anspruch, währenddessen mein Computer ununterbrochen arbeitete.
Die Erstellung der Thorsten-Voice war eine lehrreiche und spannende Erfahrung. Sie hat mir nicht nur technisches Wissen vermittelt, sondern auch einen neuen Blick auf die Einzigartigkeit der menschlichen Stimme gegeben. Ich kann jeden, der sich für TTS-Technologie interessiert, nur ermutigen, sich an einem solchen Projekt zu versuchen. Es ist faszinierend, herausfordernd und überaus lohnend.
JAHRE der Passion für offene Sprachtechnologien,
MONATE Aufnahmesessions am Mikrofon,
WOCHEN Rechenzeit für das Modell Training,
TAGE für die Audio Optimierung,
STUNDEN der Verzweiflung.
All dies, für den EINEN MOMENT, die nächste Version der offenen, künstlichen, deutschen, offline-fähigen „Thorsten-Voice“ mit Euch zu teilen!
Die neue Version basiert auf einem komplett neu aufgenommen Sprachdatensatz (Thorsten-22.05-neutral).
Es wurde mit Coqui 🐸 TTS erstellt und es handelt sich um ein VITS Modell (nur als Info für die TTS-Insider).
tl;dr
- pip install tts==0.7.1
- tts-server --model_name tts_models/de/thorsten/vits
- Open webbrowser on http://localhost:5002
Das neue Modell ist noch nicht verfügbar.
Gesprochen wird der Satz:
Dieser Satz dient als Vergleich zwischen dem bestehenden Thorsten Modell und dem Modell, welches aktuell noch erarbeitet wird.
Dominik und ich experimentieren weiterhin um die bestmögliche TTS-Konfiguration zu finden aber so klingt der aktuelle Stand mit Sätzen von Mycroft Skills.
Nachdem ich (erneut) Monate meiner Freizeit für Audioaufnahmen investiert habe (dieses Mal mit gutem Mikrofon und Aufnahmesetup) und Dominik seine „Audio-Magic“ angewendet hat ging es für uns beide richtig los.
Wir haben diverse Konfigurationen ausprobiert (und machen das auch aktuell noch). Dennoch möchten wir euch heute einen aktuellen Stand vorstellen.
Natürlich kann auch dieses Modell offline erzeugt werden und steht kostenfrei unter der CC0 Lizenz frei zur Verfügung.
Und so klingt es derzeit
Es gibt noch keinen Zeitpunkt wann das Modell und das zugrundeliegende Dataset veröffentlicht werden, da die „Finetuning“ Arbeiten noch laufen. Allerdings sind wir dem Ziel näher als dem Anfang :-).
Über Feedback zum aktuellen Stand des Modells würden wir uns freuen. Entweder per Kontaktformular oder per eMail an tm@thorsten-voice.de.
Aber es gibt doch schon ein „neutrales“ Thorsten Dataset – wozu noch eins?
Stimmt. Aber als ich das erste neutrale Dataset aufgenommen habe war ich etwas naiv. So habe ich beispielsweise die Aufnahmen mit einem schlechten Audio Setup begonnen. Das wurde zwar Dank Dominiks Audio-Optimierungsfähigkeiten verbessert, aber war trotzdem etwas ärgerlich. Außerdem wollte ich so klar und deutlich wie möglich lesen. Das ist mir zwar gelungen, aber dadurch ist der natürliche Sprachfluss etwas verloren gegangen. Basierend auf meinen Erfahrungen wollte ich ein „besseres“ neutrales Dataset aufnehmen.
Noch in Arbeit.
Ich plane ca. 11 Stunden reines Audio im Dataset zu haben. Aktuell bin ich bei ca. 9 Stunden. Ich bin sicher einige Minuten fallen bestimmt auch der Nachbearbeitung zum Opfer. Also so Pi * Daumen noch gute 2 Stunden Audio fehlen – und da bin ich aktuell dran.
Ich hoffe, dass ich das neue Dataset dann Anfang 2022 veröffentlichen kann. Weitere Details dazu folgen zu gegebener Zeit.
Bis dahin dürft ihr euch gerne meine beiden bisheren Datasets anschauen, bzw. anhören:
Details zu den veröffentlichten Datasets findet ihr hier: http://www.thorsten-voice.de/datasets/
Wer meinen Werdegang rund um offene Sprachtechnologien verfolgt weiß – ich habe eine Leidenschaft für das Thema TTS oder auch „Text-to-Speech“.
Ob auf Github, Twitter oder meinem Youtube Kanal dreht sich alles um das Thema von freiem deutschen TTS – getreu dem Motto:
Eine qualititativ hochwertige, deutsche, künstliche Stimme, die offline erzeugt werden kann, sollte jedem Projekt kostenlos und ohne lizenzrechtliche Einschränkungen zur Verfügung stehen.
Nach einiger Überlegung geht heute meine Webseite zu dieser Leidenschaft online. Zugegeben, sie ist ist kein leuchtendes Beispiel beeindruckenden Webdesigns, aber das war auch nicht mein Ziel. Viel mehr hoffe ich, dass ich mit meinen Bemühungen um freies und offenes TTS „punkten“ kann.
Auf dieser Seite plane ich auch Neuigkeiten zu neuen „Datasets“ und neuen trainierten TTS-Modellen zu veröffentlichen.
Mehr Details zu meiner Stimme findest Du auf meiner Github Projektseite.
