Mit fortschreitender Leistungsfähigkeit generativer KI-Modelle sinkt die Zuverlässigkeit klassischer Detektionsverfahren für synthetische Sprache. Stimmklang, Sprechweise und emotionale Ausdrucksmuster lassen sich inzwischen mit hoher Qualität nachbilden, wodurch gefälschte Audioaufnahmen zunehmend schwerer von authentischen zu unterscheiden sind. Das Forschungs- und Entwicklungsprojekt PADSE (Personenzentrierte, Audio- und sprachbasierte Deepfake- und Shallowfake-Erkennung) von Fraunhofer IDMT, Bauhaus-Universität Weimar und Deutsche Welle will genau hier ansetzen.

Personenzentrierte Referenzprofile

Bestehende Detektionssysteme setzen überwiegend auf generische Merkmale, die typische Artefakte synthetischer oder manipulierter Audiodaten identifizieren, unabhängig davon, welche Person in der Aufnahme zu hören ist. Mit zunehmender Qualität generativer Modelle verschwimmen jedoch genau jene Artefakte, auf denen diese Verfahren beruhen.

PADSE ergänzt daher die generische Detektion um sogenannte personenzentrierte Referenzprofile. Diese bilden charakteristische Eigenschaften einer zu schützenden Person ab, etwa Stimme, Sprechweise, emotionale Ausdrucksformen sowie sprachlich-stilistische Merkmale und typische Themenmuster. Neue Audioinhalte werden dadurch nicht nur auf allgemeine Deepfake-Indikatoren geprüft, sondern zusätzlich auf ihre Konsistenz mit dem individuellen Referenzprofil der jeweiligen Person. Datenschutz- und Sicherheitsaspekte sollen dabei von Beginn an technisch in die Verfahrensentwicklung eingebunden sein.

Projektstruktur und Kompetenzverteilung

PADSE ist laut Projektpartnern anwendungsorientiert. Ziel sei nicht allein die Entwicklung neuer Detektionsverfahren, sondern deren Bewertung unter realen Einsatzbedingungen. Die drei Projektpartner ergänzen sich dabei in ihren Kompetenzen Audioforensik, Textanalyse und journalistische Praxis.

Die Bauhaus-Universität Weimar entwickelt Verfahren zur Text- und Autorenschaftsanalyse. Deutsche Welle bringt Anforderungen aus journalistischen Arbeitsabläufen ein, koordiniert die Erstellung und Annotation von Trainings- und Testdaten und übernimmt die Validierung der entwickelten Verfahren unter realen Einsatzbedingungen. Das Fraunhofer IDMT koordiniert das Projekt und entwickelt die Kerntechnologien zur Erkennung von Sprachsynthese und Audio-Manipulation sowie für technischen Datenschutz und Datensicherheit.

Die entwickelten Technologien sollen Medienhäusern, Unternehmen, Behörden und weiteren Organisationen eine zuverlässigere Erkennung und Bewertung manipulierter und synthetischer Sprachinhalte ermöglichen. Die Projektlaufzeit erstreckt sich bis 2029.

Bild oben: Zum Kick-off Meeting kamen Projektpartner und Projektträger in Ilmenau zusammen (Quelle: Fraunhofer IDMT)