Medienforensik

Vertrauenswürdige Medieninhalte

Das Fraunhofer IDMT erforscht und entwickelt verschiedene Medienforensik-Technologien zur Analyse, Erkennung und Lokalisierung von Manipulationen, Dekontextualisierung und Fälschungen in Medieninhalten (v.a. Audio). Dafür kombinieren wir verschiedene Methoden und Kompetenzen, vor allem Signalanalyse, Maschinelles Lernen, Reasoning und IT-Security-Verfahren. Ziel ist es, z. B. Journalistinnen und Journalisten, Strafverfolgungsbehörden oder Medienplattformen bei der Überprüfung von Inhalten zu unterstützen und auf diese Weise negative Auswirkungen von Desinformation, Deepfakes und die betrügerische Verwendung von manipulierten Medieninhalten zu verhindern.

Aktuelles

 

Workshop / 30.6.2025

MAD'25

Das Organisationsteam freut sich auf Einreichungen zum 4th ACM International Workshop on Multimedia AI against Disinformation!

 

29.10.2024

EBU webinar zu Audioanalyse Tools

Luca Cuccovillo und Milica Gerhardt stellten KI-basierte Audio-Tools zur Überprüfung von Informationen vor, die in veraAI entwickelt wurden.

 

Auszeichnung / 1.10.2024

Ausgezeichnete Innovation von AI4Media

Zukunftsweisende Innovation “Improvement of search and retrieval of audio content” des Fraunhofer IDMT und NISV im Innovationsradar der Europäischen Kommission

 

Forschung

Desinformation als Herausforderung

Die Erstellung und Verbreitung von Desinformationen wird immer kostengünstiger und einfacher – und nimmt stetig zu. Gründe dafür sind eine stetig wachsende Menge von Medieninhalten, preiswerte Bearbeitungstools, fortgeschrittene Synthesetechniken zur Erstellung von Inhalten und vielfältige Verbreitungs- und Kommunikationswege.

Zu den bekanntesten Formen der Desinformation gehören die Dekontextualisierung, d.h. die Nutzung von authentischem Material in einem irreführenden oder unangemessenen Kontext, die Manipulation, d.h. die Veränderung von vorhandenem Material, und die Fabrikation, bei der Material von Grund auf neu erstellt wird. Zwei Begriffe, die in diesem Zusammenhang häufig verwendet werden, sind

  • Shallowfakes/Cheapfakes: Hierbei sind Medieninhalte gemeint, die durch eine Bearbeitung echter Inhalte mit dem Ziel der Manipulation oder Dekontextualisierung erstellt werden, z. B. durch Löschen oder Umstellen von Passagen, Geschwindigkeitsanpassungen. Bisher fielen die meisten Fälschungen in diese Kategorie, da sie einfach zu erstellen sind und dennoch sehr effektiv und überzeugend sein können.
  • Deepfakes: Beschreibt Medieninhalte, die mithilfe von KI generiert werden. Sie sind aktuell noch nicht so verbreitet wie Shallowfakes/Cheapfakes, aber die Verfügbarkeit und Nutzerfreundlichkeit entsprechender Technologien verbessert sich ständig und es ist absehbar, dass sie über lange Zeit große Herausforderungen für die Erkennung von Desinformationen mit sich bringen werden.

Content-Verifizierung – die Suche nach der Wahrheit

Der Prozess der Content-Verifizierung kann als eine „Suche nach der Wahrheit“ betrachtet werden, die auf dem Prinzip der Falsifikation beruht – ähnlich den Prozessen, nach denen auch wissenschaftliche Theorien und Hypothesen geprüft werden sollten. Hierzu ein konkretes Beispiel: "Gibt der vorliegende Medieninhalt ein reales Ereignis und den dazugehörigen Kontext korrekt wieder?" Um eine Frage dieser Art zu beantworten, muss es falsifizierbare Aussagen über das Material geben. Bei einer Audioaufnahme könnte dies zum Beispiel so aussehen:

„Diese Datei wurde am 6. Dezember 2022 in Amsterdam, NL, mit einem iPhone 6 und seiner Standard-Aufnahme-App aufgenommen. Die Aufnahme wurde nicht nachträglich bearbeitet. Der SHA-512-Hash der Originaldatei lautet 9f86d081 ... Die Datei wurde auf den Cloud-Dienst XYZ hochgeladen ... es wurden keine Transkodierung oder andere Änderungen vorgenommen."

Bei der Content-Verifizierung werden diese Behauptungen (die auch implizit sein können) mit Hilfe von Werkzeugen und Experten anhand von Fakten und Erkenntnissen geprüft. Je umfassender die Behauptungen sind, die überprüft und nicht widerlegt werden können, desto vertrauenswürdiger ist der Inhalt. Die menschlichen Fähigkeiten sind in Bezug auf Wahrnehmung und Schnelligkeit, die für die Durchführung einer entsprechenden Prüfung erforderlich sind, begrenzt. Deshalb entwickeln wir Lösungen und Verfahren, die den Prüfprozess unterstützen. Dazu gehören:

  • Technologien für die Analyse von Aufnahme-, Bearbeitungs- und Synthesespuren innerhalb des A/V-Materials , um zu verstehen, ob und wie das Material aufgenommen, kodiert, bearbeitet oder synthetisiert wurde. Die gewonnen Informationen werden anschließend zur Falsifizierung und insbesondere für die Erkennung und Lokalisierung von Manipulation und Synthese genutzt.
  • Technologien für die Analyse der Herkunft der Inhalte , d. h. der Beziehungen zwischen verschiedenen A/V-Inhalten, um zu verstehen, ob und wie die Inhalte wiederverwendet und transformiert wurden und in welcher Reihenfolge sie erstellt wurden (einschließlich der Erkennung von »Ursprungselementen«).
  • Technologien für die automatische Annotation von A/V-Material, um in möglichst kurzer Zeit relevantes Material für die Content Verifikation zu recherchieren, d. h. über ein bestimmtes Ereignis, eine bestimmte Person oder um Informationen über besondere Umstände abzurufen, die für den Überprüfungsprozess verwendet werden können, d. h. akustische Szenenklassifizierung und Ereigniserkennung.

Wir konzentrieren uns dabei in erster Linie auf eine breite technologische Abdeckung für den Audiobereich und arbeiten mit anderen Organisationen zusammen, die sich auf andere Aufgaben und Modalitäten spezialisiert haben. Ziel ist die Bereitstellung einer umfassenden Auswahl von Werkzeugen, die eine Überprüfung von Inhalten erweitern und beschleunigen können.

Darüber hinaus bieten wir Technologien für aktive Medienauthentifizierung an, die auf einer Kombination aus digitalen Signaturen und Signalanalyse beruhen. Die Idee: Anbieter von Inhalten signieren und „markieren" proaktiv ihre Inhalte und zugehörige Metadaten, einschließlich synthetischer Inhalte, damit andere Beteiligte ihre Authentizität nachträglich überprüfen können. Beide Ansätze, sowohl die (passive) Falsifizierung als auch die (aktive) Authentifizierung, haben jeweils Vor- und Nachteile. Wir denken, dass sich beide Ansätze keinesfalls ausschließen, sondern im Gegenteil ergänzen, und wo möglich auch gemeinsam betrachtet und eingesetzt werden sollten.

Methodik

Die medienforensische Forschung umfasst verschiedene Disziplinen, wie Signalanalyse, Maschinelles Lernen, aber auch Sicherheitsaspekte. Wir konzentrieren uns auf den Audiobereich und eine Kombination aus Signalanalyse und Maschinellem Lernen. Beide bieten spezifische und sich teilweise ergänzende Vor- und Nachteile in Bezug auf Interpretierbarkeit bzw. Erklärbarkeit, Robustheit und anderer Aspekte.

Aus unserer Sicht gibt es mehrere besonders Herausforderungen in der medienforensischen Forschung, die adressiert werden müssen:

  • Die Technologien müssen so konzipiert und entwickelt werden, dass zukünftige Anwenderinnen und Anwender befähigt werden, im Rahmen des Überprüfungsprozesses die bestmöglichen Entscheidungen zu treffen. Dazu gehört auch die Berücksichtigung von Vertrauensaspekten, vor allem von Erklärbarkeit, Adressierung von „Sample Bias“, indem eine geeignete Auswahl von Trainingsdaten sichergestellt wird, und Robustheit gegenüber Angriffen und Generalisierbarkeit. Alle Aspekte müssen durch eine systematische Evaluation unterstützt werden.
  • Wir müssen eine „Falsifikationskultur" schaffen, die sicherstellt, dass gemeinsam mit den zu überprüfenden Inhalte auch genügend Informationen bereitgestellt werden, um einen fundierten Überprüfungsprozess zu ermöglichen.
  • Wir müssen mit anderen Disziplinen zusammenzuarbeiten, die für die Desinformationsanalyse relevant sind. Dazu gehören unter anderem Textanalyse, visuelle Analyse, Analyse sozialer Netzwerke, etc. Gleichzeitig muss die Desinformationsanalyse als ein komplexes Zusammenspiel von Technologie, Markt, Gesetz und Normen verstanden werden.
  • Medienforensik ist ein Katz-und-Maus-Spiel, das kontinuierliche Forschung und Entwicklung und nachhaltige Geschäftsmodelle sowie Kooperation zwischen Unternehmen und Forschungseinrichtungen erfordert – eine Finanzierung solcher Aktivitäten ausschließlich über öffentlich geförderte Projekte wird nicht ausreichen.
  • Bias ist nicht nur eine Herausforderung für die eingesetzten KI-Technologien, sondern auch für die Menschen, die sich mit der Überprüfung von Inhalten auseinandersetzen und dafür Technologien einsetzen. Es sind organisatorische und technische Maßnahmen erforderlich, um dem entgegenzuwirken.