Mit der A/V-Analyzing Toolbox werden dem Nutzer QC-Komponenten bereitgestellt, die es ihm ermöglichen, qualitative Störungen in Audio- und Videodaten aufzuspüren. Darüber hinaus helfen die automatisiert gewonnenen Metadaten dabei, Videomaterial automatisiert in zeitliche Segmente und Keyframes zu zerlegen (Temporal Video Segmentation) und Kamerabewegungen wie  Pan, Tilt, Zoom oder auch Kamerawackler einfach zu detektieren (Video Motion Detection) sowie Sprache und Musik zu unterscheiden. Mit dem neuesten Tool zur Gesichtserkennung ist es außerdem möglich, Gesichter in Einzel- und Bewegtbildern zu erkennen und automatisch bestimmten Personen, z. B. Schauspielern, zuzuordnen.

Ein weiterer Anwendungsbereich für die A/V-Analyse des Fraunhofer IDMT ist die segmentbasierte Identifizierung von Videomaterial. Viele TV-Sender greifen bei ihren Berichterstattungen oftmals auf Filmmaterial von Agenturen zurück und verändern es z. B. durch Einblendungen oder in der Reihenfolge der Bild- und Tonanteile. Das macht die Suche nach Beiträgen in Archiven oder im Internet schwierig. Unterstützung liefern hier Verfahren zur Identifizierung von Videosegmenten, die aus derselben Aufnahme bzw. Quelle stammen. Dafür werden Fingerprints aus den Videos extrahiert und in einem mehrstufigen, automatisch ablaufenden Prozess miteinander verglichen. Damit lässt sich z. B. herausfinden, in welcher Berichterstattung dasselbe Material zum Einsatz kam und welche Fernsehsender über ein bestimmtes Thema berichtet haben. Das erleichtert das Verfolgen von Rechte- und Herkunftsinformationen, vermeidet das unnötige Vorhalten von Duplikaten und erlaubt die Überwachung der Integrität von Videosegmenten.

Ergänzt werden solche Verfahren durch neu entwickelte Audioforensik-Werkzeuge, die bei Aufnahmen eingesetzte Mikrofone identifizieren, Schnitte im Audiomaterial lokalisieren und vorhergehende Codierungsschritte und deren Parameter erkennen können.

Diese Verfahren können die segmentbasierte Video-Identifizierung durch eine Berücksichtigung von Informationen aus der Audiospur verbessern. Außerdem kann damit die technische Qualitätsprüfung erweitert werden, z. B. indem Codec und Bitrate früherer Codierungsschritte automatisch erkannt und damit die Verwendung von minderwertigem Material oder eine unabsichtliche Mehrfachcodierung vermieden werden. Weiterhin lassen sich mit diesen Verfahren Schritte und Verarbeitungsparameter im Produktionsablauf automatisch annotieren. Oftmals werden diese durch die Bearbeiter mangels Zeit nur unvollständig und fehlerhaft festgehalten, obwohl sie für eine nachträgliche Suche und das Management großer Datenmengen unabdingbar sind, wie z. B. die zur Aufnahme eingesetzten Geräte.

Vor allem können die beschriebenen Audioforensik-Werkzeuge aber auch bei der Prüfung helfen, ob vermeintlich authentische Audiomitschnitte auch tatsächlich nach der Aufnahme geschnitten wurden, um deren Bedeutung zu verfremden. Dies kann beispielsweise bei der Verwendung von nutzergenerierten Inhalten für journalistische Recherchen von großer Bedeutung sein.

Besuchen Sie uns zur IBC am Fraunhofer-Gemeinschaftstand B80 in Halle 8. Wir freuen uns auf Ihren Besuch.