Im Mittelpunkt der Forschungsaktivitäten steht die Entwicklung von Technologien für die umfassende Analyse und Annotation von Audio- und Videoinhalten mittels Signalanalyse und Maschinellem Lernen. Die Extraktion von Metadaten aus Mediendaten liefert die Basis für zahlreiche Anwendungen wie z. B. automatische Verschlagwortung, inhaltsbasierte Suche und Empfehlungssysteme.
Die Nutzung und Verwertung audiovisueller Inhalte steht und fällt mit der Verfügbarkeit aussagekräftiger Metadaten – also von Daten, die Daten beschreiben. Sie liefern die Basis zum Auffinden, Sortieren und Kategorisieren der einzelnen Inhalte, und zur Realisierung von Empfehlungssystemen. Technologien zur automatischen Extraktion von Metadaten sind deshalb entscheidend, um Medieninhalte wirklich zugänglich und nutzbar zu machen.
Die Entwicklung von Technologien zur automatischen Analyse und Annotation von audiovisuellen Daten erfordert fundierte Kenntnisse in den Bereichen Signalverarbeitung und Maschinelles Lernen sowie ein gutes Verständnis der zugrundeliegenden Anforderungen.
Eine weitere Herausforderung stellen die multimodale Analyse und Orchestrierung dar: Die Extraktion von Metadaten aus Audio-, Video- und Bilddateien umfasst eine Vielzahl von Prozessen, die von der Vorverarbeitung über die Merkmalsextraktion bis hin zur Klassifizierung reichen. Dabei werden unterschiedliche Methoden und Technologien eingesetzt, die flexibel integriert und orchestriert werden müssen. Die Integration von heterogenen Daten aus unterschiedlichen Quellen und Formaten erfordert zudem die Auswahl oder Entwicklung geeigneter Datenmodelle und Metadaten-Standards. Medienarchive zeichnen sich häufig durch große Datenmengen aus, was besondere Anforderungen an die Systemarchitektur und die Effizienz und Optimierung der eingesetzten Algorithmen stellt.
Darüber hinaus beschäftigen wir uns mit Metadaten-Standards und der Integration und Orchestrierung von Analyse-Komponenten. Wir adressieren zudem Datenschutzfragen und andere Aspekte vertrauenswürdiger KI, um die Bereitstellung von umfassenden Lösungen für konkrete Anwendungsanforderungen zu ermöglichen.
Eingesetzt werden die beschriebenen Technologien insbesondere zur Verschlagwortung und Erschließung von A/V-Archiven, für Empfehlungssysteme und Programmanalyse, Content-Tracking und Rechtemanagement, aber auch für die audio-visuelle Biodiversitätsmessung, sowie zur Unterstützung von Desinformationserkennung.
| Jahr Year | Titel/Autor:in Title/Author | Publikationstyp Publication Type |
|---|---|---|
| 2024 | Visual and audio scene classification for detecting discrepancies in video: a baseline method and experimental protocol Apostolidis, Konstantinos; Abeßer, Jakob; Cuccovillo, Luca; Vasileios, Mezaris |
Konferenzbeitrag Conference Paper |
| 2022 | Construction-sAIt: Multi-modal AI-driven technologies for construction site monitoring Abeßer, Jakob; Loos, Alexander; Sharma, Prachi |
Konferenzbeitrag Conference Paper |
| 2016 | A workflow for cross media recommendations based on linked data analysis Aichroth, P.; Berndl, E.; Weißgerber, T.; Kosch, H.; Köllmer, T. |
Konferenzbeitrag Conference Paper |
| 2015 | MICO - Media in Context Aichroth, P.; Kurz, T.; Stadler, H.; Drewes, F.; Björklund, J.; Schlegel, K.; Berndl, E.; Perez, A.; Bowyer, A.; Volpini, A.; Weigel, C. |
Konferenzbeitrag Conference Paper |
| 2011 | Automated detection of errors and quality issues in audio-visual content Kühhirt, U.; Paduschek, R.; Nowak, S. |
Konferenzbeitrag Conference Paper |
| 2008 | Personal television: A crossmodal analysis approach Dunker, Peter; Gruhne, Matthias; Sturtz, S. |
Konferenzbeitrag Conference Paper |
Fraunhofer-Institut für Digitale Medientechnologie IDMT