Videoanalyse

Analyse und Annotation von Audio- und Videoinhalten

Bild- und Videoanalyse mit Schwerpunkt auf Gesichtsanalyse

Im Bereich Videoanalyse entwickeln wir Lösungen für kundenspezifische Problemstellungen in den Bereichen Medien, Sicherheit und Biodiversität, die durch Standardlösungen nicht abgedeckt sind.

Für die Beantwortung konkreter Fragestellungen aus Forschung und Entwicklung kombinieren wir dabei etablierte Verfahren und Methoden des maschinellen Lernens und der Bildanalyse, die je nach Anwendungsfall neu zusammengestellt und bei Bedarf individuell trainiert und optimiert werden.

Dazu gehören die maßgeschneiderte Entwicklung und Integration von Software-Lösungen zur Gesichtsanalyse, das problemspezifische Training von Modellen und deren Bereitstellung sowie die Evaluation und das Benchmarking von Verfahren und Lösungen rund um Gesichtsanalyse und maschinelles Lernen.

Aktuelles

 

Messe / 13.9.2024

IBC 2024

Zur IBC 2024 in Amsterdam präsentieren wir unsere kombinierte Gesichts- und Sprecheranalyse für die Messung der Medienpräsenz

 

Workshop

WSDB 2024

Am 5. und 6. November 2024 veranstalten wir den 18. Workshop for Digital Broadcasting and Media 2024 in Erfurt.

 

Press Release / 21.11.2023

MaLisa-Studie 2023

Studie zum Klimawandel im deutschen Fernsehprogramm: Fraunhofer IDMT analysiert 20 TV-Sender

Gesichtsanalyse als Anwendung der Computer Vision

Die Computer Vision prägt und treibt maßgeblich die Forschung und Entwicklung auf den Gebieten des maschinellen Lernens und der künstlichen Intelligenz. Gerade die Gesichtsanalyse spielt hier eine zentrale Rolle.

Das Gesicht ist das wichtigste äußerliche Kennzeichen eines Menschen und besteht aus einer einzigartigen Kombination von individuellen Merkmalen. Anhand dieser Merkmale lassen sich nicht nur bekannte von unbekannten Personen unterscheiden. Sie helfen auch dabei, bspw. Alter oder Gemütszustand von Personen einzuschätzen.

Die Gesichtsanalyse ordnet sich als Teilgebiet der Bild- und Videoanalyse in den Bereich Computer Vision ein, der sich mit der computergestützten Verarbeitung und Analyse von Kameraaufnahmen befasst. Sie umfasst die automatische Gewinnung zahlreicher Informationen aus Bild- und Videoaufnahmen von Gesichtern. So können Merkmale extrahiert werden, die für die Erkennung bzw. Wiedererkennung von Personen, aber auch für die Unterscheidung z. B. nach Alter oder wahrgenommenem Geschlecht genutzt werden können.

Effiziente Verarbeitung von Videodaten und wissenschaftliche Bewertung der Verfahren

Die durch Kameraaufnahmen gewonnen Datenmengen sind insbesondere im Bereich Video im Vergleich zu anderen Sensoriken vergleichsweise groß. Daraus ergeben sich Herausforderungen an die gesamte Prozesskette, die sich unter anderem in der Komplexität der verwendeten Netzwerke, der Größe der Modelle und der erforderlichen Rechenleistung zeigen. Im Vergleich zur Verarbeitung von Einzelbildern erhöhen sich diese Anforderungen bei der Analyse von Videos noch einmal dramatisch.

Hierbei ergeben sich verschiedene Herausforderungen und Fragestellungen:

  • Wie können Verfahren und Abläufe von Standbild auf Bewegtbild übertragen werden?
  • Wie lassen sich vorhandene Gesichtsmodelle und Analyseabläufe weiter optimieren?
  • Wie lassen sich die KI/ML-Modelle wissenschaftlich fundiert bewerten und korrigieren, um Verfälschungen der Ergebnisse (Bias) zu vermeiden?
  • Wie lässt sich die Genauigkeit bei Geschlechts- und Alterseinstufungen weiter steigern?
  • Wie lassen sich Analyseabläufe auch auf kleinen Geräten (SoC) umsetzen?

Neben den technischen Herausforderungen stellen sich gerade bei der Gesichtsanalyse auch Fragen zur gesellschaftlichen Akzeptanz (Persönlichkeits- und Datenschutz) sowie zu Fairness und Vertrauenswürdigkeit (Bias).

 

Forschungsprojekt

SAISBECO

Software für Biodiversitätsmonitoring, die automatisch einzelne Bilder, Video- und Audioaufnahmen nach Sequenzen mit Menschenaffen durchsucht

 

Forschungsprojekt

iMediaCities

Entwicklung einer digitalen Plattform, um das audiovisuelle Kulturerbe der europäischen Städte zugänglich zu machen 

 

Forschungsprojekt

SPADE

Intelligentes Ökosystem zur Entwicklung von Drohnen und unbemannten Flugobjekten

 

White paper

ConstructionsAIt

Multimodale KI-basierte Technologien zur automatischen Baustellenüberwachung

 

Forschungsprojekt

Medienanalyse

Analyse von 20 TV-Sendern für Studie zum Klimawandel im deutschen Fernsehprogramm der MaLisa Stiftung

Produkte

 

Facial Analysis Technologies

KI-basierte Technologien zur Analyse von Gesichtern

 

MaskCognizer

KI-basierte Maskenerkennung umgesetzt auf einem Jetson nano

 

IDCheck

KI-basierte Überprüfung von Identitäten

 

InsightPersona

Kombinierte Gesichts- und Sprechererkennung für die automatische Analyse umfangreicher Medienarchive

Dienstleistungen

  • Visual AI Assessment: Technische Evaluation von Verfahren, Komponenten und Systemen im Bereich Audio- und Videoanalyse

Jahr
Year
Titel/Autor:in
Title/Author
Publikationstyp
Publication Type
2024 AUTH-Sheep: An Annotated Video Dataset for Detection and Tracking of Sheep in UAV Imagery
Doll, Oliver; Loos, Alexander
Konferenzbeitrag
Conference Paper
2023 Comparison of Object Detection Algorithms for Livestock Monitoring of Sheep in UAV images
Doll, Oliver; Loos, Alexander
Vortrag
Presentation
2022 Web-based Auralization of Noise Protection Measures in Urban Living Spaces
Fiedler, Bernhard; Millitzer, Jonathan; Weigel, Christian; Mees, Valentin; Loos, Alexander; Lorenz, Wolfgang; Sladeczek, Christoph; Bös, Joachim
Konferenzbeitrag
Conference Paper
2022 Construction-sAIt: Multi-modal AI-driven technologies for construction site monitoring
Abeßer, Jakob; Loos, Alexander; Sharma, Prachi
Konferenzbeitrag
Conference Paper
2018 I-Media-Cities: Automatic Metadata Enrichment of Historic Media Content
Loos, Alexander; Weigel, Christian
Konferenzbeitrag
Conference Paper
2018 Towards Automatic Detection of Animals in Camera-Trap Images
Loos, Alexander; Koehler, Mona; Weigel, Christian
Konferenzbeitrag
Conference Paper
2017 Automated face detection for occurrence and occupancy estimation in chimpanzees
Crunchant, A.-S.; Egerer, M.; Loos, A.; Burghardt, T.; Zuberbühler, K.; Corogenes, K.; Leinert, V.; Kulik, L.; Kühl, H.S.
Zeitschriftenaufsatz
Journal Article
2016 Chimpanzee faces in the wild: Log-euclidean CNNs for predicting identities and attributes of primates
Freytag, A.; Rodner, E.; Simon, M.; Kühl, H.S.; Denzler, J.; Loos, A.
Konferenzbeitrag
Conference Paper
2015 Face recognition for great apes: Identification of primates in videos
Loos, Alexander; Kalyanasundaram, Talat Anand Mohan
Konferenzbeitrag
Conference Paper
2013 Chimpanzee identification using global and local features
Loos, Alexander
Konferenzbeitrag
Conference Paper
2013 Synthesising unseen image conditions to enhance classification accuracy for sparse datasets: Applied to chimpanzee face recognition
Sandwell, Roz; Loos, Alexander; Burghardt, Tilo
Konferenzbeitrag
Conference Paper
2013 An automated chimpanzee identification system using face detection and recognition
Loos, Alexander; Ernst, Andreas
Zeitschriftenaufsatz
Journal Article
2012 Identification of Great Apes using Gabor features and Locality Preserving Projections
Loos, Alexander
Konferenzbeitrag
Conference Paper
2011 Facial recognition for primate photo identification
Loos, Alexander; Pfitzer, Martin; Aporius, Laura
Konferenzbeitrag
Conference Paper
2011 Identification of great apes using face recognition
Loos, Alexander; Pfitzer, Martin; Aporius, Laura
Konferenzbeitrag
Conference Paper
2011 Automated detection of errors and quality issues in audio-visual content
Kühhirt, U.; Paduschek, R.; Nowak, S.
Konferenzbeitrag
Conference Paper
2010 SAISBECO - a semi-automated audiovisual species and individual identification system for behavioral ecological research and conservation
Loos, Alexander; Kühl, Hjalmar
Konferenzbeitrag
Conference Paper
Diese Liste ist ein Auszug aus der Publikationsplattform Fraunhofer-Publica

This list has been generated from the publication platform Fraunhofer-Publica