Fraunhofer-Institut für Digitale Medientechnologie IDMT
Fraunhofer-Institut für Digitale Medientechnologie IDMT

Automatische Musikanalyse

Analyse und Annotation von Audio- und Videoinhalten

Audiosignalverarbeitung und maschinelles Lernen für die Musikanalyse

Audiosignalverarbeitung und maschinelles Lernen revolutionieren die Musikanalyse. Von Audio-Matching über Annotation und Ähnlichkeitssuche bis hin zur automatischen Musiktranskription und -generierung eröffnen sich dadurch neue Anwendungsmöglichkeiten für Broadcast Monitoring, Musiksuche und -empfehlung, Musikproduktion und Musiklernprogramme.

Unser Ziel ist es, mit unseren Ansätzen und Techniken zur automatischen Musikanalyse einen schnellen und maßgeschneiderten Zugriff auf musikalische Inhalte zu ermöglichen. Wir entwickeln praxisorientierte Lösungen, die in verschiedenen Anwendungsbereichen wie Unterhaltung, Bildung und Musikproduktion zur Anwendung kommen. Neben der Verbesserung bestehender Technologien, wollen wir neue Anwendungsmöglichkeiten für die automatische Musikanalyse aufzeigen und wirken an der Weiterentwicklung von Algorithmen und Methoden mit.

Aktuelles

 

Event / 17.3.2025

DAS I DAGA 2025

Wir präsentieren unsere Forschungsarbeiten zur 51. Jahrestagung für Akustik. Besuchen Sie uns am Stand B4-34. 

DAS I DAGA 2025
 

Event / 11.3.2025

Data Technology Seminar 2025

Vortrag "Cross-modal content analysis: finding, identifying and analyzing people in media" zum EBU event für Innovatoren in KI, Data und Medientechnologie.

DTS 2025
 

© Fraunhofer IDMT/bongkarn - stock.adobe.com

Pressemitteilung / 12.4.2024

Werbemonitoring für SWR Radio

Unser Audio Matching ersetzt manuelle Überprüfung ausgestrahlter Werbespots 

SWR Media Services
Alle ausklappen Alle einklappen

Forschung

Musikdaten verstehen

Wie finde ich schnell ein passendes Musikstück in einem großen Musikkatalog? Kann ich mir automatisch den passenden Beat für eine Musikproduktion empfehlen lassen, an der ich gerade arbeite? Welche Programme in meinem Archiv sind die erfolgreichsten? Das sind typische Fragestellungen, bei denen unsere Technologien zur Musikanalyse helfen können.

Audiosignalverarbeitung und maschinelles Lernen haben die Musikanalyse grundlegend verändert. Die multidisziplinäre Forschungsrichtung „Music Information Retrieval“ umfasst Algorithmen und Techniken zur Extraktion musikalischer Informationen aus Audiodaten, um sie in interpretierbare Formate zu überführen. Die Ergebnisse kommen in Bereichen wie Broadcast Monitoring, Musiksuche und -empfehlung, Musikproduktion, Content Tracking und Musiklernprogramme zum Einsatz.

KI-basierte Musikanalysetechnologien

Allgemeine Herausforderungen in der automatischen Musikanalyse umfassen die Verarbeitung großer Datenmengen, die Berücksichtigung von Musikvielfalt und -kontext, die Robustheit gegenüber Variationen in der Aufnahmequalität sowie die effiziente Integration von Echtzeit-Analysealgorithmen für verschiedene Anwendungsbereiche.

Audio-Matching

Audio-Matching via Audio-Fingerprinting ermöglicht das Auffinden bestimmter Audioaufnahmen in Musiksammlungen und Streams. Dafür werden Medieninhalte anhand akustischer Fingerabdrücke verglichen und identifiziert. Das Audio-Matching wird zur Analyse der Musiknutzung im Broadcast-Monitoring, für Content-Tracking-Anwendungen, Archiv-Pflege sowie in Musiksuchmaschinen und Empfehlungssystemen eingesetzt.
 

Am Fraunhofer IDMT erforschen wir unter anderem, wie man die Genauigkeit und Effizienz der Audio-Matching-Techniken weiter verbessern kann, um eine präzisere Erkennung und Identifizierung von Medieninhalten zu ermöglichen.

Annotation und Ähnlichkeitssuche für Musik

Die Annotation und Ähnlichkeitssuche für Musik erleichtern die Organisation von Musiksammlungen und vereinfachen den Zugriff auf musikalische Inhalte. Durch die Verwendung von Metadaten können Such- und Empfehlungssysteme vielseitig eingesetzt werden, um automatisiert passende Musik oder musikalische Elemente zu finden  – zum Beispiel in Streamingdiensten für Endnutzer oder in der Musikproduktion.


Wir arbeiten daran, die Annotation und Ähnlichkeitssuche insbesondere für große und vielfältige Musiksammlungen weiter zu verbessern und Benutzerpräferenzen und kontextuelle Informationen noch stärker zu berücksichtigen.

Automatische Musiktranskription

Bei der automatischen Musiktranskription werden akustische Musiksignale in eine symbolische Musiknotation überführt und musikalische Strukturen wie Melodien, Akkorde und Rhythmen extrahiert. Eingesetzt werden diese Techniken in Musiklernprogrammen, in der Musikspielentwicklung und in musiktheoretischen Studien.


Die besonderen Herausforderungen der automatischen Musiktranskription liegen darin, komplexe musikalische Strukturen auch bei polyphonen Musikstücken oder in Situationen mit Hintergrund- und Störgeräuschen präzise, zuverlässig und in Echtzeit zu erfassen.

Automatische Musikgenerierung

Die automatische Musikgenerierung umfasst die Entwicklung von Algorithmen und KI-Systemen, die eigene kreative Musikstücke oder Teile davon erzeugen können. Von der automatischen Unterstützung im Musikproduktionsprozess und bei Live-Aufführungen bis hin zur Melodiegenerierung auf der Grundlage von Harmonien eröffnet die automatische Musikgenerierung neue kreative Ansätze in der Musikkomposition und -produktion.


Die automatische Musikgenerierung ist noch ein junges Forschungsfeld und erfordert weitere Fortschritte, um realistische und kohärente musikalische Ergebnisse zu erzeugen, die auch den Erwartungen von Musikschaffenden und Hörerinnen und Hörern entsprechen. Am Fraunhofer IDMT forschen wir daran, den Kompositionsprozess der KI transparent und steuerbar zu machen und so die kreative Zusammenarbeit von Musikschaffenden und KI zu  unterstützen.