Automatische Musikanalyse

Reiternavigation

Forschung

Musikdaten verstehen

Wie finde ich schnell ein passendes Musikstück in einem großen Musikkatalog? Kann ich mir automatisch den passenden Beat für eine Musikproduktion empfehlen lassen, an der ich gerade arbeite? Welche Programme in meinem Archiv sind die erfolgreichsten? Das sind typische Fragestellungen, bei denen unsere Technologien zur Musikanalyse helfen können.

Audiosignalverarbeitung und maschinelles Lernen haben die Musikanalyse grundlegend verändert. Die multidisziplinäre Forschungsrichtung „Music Information Retrieval“ umfasst Algorithmen und Techniken zur Extraktion musikalischer Informationen aus Audiodaten, um sie in interpretierbare Formate zu überführen. Die Ergebnisse kommen in Bereichen wie Broadcast Monitoring, Musiksuche und -empfehlung, Musikproduktion, Content Tracking und Musiklernprogramme zum Einsatz.

KI-basierte Musikanalysetechnologien

Allgemeine Herausforderungen in der automatischen Musikanalyse umfassen die Verarbeitung großer Datenmengen, die Berücksichtigung von Musikvielfalt und -kontext, die Robustheit gegenüber Variationen in der Aufnahmequalität sowie die effiziente Integration von Echtzeit-Analysealgorithmen für verschiedene Anwendungsbereiche.

Audio-Matching

Audio-Matching via Audio-Fingerprinting ermöglicht das Auffinden bestimmter Audioaufnahmen in Musiksammlungen und Streams. Dafür werden Medieninhalte anhand akustischer Fingerabdrücke verglichen und identifiziert. Das Audio-Matching wird zur Analyse der Musiknutzung im Broadcast-Monitoring, für Content-Tracking-Anwendungen, Archiv-Pflege sowie in Musiksuchmaschinen und Empfehlungssystemen eingesetzt.

Am Fraunhofer IDMT erforschen wir unter anderem, wie man die Genauigkeit und Effizienz der Audio-Matching-Techniken weiter verbessern kann, um eine präzisere Erkennung und Identifizierung von Medieninhalten zu ermöglichen.

Annotation und Ähnlichkeitssuche für Musik

Die Annotation und Ähnlichkeitssuche für Musik erleichtern die Organisation von Musiksammlungen und vereinfachen den Zugriff auf musikalische Inhalte. Durch die Verwendung von Metadaten können Such- und Empfehlungssysteme vielseitig eingesetzt werden, um automatisiert passende Musik oder musikalische Elemente zu finden – zum Beispiel in Streamingdiensten für Endnutzer oder in der Musikproduktion.

Wir arbeiten daran, die Annotation und Ähnlichkeitssuche insbesondere für große und vielfältige Musiksammlungen weiter zu verbessern und Benutzerpräferenzen und kontextuelle Informationen noch stärker zu berücksichtigen.

Automatische Musiktranskription

Bei der automatischen Musiktranskription werden akustische Musiksignale in eine symbolische Musiknotation überführt und musikalische Strukturen wie Melodien, Akkorde und Rhythmen extrahiert. Eingesetzt werden diese Techniken in Musiklernprogrammen, in der Musikspielentwicklung und in musiktheoretischen Studien.

Die besonderen Herausforderungen der automatischen Musiktranskription liegen darin, komplexe musikalische Strukturen auch bei polyphonen Musikstücken oder in Situationen mit Hintergrund- und Störgeräuschen präzise, zuverlässig und in Echtzeit zu erfassen.

Automatische Musikgenerierung

Die automatische Musikgenerierung umfasst die Entwicklung von Algorithmen und KI-Systemen, die eigene kreative Musikstücke oder Teile davon erzeugen können. Von der automatischen Unterstützung im Musikproduktionsprozess und bei Live-Aufführungen bis hin zur Melodiegenerierung auf der Grundlage von Harmonien eröffnet die automatische Musikgenerierung neue kreative Ansätze in der Musikkomposition und -produktion.

Die automatische Musikgenerierung ist noch ein junges Forschungsfeld und erfordert weitere Fortschritte, um realistische und kohärente musikalische Ergebnisse zu erzeugen, die auch den Erwartungen von Musikschaffenden und Hörerinnen und Hörern entsprechen. Am Fraunhofer IDMT forschen wir daran, den Kompositionsprozess der KI transparent und steuerbar zu machen und so die kreative Zusammenarbeit von Musikschaffenden und KI zu unterstützen.

Projekte und Aktivitäten

Forschungsprojekt

Musik-Automat

Entwicklung einer KI-basierten Kompositions-App

Musik-Automat

Forschungsprojekt

ISAD 2

Entwicklung von erklärbaren und nachvollziehbare Deep‐Learning‐Modellen für ein besseres Verständnis der strukturellen und akustischen Eigenschaften von Klangquellen (Musik, Umwelt- und Umgebungsgeräusche)

ISAD 2

Forschungsprojekt

AI4Media

Exzellenzprojekt für KI im Medienbereich – unsere Beiträge: Audioforensik, Audio-Herkunftsanalyse, Musikanalyse, technischer Datenschutz und Empfehlungssysteme

AI4Media

Referenzprojekt

Jamahook – AI Sound Matching

Suchmaschine für Loops und Beats basierend auf SoundsLike

Jamahook

Referenzprojekt

SWR Media Services

Audio Matching Software für automatisches Werbemonitoring von SWR Radioprogrammen

SWR Media Services

Forschungsprojekt

MusicBricks

Musical Building Blocks for Digital Makers and Content Creators: Innovative IKT Komponenten für KMU im Kreativbereich für die Entwicklung neuer Geschäftsmodelle

MusicBricks

Forschungsprojekt

SyncGlobal

Weltmusikkataloge nach dramaturgischen Kriterien durchsuchen und mit Videoinhalten synchronisieren

syncglobal

Forschungsprojekt

GlobalMusic2one

Adaptive, hybride Suchtechnologien für die automatisierte Empfehlung und Online-Vermarktung globaler Musikbestände

GlobalMusic2one

Forschungsprojekt

MuSEc

Audioanalyse und datenschutzfreundliche Nutzungsmessung für Audio Monitoring

Forschungsprojekt

Emused

Interaktive App, mit der sich das Improvisieren auf einem Instrument erlernen lässt

emused

Forschungsprojekt

MiCO

Plattform für multimodale und kontextbasierte Analyse, in die unterschiedlichste Analysekomponenten für verschiedene Medientypen integriert werden können

MICO

Leistungsangebot

Produkte

SoundsLike

KI-basiertes Taggen und Suchen in großen Musikarchiven

Soundslike

Audio Matching

Einen bestimmten Audioausschnitt innerhalb eines Streams oder einer Datei wiederfinden – auch bei Störgeräuschen oder anhand eines sehr kurzen Audiobeispiels

Audio Matching

Sprach- und Musikdetektor

Software-Tool zur exakten Aufzeichnung von Musik- und Sprachanteilen für optimierte Radio- und TV-Programme und zur gerechten Abrechnung für Rechteverwerter

Sprach- und Musikdetektor

Automatische Musiktranskription

Umwandlung von akustischen Musiksignalen in Noten für Musikspielen und Musiklernprogramme

Publikationen

Jahr Year	Titel/Autor:in Title/Author	Publikationstyp Publication Type
2024	Detecting chord tone alterations and suspensions McLeod, Andrew; Rohrmeier, Martin Alois	Zeitschriftenaufsatz Journal Article
2024	Aktuelle Forschungsschwerpunkte in der akustischen Ereignisdetektion Abeßer, Jakob; Grollmisch, Sascha; Bös, Joachim	Konferenzbeitrag Conference Paper
2023	Automatic Note-Level Score-to-Performance Alignments in the ASAP Dataset Peter, Silvan David; Cancino-Chacón, Carlos Eduardo; Foscarin, Francesco; McLeod, Andrew; Henkel, Florian; Karystinaios, Emmanouil; Widmer, Gerhard	Zeitschriftenaufsatz Journal Article
2023	Uncertainty in Semi-Supervised Audio Classification - A Novel Extension for FixMatch Grollmisch, Sascha; Cano, Estefanía; Lukashevich, Hanna; Abeßer, Jakob	Konferenzbeitrag Conference Paper
2023	An Analysis of Automatically Generated Music McLeod, Andrew	Konferenzbeitrag Conference Paper
2023	Introducing DiMCAT for processing and analyzing notated music on a very large scale Hentschel, Johannes; McLeod, Andrew; Rammos, Yannis; Rohrmeier, Martin Alois	Konferenzbeitrag Conference Paper
2022	Towards Interpreting and Improving the Latent Space for Musical Chord Recognition Nadar, Christon-Ragavan; Taenzer, Michael; Abeßer, Jakob	Konferenzbeitrag Conference Paper
2022	Multi-input Architecture and Disentangled Representation Learning for Multi-dimensional Modeling of Music Similarity Ribecky, Sebastian; Abeßer, Jakob; Lukashevich, Hanna	Zeitschriftenaufsatz Journal Article
2021	A Benchmark Dataset to Study Microphone Mismatch Conditions for Piano Multipitch Estimation on Mobile Devices Abeßer, Jakob; Bittner, Franca; Richter, Maike; Gonzalez Rodriguez, Marcel; Lukashevich, Hanna	Konferenzbeitrag Conference Paper
2021	Improving Semi-Supervised Learning for Audio Classification with FixMatch Grollmisch, Sascha; Cano, Estefanía	Zeitschriftenaufsatz Journal Article
2021	Ensemble Size Classification in Colombian Andean String Music Recordings Grollmisch, S.; Cano, E.; Mora Ángel, F.; López Gil, G.	Konferenzbeitrag Conference Paper
2021	Jazz Bass Transcription Using a U-Net Architecture Abeßer, J.; Müller, M.	Zeitschriftenaufsatz Journal Article
2021	Predominant Jazz Instrument Recognition. Empirical Studies on Neural Network Architectures Mimilakis, Stylianos I.; Abeßer, Jakob; Chauhan, Jaydeep; Pillai, Prateek Pradeep; Taenzer, Michael	Konferenzbeitrag Conference Paper
2021	A Novel Dataset for Time-Dependent Harmonic Similarity between Chord Sequences Bittner, Franca; Abeßer, Jakob; Nadar, Christon-Ragavan; Lukashevich, Hanna; Kramer, Patrick	Vortrag Presentation
2021	Towards Deep Learning Strategies for Transcribing Electroacoustic Music Abeßer, J.; Nowakowski, M.; Weiß, C.	Konferenzbeitrag Conference Paper
2020	Cross-Version Singing Voice Detection in Opera Recordings: Challenges for Supervised Learning Mimilakis, Stylianos Ioannis; Weiss, Christof; Arifi-Müller, Vlora; Abeßer, Jakob; Müller, Meinard	Konferenzbeitrag Conference Paper
2019	Musical Source Separation Cano, E.; FitzGerald, D.; Liutkus, A.; Plumbley, M.D.; Stöter, F.-R.	Zeitschriftenaufsatz Journal Article
2019	Investigating CNN-based Instrument Family Recognition for Western Classical Music Recordings Mimilakis, Stylianos I.; Taenzer, Michael; Abeßer, Jakob; Weiss, Christof; Müller, Meinard; Lukashevich, Hanna	Konferenzbeitrag Conference Paper
2019	Ensemble size classification in Colombian Andean string music recordings Grollmisch, Sascha; Cano, Estefanía; Mora-Ãngel, Fernando; López Gil, Gustavo A.	Konferenzbeitrag Conference Paper
2019	Towards CNN-based Acoustic Modeling of Seventh Chords for Automatic Chord Recognition Nadar, Christon-Ragavan; Abeßer, Jakob; Grollmisch, Sascha	Konferenzbeitrag Conference Paper
2019	Analysis and Visualisation of Music Wunsche, B.C.; Müller, S.; Tänzer, M.	Konferenzbeitrag Conference Paper
2019	ACMUS-MIR: A new annotated data set of Andean Colombian music Mora-Ángel, Fernando; López Gil, Gustavo A.; Cano, Estefanía; Grollmisch, Sascha	Konferenzbeitrag Conference Paper
2019	Automatic Chord Recognition in Music Education Applications Grollmisch, Sascha; Cano, Estefanía	Konferenzbeitrag Conference Paper
2018	MaD TwinNet: Masker-Denoiser Architecture with Twin Networks for Monaural Sound Source Separation Drossos, K.; Serdyuk, D.; Virtanen, T.; Bengio, Y.; Mimilakis, S.I.; Schuller, G.	Konferenzbeitrag Conference Paper
2018	Computational Corpus Analysis: A Case Study on Jazz Solos Weiß, Christof; Balke, Stefan; Abeßer, Jakob; Müller, Meinard	Konferenzbeitrag Conference Paper
2018	Improving Bass Saliency Estimation using Label Propagation and Transfer Learning Abeßer, Jakob; Balke, Stefan; Müller, Meinard	Konferenzbeitrag Conference Paper
2018	Music Technology and Education Cano, E.; Dittmar, C.; Abeßer, J.; Kehling, C.; Grollmisch, S.	Aufsatz in Buch Book Article
2018	Jazz Solo Instrument Classification with Convolutional Neural Networks, Source Separation, and Transfer Learning Gomez, Juan S.; Abeßer, Jakob; Cano, Estefanía	Konferenzbeitrag Conference Paper
2018	Harmonic-percussive source separation with deep neural networks and phase recovery Mimilakis, S.I.; Drossos, K.; Magron, P.; Virtanen, T.	Konferenzbeitrag Conference Paper
2018	Reducing interference with phase recovery in DNN-based monaural singing voice separation Mimilakis, S.I.; Magron, P.; Drossos, K.; Virtanen, T.	Konferenzbeitrag Conference Paper
2018	The dimensions of perceptual quality of sound source separation Cano, Estefanía; Liebetrau, Judith; Fitzgerald, Derry; Brandenburg, Karlheinz	Konferenzbeitrag Conference Paper
2017	Computational methods for tonality-based style analysis of classical music audio recordings Weiß, Christof	Dissertation Doctoral Thesis
2017	Automatic speech/music discrimination for broadcast signals Kruspe, Anna M.; Zapf, Dominik; Lukashevich, Hanna	Konferenzbeitrag Conference Paper
2017	Instrument-centered music transcription of solo bass guitar recordings Abeßer, Jakob; Schuller, Gerald	Zeitschriftenaufsatz Journal Article
2017	A recurrent encoder-decoder approach with skip-filtering connections for monaural singing voice separation Mimilakis, S.I.; Drossos, K.; Virtanen, T.; Schuller, G.	Konferenzbeitrag Conference Paper
2017	Data-driven solo voice enhancement for jazz music retrieval Balke, Stefan; Dittmar, Christian; Abeßer, Jakob; Müller, Meinard	Konferenzbeitrag Conference Paper
2017	Score-informed analysis of tuning, intonation, pitch modulation, and dynamics in jazz solos Abeßer, Jakob; Frieler, Klaus; Cano, Estefanía; Pfleiderer, Martin; Zaddach, Wolf-Georg	Zeitschriftenaufsatz Journal Article
2017	Deep learning for jazz walking bass transcription Abeßer, Jakob; Balke, Stefan; Frieler, Klaus; Pfleiderer, Martin; Müller, Meinard	Konferenzbeitrag Conference Paper
2017	Exploring sound source separation for acoustic condition monitoring in industrial scenarios Cano, Estefanía; Nowak, Johannes; Grollmisch, Sascha	Konferenzbeitrag Conference Paper
2017	Soundslike - automatic content-based music annotation and recommendation for large databases Grollmisch, Sascha; Lukashevich, Hanna	Konferenzbeitrag Conference Paper
2016	Automatic best take detection for electric guitar and vocal studio recordings Bönsel, Carsten; Abeßer, Jakob; Grollmisch, Sascha; Mimilakis, Stylianos-Ioannis	Konferenzbeitrag Conference Paper
2016	New sonorities for jazz recordings: Separation and mixing using deep neural networks Cano, Estefanía; Abeßer, Jakob; Schuller, Gerald; Mimilakis, Stylianos-Ioannis	Konferenzbeitrag Conference Paper
2016	Towards evaluating multiple predominant melody annotations in jazz recordings Balke, Stefan; Driedger, Jonathan; Abeßer, Jakob; Dittmar, Christian; Müller, Meinard	Konferenzbeitrag Conference Paper
2016	Bootstrapping a system for phoneme recognition and keyword spotting in unaccompanied singing Kruspe, Anna M.	Konferenzbeitrag Conference Paper
2016	Retrieval of textual song lyrics from sung inputs Kruspe, Anna M.	Konferenzbeitrag Conference Paper

Diese Liste ist ein Auszug aus der Publikationsplattform Fraunhofer-Publica

This list has been generated from the publication platform Fraunhofer-Publica

Audiosignalverarbeitung und maschinelles Lernen für die Musikanalyse

Überblick

Aktuelles

Werbemonitoring für SWR Radio

DataTech 2024

Mit der KI im musikalischen Frage-Antwort-Spiel

Reiternavigation

Forschung

Musikdaten verstehen

KI-basierte Musikanalysetechnologien

Audio-Matching

Annotation und Ähnlichkeitssuche für Musik

Automatische Musiktranskription

Automatische Musikgenerierung

Projekte und Aktivitäten

Musik-Automat

ISAD 2

AI4Media

Jamahook – AI Sound Matching

SWR Media Services

MusicBricks

SyncGlobal

GlobalMusic2one

MuSEc

Emused

MiCO

Leistungsangebot

Produkte

SoundsLike

Audio Matching

Sprach- und Musikdetektor

Automatische Musiktranskription

Publikationen

Datensätze

Contact Press / Media

Hanna Lukashevich