Fraunhofer-Institut für Digitale Medientechnologie IDMTDie Entwicklung computergestützter Methoden zur Analyse, Segmentierung und Klassifizierung von Musiksignalen ist im Music Information Retrieval von zentraler Bedeutung. Eine Herausforderung ist dabei nach wie vor die Detektion der Gesangsstimme. Ziel ist es, automatisch alle Abschnitte einer Musikaufnahme zu erkennen, in denen ein Sänger zu hören ist. Was für das menschliche Gehör kein Problem darstellt, ist aufgrund komplexer Überlagerungen von Schallquellen, die durch das Zusammenspiel von Melodiestimme und Begleitinstrumenten entstehen, mit computergestützten Methoden nach wie vor schwierig.
Die automatische Instrumentenerkennung erweitert dieses Szenario, indem alle in einer Musikaufnahme vorkommenden Instrumente automatisch identifiziert und in Segmenten mit homogener Instrumentierung dargestellt werden sollen. Weitere Forschungsaufgaben sind das Auffinden aller monophonen Abschnitte, das Identifizieren aller Solostimmen oder aller Passagen mit einer vorherrschenden Melodie sowie das Auffinden von Abschnitten mit einer bestimmten Klangfarbe.
Ziel des Projekts ist es, grundlegende Techniken und computergestützte Werkzeuge zur Erkennung von Schallquellen oder von charakteristischen Schallereignissen zu untersuchen, die in einer Musikaufnahme vorhanden sind. Um die Vielfalt von musikalischen Eigenschaften und komplexen Überlagerungen verschiedener Schallquellen berücksichtigen zu können, konzentrieren wir uns im Projekt auf bekannte Ansätze, die verschiedene ergänzende Informationen nutzen. Das können zum Beispiel musikalischen Parameter (z.B. Anzahl der Instrumente, Partiturinformationen), Klangbeispiele (z.B. Instrumenten-Samples, repräsentative Abschnitte) oder Nutzerangaben (z.B. Anmerkungen, interaktives Feedback) sein. Durch die Kombination von Audio-Segmentierungs-, Detektions- und Klassifizierungstechniken werden im Projekt neue Ansätze entwickelt, die sich effizient an spezifische Anwendungsszenarien anpassen lassen. Anhand verschiedener anspruchsvoller Musikgenres, darunter westliche Klassik, Jazzmusik und Opernaufnahmen, werden unsere Algorithmen zur Aktivitätserkennung anschließend getestet und evaluiert.