Fraunhofer-Institut für Digitale Medientechnologie IDMTZiel des Projekts »ISAD 2« ist es, erklärbare und nachvollziehbare Deep‐Learning‐Modelle zu entwickeln, die ein besseres Verständnis der strukturellen und akustischen Eigenschaften von Klangquellen ermöglichen – ganz gleich, ob es sich dabei um Musik oder Umwelt- und Umgebungsgeräusche handelt.
»ISAD 2« baut auf den Ergebnissen des Projekts »ISAD« auf. In »ISAD« untersuchten die Wissenschaftlerinnen und Wissenschaftler grundlegende Techniken des »Music Information Retrieval (MIR)«, die zur Erkennung charakteristischer Klangereignisse in einer Musikaufnahme geeignet sind. Der Fokus lag auf Ansätzen, die musikalisches Wissen in Form von Notentextinformationen, Klangbeispielen oder musikalisch repräsentativen Musikpassagen nutzen. Zentrale Aufgabenstellungen bestanden im Auffinden von Audioabschnitten mit einer bestimmten Klangfarbe oder Instrumentierung, die Erkennung monophoner Themen in polyphonen Musikaufnahmen und die Klassifizierung von Musikstilen oder Spielweisen anhand melodischer Konturmerkmale. Die entwickelten Erkennungsverfahren wurden im Rahmen komplexer Musikszenarien (u.a. klassische Musik, Jazzmusik und Opernaufnahmen) experimentell getestet und ausgewertet.
In der zweiten Projektphase »ISAD 2« werden nicht nur musikalische Daten, sondern auch die Erkennung von Umwelt‐ und Umgebungsgeräusche als zweite komplexe Audiodomäne betrachtet. Als zentrale Methodik sollen dabei die Vorteile von modellbasierten und datengetriebenen Verfahren kombiniert werden, um aufgabenspezifische Darstellungsformen von Klangereignissen zu lernen. Darüber hinaus wird erforscht, wie sich Schallereignisse auf verschiedenen Zeitskalen und hinsichtlich hierarchisch angeordneter Kategorien wie zum Beispiel der Zugehörigkeit zu bestimmten Instrumentenfamilien erfassen und analysieren lassen. Verschiedene Zeitskalen sind z. B. wichtig, um in Langzeitaufnahmen bestimmte Wiederholungsmuster von Klängen erkennen zu können.