SoundsLike – KI-basiertes Taggen und Suchen in großen Musikarchiven

Verwandeln Sie Ihr Musikarchiv mit redaktionellen Metadaten automatisch in eine vollständig indexierte und durchsuchbare Datenbank. SoundsLike hilft Ihnen, alle Musiktitel in Ihrem Archiv nach dem gleichen Prinzip zu annotieren und ordnen – egal aus welcher Quelle sie stammen – doppelte Inhalte zu bereinigen und neue Tracks unkompliziert einzufügen. 

Aus der KI-Forschung direkt in die Anwendung

Mit unserem fundierten Wissen im Bereich der Audiosignalverarbeitung und des maschinellen Lernens haben wir ein umfassendes Toolset an Musikanalyselösungen entwickelt. Von einzelnen Noten über Harmonieverläufe und Instrumentierungen bis hin zu Genres oder Stimmungen können wir eine große Vielfalt von Informationen aus Ihren Audiodaten extrahieren. Sie wählen genau die Kategorien und Daten, die zu Ihrem spezifischen Anwendungsfall passen. 

Ihr Inhalt ist ihr Schatz - wir heben ihn gemeinsam.

Besitzen Sie bereits ein großes Archiv mit wertvollen Metadaten? Perfekt! SoundsLike nutzt künstliche Intelligenz, um ihr bestehendes Musikarchiv zu analysieren, zu verstehen, wie Ihr spezifisches Metadaten- und Kategoriensystem funktioniert und es so zu optimieren, wie Sie es brauchen. Ob vielfältige Produktionsmusik oder ein umfangreiches Klassikarchiv – SoundsLike hört zu, lernt und findet die passenden Kategorien und Unterkategorien für Ihren Musikkatalog.

Use Cases

Schnelleres Taggen von Musik

Die manuelle Verschlagwortung von umfangreichen Musikbibliotheken ist kosten-, zeitintensiv und meist unvollständig. SoundsLike Annotation klassifiziert und annotiert die Inhalte automatisch und objektiv in einem Bruchteil der Zeit. Das spart nicht nur Kapazitäten und Kosten, sondern schafft auch vielfältige neue Suchmöglichkeiten.

Intuitivere Suchmöglichkeiten

Suchen Sie anhand eines Beispieltracks, verfeinern Sie die Ergebnisse anhand von Filtern oder nutzen Sie Kategorien und Tags – mit SoundsLike stehen Ihnen verschiedene Suchmöglichkeiten zur Verfügung, die Sie für ein perfektes Suchergebnis je nach Anwendungsfall beliebig miteinander kombinieren können, um das perfekte Suchergebnis zu erzielen.

One stop search

Mit SoundsLike machen Sie Kataloge und Archive aus verschiedenen Quellen mit einem Klick durchsuchbar. SoundsLike Annotation ergänzt und vereinheitlicht automatisch die vorhandenen Metadaten von Katalogen und Archiven aus unterschiedlichen Quellen.

Music Replacement

Sie suchen eine Alternative für die musikalische Untermalung eines Videos? Mit SoundsLike Similarity finden Sie in wenigen Sekunden eine Auswahl von Songs in Ihrer Datenbank, die Ihrem Beispielstück in Stimmung, Genre und Tempo ähnlich sind.

Musikproduktion

Professionelle Musikproduzenten nutzen Suchmaschinen, um Sounds, Beats und Loops zu finden, die zu einer bestimmten Musikproduktion passen. SoundsLike findet anhand eines Beispieltracks genau die Loops und Beats, die eine Produktion perfekt ergänzen. 

SoundsLike Annotation und SoundsLike Similarity

SoundsLike besteht aus den Komponenten SoundsLike Annotation und SoundsLike Similarity. SoundsLike Annotation reichert Ihr Musikarchiv mit maßgeschneiderten Metadaten an und macht es durchsuchbar. SoundsLike Similarity findet automatisch ähnlich klingende Musiktitel in Ihrem Archiv. Beide Komponenten sind miteinander kombinierbar. Sie können Ihr Archiv anhand der Metadaten-Tags oder auf Basis eines Audiobeispiels durchsuchen und die Suchergebnisse anschließend filtern und weiter verfeinern.

Verfügbarkeit und Support

Die Komponenten SoundsLike Annotation und SoundsLike Similarity sind als REST-API Services und C++ Bibliotheken für Windows und Linux zur Integration in bestehende Systeme lizenzierbar. Zusätzlich bieten wir auch Stand-alone Lösungen an, mit denen Sie Ergebnisdateien im XML- oder JSON-Format zur weiteren Verarbeitung erhalten.

  • On-Premise oder bei Cloud-Anbietern wie AWS, Azure oder Google Cloud lauffähig
  • Services sowohl als Executables als auch als Docker-Container verfügbar

Gern unterstützen wir Sie bei der Analyse, Beratung und Anpassung von SoundsLike auf Ihren speziellen Anwendungsfall.

Die jährliche Lizenzgebühr beinhaltet den Support für Integration und Maintenance sowie Updates. Anwendungsspezifische Weiterentwicklungen sind möglich. Wir erstellen Ihnen gern ein individuelles Angebot.

Kontaktieren Sie uns für eine Testversion und eine passgenaue Lösung für Ihren konkreten Anwendungsfall.

SoundsLike FAQ

SoundsLike Annotation

Welche Metadatenkategorien nutzt SoundsLike?

SoundsLike bietet ein umfassendes Angebot an Standardkategorien:

  • Speech Detector (Sprach-Detektor): Speech, NoSpeech
  • Music Detector (Musik-Detektor): Music, NoMusic
  • Genre: Classical, Country, Electronica, Jazz, Latin, Pop, Rap, Rock, Soul, Speech
  • Emotion: Anxious, Depressed, Exuberant, Content
  • Valence (positive oder negative Stimmung): High, Low
  • Arousal (Erregungsgrad): High, Low
  • Perceived Tempo (wahrgenommenes Tempo): Fast, MidFast, Mid, MidSlow, Slow
  • Beats: per Minute z.B. 120 bpm
  • Key (Tonart): C bis H
  • Color (Klangfarbe): Bright, Dark
  • Texture (Textur): Hard, Soft
  • Instrumental Density (Dichte der Instrumentierung): Full, Sparse
  • Distortion (Verzerrung): Clean, Gained, Overdrive, XXL
  • Dynamic (Dynamik): Changing, Continuous
  • Percussive (Perkussivität): Nonpercussive, Percussive
  • Synthetic (Synthetizität): Acoustic, Synthetic
  • Loop-specific Genres (Loop-spezifische Genres): Bass_music, Breaks, Cinematic, Disco, Hard_dance, Hip_hop, House, Idm, Pop, Blues, Country, Downtempo, Drum_and_bass, Funk, Reggae, Soul_and_rnb, Synthwave, Rock, Techno, Trance, Trap, World
  • Loop-specific Instruments (Loop-spezifische Instrumente): Bass, Cymbal, Drum, Effects, Guitar, Keyboard, Mallet, Mixed, Percussion, String, Synth, Vocal, Wind_and_brass
Können die Kategorien kundenspezifisch angepasst und verändert werden?

Sie können unsere Standard-Metadatenkategorien als Ausgangsbasis nutzen und je nach Anwendungsfall frei konfigurieren und zusammenstellen – oder ein ganz eigenes Kategoriesystem als Grundlage nutzen. Durch den modularen Aufbau ist eine nutzerorientierte Anpassung an Ihre individuellen Anforderungen problemlos möglich.

Kann ich SoundsLike in Archiven nutzen, die ausschließlich aus elektronischer oder klassischer Musik bestehen?

Ja. SoundsLike nutzt künstliche Intelligenz, um das Musikarchiv zu analysieren, zu verstehen, wie Ihr spezifisches Metadaten- und Kategoriensystem funktioniert. Auf Basis der Analyseergebnisse definieren Sie gemeinsam mit unseren Expertinnen und Experten ein passgenaues Kategoriesystem (eine optimierte Taxonomie) für Ihren Anwendungsfall – zum Beispiel individuelle Unterkategorien für ein rein klassisches oder elektronisches Archiv.

Optional kann das KI-Modell auf Basis des gemeinsam entwickelten Kategoriesystems mit den vorhandenen Musikfiles und Metadaten des Archivs trainiert werden, damit neue Inhalte automatisch annotiert und zugeordnet werden können.

Welche Rechenleistung benötigt man für die Annotation eines Archivs?

Die Klassifikationszeit eines 4min-Songs mit der Standard-Konfiguration benötigt 8-10 Sekunden auf ­einem gewöhnlichen PC. Der Klassifikationsprozess unterstützt Multithreading/Parallelisierung, so dass sich die Klassifikation auf einer 8-/16-Kern CPU entsprechend reduziert (1000 Songs lassen sich auf einer 16-Kern CPU in ca. 10 Minuten annotieren). Individuell angepasste Konfigurationen können zu abweichenden Laufzeiten führen. Deep-Learning-basierte Klassifikationsvarianten können durch GPUs beschleunigt werden.

Wie schnell ist meine Datenbank aufbereitet?

1000 Lieder auf 16-Kern CPU sind in ca. 10 Minuten annotiert. 

Welche Rechenzeit benötigt man durchschnittlich für die Similarity Search in 1 Mio Songs?

Ein Desktop-Rechner benötigt bei einer Datenbank mit 1 Millionen Songs ca. 2 Sekunden.  Empfehlungen können für ein bestehendes Archiv regelmäßig vorberechnet werden und stehen anschließend zum sofortigen Abruf zur Verfügung. Auch wenn neue Titel hinzukommen, bleiben die Ähnlichkeitsbeziehungen der vorhandenen Daten im Cache gespeichert und werden anhand der neuen Titel im Hintergrund aktualisiert. So stehen die Empfehlungslisten jederzeit nahezu in Echtzeit zur Verfügung.

Wie viele Musiktitel werden von der Similarity Search ausgegeben?

Die Anzahl von ähnlichen Musiktiteln, die bei einer Suchanfrage ausgegeben werden, ist in der Konfiguration individuell einstellbar und kann von einem ähnlichsten Titel bis hin zu einer Liste von mehreren hundert Titeln reichen, die absteigend nach Ähnlichkeit zum Ausgangstitel sortiert sind.

Wie kann man SoundsLike Annotation und SoundsLike Similarity kombinieren?

Die Ergebnisliste der Similarity-Search kann zusätzlich anhand der annotierten Metadaten von SoundsLike Annotation gefiltert werden. Die Filter lassen sich beliebig miteinander kombinieren, so dass beispielsweise nur Musiktitel aus dem Genre Jazz, mit einem langsamen Tempo und Gesang vorgeschlagen werden.

Das könnte Sie auch interessieren

 

Forschungsthema

Automatische Musikanalyse

 

Referenzprojekt

Jamahook – AI Sound Matching

 

Artikel / 8.8.2022

Music Analysis Technologies

Lesen Sie hier den Artikel zu unseren Musikanalysetechnologien in der Trendbroschüre des Fraunhofer Geschäftsbereichs Digital Media