Wie funktioniert das? Mit dem integrierten Mikrofon des Laptops werden die gespielten Töne aufgenommen. Mit Hilfe des vom Fraunhofer IDMT in Zusammenarbeit mit dem Berliner Unternehmen Skoove entwickelten Algorithmus zur Erkennung von gespielten Noten wird eine mehrstimmige Tonvalidierung durchgeführt. Mit der sogenannten »multipitch validation« wird überprüft, ob die vorgegebenen Referenznoten auch tatsächlich gespielt und die richtige Notenfolge eingehalten wurde.

Um den Spielfluss nicht zu beeinträchtigen, erfolgt die Erkennung und der Abgleich der gespielten Töne in Echtzeit. Dazu muss der Erkennungsalgorithmus schnell und zuverlässig arbeiten. Ein wichtiger Aspekt ist hierbei die Robustheit bei der Erkennung von Pianotönen gegenüber Störsignalen wie Lüfter- und Umgebungsgeräuschen, bei unterschiedlichen Lautstärken oder einem verstimmtem Klavier. Gemeinsam durchgeführte Testreihen belegen die robuste Erkennung bei verschiedenen Störsignalen.

Ein weiteres Feature über das sich Florian Plenge, Geschäftsführer von Skoove sehr freut: »Der neue Erkennungsalgorithmus verursacht nur eine geringe Rechnerbelastung und Latenz – damit wird Skoove noch attraktiver für seine Nutzer. Mit dieser technisch ausgereiften Lösung können Anfänger und Fortgeschrittene mit dem einfachsten Keyboard und dem besten Flügel schnell Klavierspielen und Musiktheorie lernen«.

Das Fraunhofer-Institut für Digitale Medientechnologie ist wissenschaftlich renommiert auf dem Gebiet der automatischen Melodieerkennung. Mit den am Institut entwickelten Analysetools können wesentliche musikalische Eigenschaften wie Rhythmus, Instrumentierung, Melodie/Harmonie, Struktur, Stimmung oder Genre klassifiziert werden. Einsatz finden die Lösungen beispielsweise in Musiksuch- und Empfehlungsmaschinen oder auch in Musiklernsoftware und Musikspielen.