Moderne Fahrzeuge verfügen über zahlreiche Fahrerassistenzsysteme, die den Autofahrer entlasten, ihm etwa beim Einparken helfen oder den toten Winkel überwachen. Kamera, Lidar und Radar erfassen die relevanten Objekte in der Umgebung, sie fungieren quasi als Augen. Was den Automobilen bislang noch fehlt, ist der Hörsinn, sprich Systeme, die in der Lage sind, Außengeräusche wahrzunehmen und einzuordnen. Sie werden künftig im Zusammenspiel mit intelligenter Radar- und Kamerasensorik die Grundlage für das autonome Fahren bilden. Um das »hörende Auto« zu realisieren, entwickeln Forscherinnen und Forscher am Fraunhofer IDMT in Oldenburg KI-basierte Technologien zur akustischen Ereigniserkennung.

»Für autonome Fahrzeuge existieren externe akustische Wahrnehmungssysteme bisher nicht, trotz Ihres hohen Anwendungspotenzials. Sie signalisieren beispielsweise im Bruchteil einer Sekunde, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. So weiß das autonome Fahrzeug, dass es ausweichen muss, damit eine Rettungsgasse gebildet werden kann«, sagt Danilo Hollosi, Gruppenleiter Akustische Ereignisdetektion am Fraunhofer IDMT in Oldenburg.

Neben der Sirenenerkennung gibt es zahlreiche weitere Szenarien, in denen ein akustisches Frühwarnsystem unerlässlich ist: beim Einbiegen in Spielstraßen, aber auch zum Erkennen von gefährlichen Situationen oder Fehlern – etwa wenn ein Nagel im Reifen steckt. Darüber hinaus kann das System die Zustandsüberwachung des Fahrzeugs übernehmen oder per Spracherkennung als Notrufsäule fungieren.

KI-basierte Algorithmen analysieren die Geräusche

Um das »hörende Auto« zu verwirklichen, bringen die Entwicklerinnen und Entwickler am Fraunhofer IDMT in Oldenburg spezielle Projekterfahrungen im Bereich Automotive sowie gruppenübergreifende Kompetenzen mit. Zu den Herausforderungen zählen die optimale Signalaufnahme durch Sensorpositionierung, die Signalvorverarbeitung und -verbesserung sowie die Störgeräuschbefreiung. Eigene Beamforming-Algorithmen ermöglichen die dynamische Lokalisation von sich bewegenden Schallquellen, wie beispielsweise das Martinshorn an einem Einsatzfahrzeug. Die Ereignis-Erkenner des IDMT wurden zuvor über Machine-Learning-Verfahren mit den akustischen Signaturen der relevanten Töne trainiert. Hierfür wurden eigens akustische Bibliotheken angelegt. So entstehen intelligente Sensorplattformen mit effektiver Erkennerleistung. Eigens entwickelte KI-basierte Algorithmen zur Audioanalyse ermitteln die Stör- und Zielgeräusche. »Wir wenden Methoden des Maschinellen Lernens an. Wir trainieren unsere Algorithmen mit unterschiedlichsten, zuvor erhobenen Geräuschen«, so Hollosi. Gemeinsam mit Industriepartnern wurden bereits erste Prototypen realisiert, die Mitte des kommenden Jahrzehnts marktreif sein sollen.

Die akustische Sensorik der IDMT-Forscherinnen und -Forscher setzt sich aus eingehausten Mikrofonen, Steuergerät und Software zusammen. Außen am Fahrzeug angebracht nehmen die Mikrofone den Luftschall auf. Die Sensoren leiten die Audiodaten an ein spezielles Steuergerät weiter, wo diese dann zu relevanten Metadaten weiterverarbeitet werden. In vielen Anwendungsfällen, zum Beispiel beim akustischen Monitoring in der Produktion, im Sicherheitsbereich, in der Pflege oder innerhalb von Consumer-Produkten, verwerten smarte Sensoren die Audiodaten direkt und geben nur Metadaten weiter. So erfolgt ein Großteil der Datenverarbeitung direkt auf dem Sensor. Die Lösung kann dadurch auch bei höchsten Datenschutzanforderungen eingesetzt werden.

Hör-, Sprach- und Audiotechnologie HSA am Fraunhofer-Institut für Digitale Medientechnologie IDMT in Oldenburg

Ziel des Institutsteils Hör-, Sprach- und Audiotechnologie HSA des Fraunhofer IDMT ist es, wissenschaftliche Erkenntnisse über die Hörwahrnehmung und Mensch-Technik-Interaktionen in technologischen Anwendungen umzusetzen. Schwerpunkte der angewandten Forschung sind die Verbesserung von Klang und Sprachverständlichkeit, die personalisierte Audiowiedergabe sowie die akustische Sprach- und Ereigniserkennung mit Hilfe künstlicher Intelligenz (KI). Einen weiteren Fokus setzt der Institutsteil auf mobile Neurotechnologien, um auch außerhalb des Labors Gehirnaktivitäten zu erfassen und die dabei gewonnen Daten zu nutzen. Zu den Anwendungsfeldern gehören Consumer Electronics, Verkehr, Automotive, Produktion, Sicherheit, Telekommunikation und Gesundheit. Über wissenschaftliche Kooperationen ist das Fraunhofer IDMT-HSA eng mit der Carl von Ossietzky Universität, der Jade Hochschule und anderen Einrichtungen der Oldenburger Hörforschung verbunden.

Die Weiterentwicklung des Institutsteils Hör-, Sprach- und Audiotechnologie HSA des Fraunhofer-Instituts für Digitale Medientechnologie IDMT in Oldenburg wird gefördert im niedersächsischen Programm »Vorab« durch das Niedersächsische Ministerium für Wissenschaft und Kultur und die VolkswagenStiftung.