The Hearing Car

Moderne Fahrzeuge verfügen über zahlreiche Fahrerassistenzsysteme, wie Kamera, Lidar und Radar, die beim Einparken oder Spurhalten helfen. Sie fungieren quasi als Augen und erfassen die relevanten Objekte in der Umgebung. Was den Automobilen bislang noch fehlt, ist der Hörsinn. Um das Verkehrsgeschehen rundherum aufmerksam zu verfolgen, ist es jedoch sehr wichtig, Außengeräusche wahrzunehmen und einzuordnen. Denn viele Ereignisse im Straßenverkehr kündigen sich akustisch an, wie ein herannahendes Einsatzfahrzeug durch seine Sirene.

Essenziell für das autonome Fahren: Akustische Ereigniserkennung

Das Fraunhofer IDMT in Oldenburg entwickelt KI-basierte Technologien zur akustischen Ereigniserkennung sowie Methoden und Konzepte zur optimalen Signalaufnahme am Fahrzeug. In der Anwendung können diese Entwicklungen verbesserte Reaktionszeiten, smarte Entscheidungsgrundlagen für die Fahrenden sowie vorausschauende Wartungsintervalle ermöglichen. Noch relevanter werden die »Ohren fürs Auto« bei autonomen Fahrzeugen. Von ihnen wird erwartet, dass sie nicht nur mindestens genauso gut sehen können, wie ein Mensch, sondern auch hören.

Danilo Hollosi ist unser Experte im Bereich Automotive und leitet das Team rund um The Hearing Car. Er erklärt: »Für autonome Fahrzeuge existieren externe akustische Wahrnehmungssysteme bisher nicht, trotz ihres hohen Anwendungspotenzials. Sie signalisieren beispielsweise im Bruchteil einer Sekunde, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. So weiß das autonome Fahrzeug, dass es ausweichen muss, damit eine Rettungsgasse gebildet werden kann.«

 

Das hörende Auto der Zukunft

Einblicke in die Forschung und Entwicklung rund um The Hearing Car am Fraunhofer IDMT in Oldenburg

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Danilo Hollosi, Gruppenleiter Akustische Ereignisdetektion und Leiter des Projekts The Hearing Car, erklärt in diesem Videobeitrag, warum zukünftig der Hörsinn des Autos im Straßenverkehr eine wichtige Rolle spielen wird. Dabei gibt er einen Einblick in das Versuchsträgerfahrzeug des Fraunhofer IDMT in Oldenburg.

The Hearing Car Lösungsportfolio

  • Nutzung unserer The Hearing Car Entwicklungsumgebung für kundenindividuelle Entwicklung von Hard- und Software
  • Akustisches End-of-Line-Testing auf Kurzfahrtprüfstrecken am Ende der Automobilproduktion
  • Unterstützung der Qualitätssicherung durch akustische Ereignisdetektion am Automobil
  • Sirenenerkennung, Alarmsignalerkennung in unterschiedlichen Fahrszenarien und weitere Frühwarnsysteme
  • Plattform- und Komponentenüberwachung, z.B. von Antriebsstrang, Fahrwerk oder Reifen
  • Erfassung und Interpretation von Umgebungs- und Fahrzeugdaten für dynamische Fahrzeug-Anpassungen (Adaptronik)

The Hearing Car auf dem Prüfgelände

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Auf der Teststrecke wurden mit dem »hörenden Auto« jede Menge Daten gesammelt, um unsere Sensor- und Analysetechnologien für verschiedene Szenarien zu testen. Gerade der Anwendungsfall Spracherkennung im Fahrzeugaußenbereich ist bei Automobilherstellern und Zulieferern sehr gefragt. Zudem haben wir untersucht, bis zu welcher Geschwindigkeit wir eine Sirene robust erkennen und lokalisieren können.

Intelligente Technologien für konkrete Anforderungen des Marktes

© Fraunhofer IDMT/Anika Bödecker
Ein rollender Prototyp am Oldenburger Institutsteil Hör-, Sprach- und Audiotechnologie ermöglicht die Sammlung von Testdaten und die kundenspezifische Entwicklung verschiedener Funktionen des »Hörenden Autos«.

Am Institutsteil Hör-, Sprach- und Audiotechnologie in Oldenburg erarbeiten Expertinnen und Experten in enger Zusammenarbeit mit Automobilherstellern und Zulieferern die nötigen Sensor- und Analysetechnologien für das »Hörende Auto«. Dafür kommt ein eigenes Fahrzeug zum Einsatz, das im Projekt als rollender Prototyp fungiert und das Aufzeichnen wichtiger Trainingsdaten ermöglicht. So können unsere Ereignis-Erkenner über Machine-Learning-Verfahren mit den akustischen Signaturen der relevanten Töne trainiert werden. Es entstehen intelligente Sensorplattformen mit effektiver Erkennerleistung.

Um das »Hörende Auto« zu verwirklichen, bringen unsere Entwicklerinnen und Entwickler spezielle Projekterfahrungen im Bereich Automotive sowie gruppenübergreifende Kompetenzen mit. Neben der Entwicklung von KI-Algorithmen zur akustischen Ereigniserkennung, widmen sich die Forschenden am Fraunhofer IDMT auch weiteren Herausforderungen. Dazu zählen die optimale Signalaufnahme durch Sensorpositionierung, die Signalvorverarbeitung und -verbesserung sowie die Störgeräuschbefreiung. Um den Einfluss von Fahrtwindgeräuschen zu minimieren, entwickelt und testet das Team um The Hearing Car beispielsweise auch geeignete Einhausungen und Abschirmungen von Luftschallsensoren. 

Das Potential des »Hörenden Autos«

© iStock/Bruskov
Neue Möglichkeiten im Bereich Adaptronik: Das akustische Signal einer nassen Fahrbahn kann automatische Anpassungen von Fahrwerkskomponenten initiieren.

Der Beitrag des »Gehörs fürs Auto« endet nicht bei der Erkennung eines Martinshorns. Vielmehr soll es mehr Sicherheit und Zuverlässigkeit im Straßenverkehr ermöglichen, insbesondere beim autonomen Fahren. Die akustische Umfeldanalyse kann perspektivisch nicht nur den Rettungswagen erkennen, sondern auch andere akustische Szenen, wie spielende Kinder beim Einbiegen in einen verkehrsberuhigten Bereich. Solche wichtigen Zusatzinformationen könnten das Bordsystem erreichen noch bevor Kameras und Radarsensoren die Situation erfasst haben. Das versetzt automatisierte Fahrsysteme in die Lage, der Situation entsprechend mit erhöhter Vorsicht zu agieren und damit vergleichbar einem Menschen am Steuer zu handeln, der die spielenden Kinder hört.

The Hearing Car hat darüber hinaus zum Ziel, die Sicherheit und den Komfort von Automobilen im Allgemeinen zu verbessern. Akustische Sensoren an verschiedenen Stellen in und am Auto liefern Daten an eine Analyseeinheit. Aufnahmen aus dem Radkasten können zum Beispiel auf die Beschaffenheit der Straße schließen und automatische Fahrwerksanpassungen im Bereich der Federung oder dem Bremssystem anstoßen. Die kontinuierliche akustische Überwachung von Betriebsgeräuschen des Autos lassen sich darüber hinaus Schäden oder Verschleiß erkennen. Ein »unrunder« Motorlauf, abgenutzte Bremsen oder aber auch ein Nagel im Reifen ließen sich vorausschauend identifizieren. Dies ermöglicht smarte Wartungsintervalle und Reparaturen bevor es zu Aus- oder gar Unfällen kommt. Darüber hinaus sorgen Kommunikationslösungen zur Sprachinteraktion außerhalb des Fahrzeugs für mehr Komfort und Sicherheit, z. B. mit einer sprachbasierten Öffnung von Türen oder beim Auslösen eines Notrufs.

Weitere Informationen

 

Neue Lösungen für die Mobilität von morgen

Mit dem hörenden Auto, dem individuellen Klang im Fahrzeuginnenraum, oderder Fahrerzustandserkennung bieten wir ein großflächiges Automotive-Portfolio.

 

Pressemitteilung / 1.9.2023

Intelligente akustische Sensorsysteme für das hörende Auto

Auf der IAA MOBILITY 2023 in München stellen die Forschenden des Fraunhofer IDMT aus Oldenburg vom 5. bis 8. September ihre aktuellen Entwicklungen für smarte akustische Sensorik am und im Fahrzeug in Halle B1 am Stand D11 vor.

 

Vom 6. bis 9. März 2023 findet die 49. Jahrestagung für Akustik – DAGA 2023 – in der norddeutschen Metropole Hamburg statt. Das Fraunhofer IDMT aus Oldenburg stellt seine aktuellen Entwicklungen rund um The Hearing Car® vor. Besuchen Sie uns am Stand 57 auf Ebene Y! Wir freuen uns auf Sie.

 

Maschinelles Hören für smarte Entscheidungen

Mit uns nutzen Sie den akustischen Fingerabdruck von Ereignissen, um automatisiert intelligente Entscheidungen zu treffen – für Ihre Prozesse und Produkte.

 

Presseinformation / 5.2.2020

Das hörende Auto der Zukunft

Wer heute ein neues Auto kauft, muss auf Features wie ferngesteuertes Einparken, automatisches Spurhalten oder Müdigkeitserkennung nicht verzichten.

Förderung

Die Weiterentwicklung des Institutsteils Hör-, Sprach- und Audiotechnologie HSA des Fraunhofer-Instituts für Digitale Medientechnologie IDMT in Oldenburg wird gefördert im niedersächsischen Programm »Vorab« durch das Niedersächsische Ministerium für Wissenschaft und Kultur und die VolkswagenStiftung.