Die Forschungsarbeiten auf dem Gebiet der Analyse von Industriegeräuschen konzentrieren sich auf die Entwicklung von KI-basierten Verfahren für das automatisierte Condition Monitoring durch Schwingungsanalysen zur Erhöhung der Prozessstabilität und -effizienz, zur Verbesserung der Produktqualität, sowie für die vorausschauende Wartung.
Wie nutzen Sie akustische Signale zur Qualitätsbewertung?
Am Beispiel Ihres PKW lässt sich das Potenzial für eine Qualitätsbeurteilung auf Grundlage akustischer Signale sehr gut verdeutlichen. Sie kennen das vertraute Fahrgeräusch, verursacht von Motor, Reifenabrieb und Fahrtwind. Doch wie fühlen Sie sich, wenn sich dieses Geräusch ändert? Ein Klappern oder Schleifgeräusche könnten Sie beunruhigen und Sie überlegen, ob die Fahrtauglichkeit Ihres PKW noch gegeben ist. Sie reagieren vermutlich auf diesen unbekannten und unerwarteten Zustand, in dem sie in die Werkstatt fahren, oder zumindest Ihren Wagen stoppen. In der Industrie läuft es nicht anders. Wir analysieren den Klang Ihres Produkts oder Ihres Produktionsprozesses und machen Sie darauf aufmerksam, wenn etwas nicht wie erwartet funktioniert.
Übertragen auf die Industrie gilt: Überall dort, wo sich etwas bewegt, entstehen hörbare Geräusche, die auf die Qualität von Produkten oder Prozessen schließen lassen. Wir am Fraunhofer IDMT am Standort Ilmenau entwickeln KI-basierte Verfahren zur Geräuschanalyse – insbesondere zur Analyse von Industriegeräuschen – und schaffen damit innovative Ansätze für die automatisierte Verbesserung der Qualität. Die akustische KI kann entlang der gesamten Wertschöpfungskette zur Qualitätsbeurteilung eingesetzt werden und bietet beispielsweise bei der vorausschauenden Wartung einen Mehrwert, wenn die Analyse anderer Maschinendaten an ihre Grenzen keine hilfreichen Informationen liefert.
Ein Team aus Datenwissenschaftler*innen, Datenanalyst*innen, Softwareentwickler*innen, Projektmanager*innen und Strateg*innen forscht aus diesem Grund an KI-basierten Lösungen für die Audiosignalanalyse. Die Innovation ist, dass die akustische KI die gewonnenen Messdaten ohne Verbindung zu einer externen Cloud verarbeitet und unsere Lösungen daher lokal innerhalb des eigenen Unternehmens oder direkt an der Maschine betrieben werden können.
Maschinen- und Anlagenbauer stehen vor der Herausforderung, dass sie ihren Kunden eine allumfängliche Maschinenüberwachung auf Sensorbasis liefern wollen. Mit bisherigen Verfahren, wie der Analyse der aufgezeichneten Maschinendaten, können jedoch nicht alle auftretenden Probleme erkannt werden. Hinzu kommt das Fehlen von Fachleuten, die ihre Maschine so gut kennen, dass sie Fehler sofort am Klang erkennen und bei Bedarf handeln können.
Das Ziel ist es daher, das Gehör von erfahrenem Maschinenpersonal zu imitieren und ein zuverlässiges, automatisiertes System zu entwickeln, welches auf Grundlage von auftretenden Geräuschen in der Produktion, Hinweise gibt, ob Unregelmäßigkeiten an Maschinen oder in Prozessen auftreten. Die akustische KI für die Industrie.
Inhalte eines Pilotprojekts
Forschungsfeld »amo«
Referenzprojekt mit Procter & Gamble
Wir haben KI-Algorithmen entwickelt, die Geräusche von Haushaltsgeräten analysieren, um deren Zustand mit über 97 % Genauigkeit zu überwachen. Dies ermöglicht den Einsatz interaktiver Anwendungen, um den Status von Haushaltsaktivitäten und -geräten zu verfolgen, was zu besserer Benutzerführung und höherer Kundenzufriedenheit führt.
In diesem Experiment wurden drei unterschiedliche Betriebszustände simuliert: gut, schlecht und unter Last laufend. Jeder Motor hat einen dieser Zustände, die sehr unterschiedlich klingen. Die Forschenden haben ein MEMS-Mikrofon (Mikro-Elektronisch-Mechanische-Systeme zur Signalaufnahme) vor den Motoren platziert, welches die Betriebsgeräusche der nacheinander laufenden Motoren aufnimmt. Es wurden Aufnahmen jedes Motors einzeln, mit und ohne Hintergrundlärm gemacht, welche in die anschließende Analyse mit Verfahren des maschinellen Lernens einflossen.
Der Prinzipdemonstrator »Air-Hockey Tisch« bietet Besucherinnen und Besuchern auf Messen und Konferenzen neben dem fachlichen Austausch eine sportliche Abwechslung.
Anhand eines für den Forschungseinsatz modifizierten Air-Hockey Tischs wird an neuartigen Verfahren zur akustischen Qualitätssicherung im industriellen Kontext gearbeitet. Hier kommen Pucks zum Einsatz, die aus verschiedenen Materialien gefertigt sind und unterschiedliche »Pling«-Geräusche verursachen, sobald sie an die Bande des Spielgeräts treffen. Während des Spiels treten diese akustischen Signale so häufig und unregelmäßig auf, dass sie zur Analyse mittels maschineller Lernverfahren genutzt werden können, um eine zuverlässige Aussage über das Material zu treffen, aus dem die Pucks gefertigt sind.
Eingesetzt werden kann dieses berührungslose Verfahren, bei dem das Fraunhofer IDMT seine langjährige Expertise in den Bereichen akustische Messtechnik, Signalverarbeitung und maschinelles Lernen kombiniert, unter anderem zur Erkennung von Materialfehlern oder in der In-Line Überwachung von Schweißprozessen. Werden akustisch wahrnehmbare Fehler bereits im Prozess festgestellt, kann dieser abgebrochen und zeitnah neu gestartet werden. Das akustische Prüfverfahren des Fraunhofer IDMT ist zudem zerstörungsfrei und dient somit der Reduzierung von teurem Prüfschrott.
Der Kugelbahndemonstrator verdeutlicht die Leistungsfähigkeit des akustischen Monitoring-Verfahrens im industriellen Einsatz. Als Anwendungsbeispiel wurde die Erkennung von Fehlern in Oberflächen gewählt.
Drei unterschiedlich beschichtete Kugeln rollen in zufälliger Reihenfolge durch das Kugelbahnsystem. Die Bewegungsgeräusche der Kugeln werden von kleinen Mikrofonen aufgenommen und durch maschinelle Lernalgorithmen analysiert. Auf diese Weise werden die Kugeln in Echtzeit überwacht und anhand ihres spezifischen Rollgeräusches identifiziert. Das Analyseergebnis - die Reihenfolge der Ankunft - wird sofort grafisch auf einem Display dargestellt. Das Institut zeigt mit diesem Prinzip-Demonstrator neue akustische Verfahren zur Qualitätssicherung – berührungslos, zerstörungsfrei und sicher integriert.
KI-Demonstrator zur akustischen Einbruchsüberwachung auf Geräten mit begrenzter Rechenleistung.
Zuverlässig und automatisiert hörbare Leckagen erkennen dank Luftschallanalyse und maschineller Lernverfahren.
Druckluft ist für viele deutsche Industrie- und Handwerksbetriebe eine unerlässliche Ressource zum Betreiben von Maschinen und Anlagen. Gleichzeitig stellt sie aber auch einen hohen Kostenfaktor auf der Stromrechnung dar. Unternehmen verschwenden durchschnittlich 30 Prozent der erzeugten Energie aufgrund der unbemerkten Entweichung von teurer Druckluft. Zur Erkennung solcher Leckagen setzt man unter anderem auf Prüfverfahren mittels Ultraschall sowie auf das bloße Gehör von geschultem Personal.
Das Fraunhofer IDMT hat nun in einem Experiment getestet, ob sich dieses »Hören« automatisieren und unter Verwendung von Mikrofonen in Kombination mit maschinellen Lernverfahren nachbilden lässt, um ein zuverlässiges System zur Leckagendetektion zu entwickeln. Erste Ergebnisse zeigen, dass dies generell möglich ist.
Mit Luftschallanalyse und KI Haarrisse in Drehteilen zuverlässig erkennen.
Im Rahmen der Qualitätsprüfung durchlaufen die gezeigten Drehteile üblicherweise eine 100 % visuelle Endkontrolle. Geprüft wird auf feinste Haarrisse, die optisch kaum erkennbar sind, jedoch auf einen Qualitätsmangel hindeuten. In einem Experiment hat das Fraunhofer IDMT untersucht, inwieweit Haarrisse mittels Luftschallanalyse mit KI automatisiert detektiert werden können. Als Prüfschritt in der Endkontrolle wurde der Aufprall eines Drehteils auf eine Platte aufgenommen und entsprechend den Klassen »i.O.« und »n.i.O« zugeordnet. Dabei stellten sich die Wissenschaftlerinnen und Wissenschaftler den Fragestellungen, ob die Klangspektren des Aufpralls eine Unterscheidung in Gut- und Fehlteile zulassen, welche Parameter diese Klangspektren beeinflussen (bspw. Fallhöhe oder Material der Platte) und welche Mikrofonpositionen sich am besten für die Aufnahmen und zur späteren Analyse eignen. Erste Ergebnisse zeigten, dass es generell möglich ist, die Drehteile anhand des Aufprallgeräusches in zwei Klassen zu unterscheiden.
Lautsprecher an: »We save Christmas«
Wir bieten Dienstleistungen im Bereich Forschung und Entwicklung und beraten unsere Industriekunden gern zu den zahlreichen Einsatzmöglichkeiten des akustischen Monitorings (amo) im Rahmen eines Industrieprojekts. Zusätzlich arbeiten wir in teilweise öffentlich geförderten Forschungs- und Entwicklungsprojekten, um gemeinsam mit breit aufgestellten Fachkonsortien anwendungsspezifische Lösungen zu entwickeln.
Die Anwendungsgebiete für akustisches Monitoring sind vielfältig. Überall dort, wo hörbare Geräusche in Prozessen oder an Produkten auftreten, kann der Einsatz automatisierter akustischer Prüfverfahren einen Mehrwert bieten. Wir untersuchen kontinuierlich den Einsatz unserer KI-Algorithmen zur akustischen Qualitätsprüfung in den Fertigungsbereichen Schweißen und Zerspanen sowie in weiteren Anwendungsfällen, in denen akustische Signale Aufschluss über Qualität und Güte geben.
Das akustische Monitoring kann u. a. beim Zerspanen oder Schweißen eingesetzt werden. Anwendungsfälle sind: Inline-Monitoring, Prozessüberwachung oder Predictive Maintenance.
In regelmäßigen Abständen tauschen sich die Wissenschaftlerinnen und Wissenschaftler mit Industrievertretern aus und präsentieren aktuelle Forschungsergebnisse auf wissenschaftlichen Tagungen und Kongressen. Zudem veröffentlichen wir regelmäßig Beiträge in Fachmagazinen, welche Anwendungsthemen unserer Forschungsrichtung behandeln.
| Jahr Year | Titel/Autor:in Title/Author | Publikationstyp Publication Type |
|---|---|---|
| 2024 | Multimodale Fehlererkennung in Laserablationsprozessen Talagini Ashoka, Anitha Bhat; Anding, Katharina |
Zeitschriftenaufsatz Journal Article |
| 2024 | Towards Measuring and Forecasting Noise Exposure at the VELTINS-Arena in Gelsenkirchen, Germany Ngamthipwatthana, Pitchapa; Götze, Marco; Kátai, András; Abeßer, Jakob |
Konferenzbeitrag Conference Paper |
| 2024 | DOL3: Distilled OpenL3 audio embeddings for lightweight audio classification Kehling, Christian; Gourishetti, Saichand |
Konferenzbeitrag Conference Paper |
| 2024 | Acoustic insights into the corn extrusion process for enhanced quality control Gourishetti, Saichand; Chauhan, Jaydeep; Krüger, Tanja; Grollmisch, Sascha; Liebetrau, Judith; Bös, Joachim |
Konferenzbeitrag Conference Paper |
| 2024 | Selbstüberwachtes Vortraining zur Verbesserung automatischer Audioklassifikationsalgorithmen Grollmisch, Sascha; Abeßer, Jakob; Bös, Joachim |
Konferenzbeitrag Conference Paper |
| 2024 | Aktuelle Forschungsschwerpunkte in der akustischen Ereignisdetektion Abeßer, Jakob; Grollmisch, Sascha; Bös, Joachim |
Konferenzbeitrag Conference Paper |
| 2023 | Empirical Study on DED-Arc Welding Quality Inspection Using Airborne Sound Analysis Chauhan, Jaydeep; Gourishetti, Saichand; Rohe, Maximilian; Sennewald, Martin; Hildebrand, Jörg; Bergmann, Jean Pierre |
Konferenzbeitrag Conference Paper |
| 2023 | Temporal Resolution of Acoustic Process Emissions for Monitoring Joint Gap Formation in Laser Beam Butt Welding Kodera, Sayako; Schmidt, Leander; Römer, Florian; Schricker, Klaus; Gourishetti, Saichand; Böttger, David; Krüger, Tanja; Kátai, András; Straß, Benjamin; Wolter, Bernd; Bergmann, Jean Pierre |
Zeitschriftenaufsatz Journal Article |
| 2023 | Ohren für Schweißroboter Breitbarth, Kati; Krüger, Tanja; Liebetrau, Judith |
Zeitschriftenaufsatz Journal Article |
| 2023 | Automated Quality Inspection in Additive Manufacturing for Lightweight Construction: A New Approach Based on Virtual Sonic Data and Machine Learning (ML-S-LeAF) Yildiz, Ömer Faruk; Fritz, Alexander; Storch, Julian; Kátai, András; Ribecky, Sebastian; Hofmann, Peter; Talagini Ashoka, Anitha Bhat; Fassbender, Rene; Marckmann, Hannes; Grollmisch, Sascha; Jansen, Stefan; Adams, Christian; Kroh, Irina; Zaleski, Olgierd; Manohar, Aswin; Keuchel, Sören; Schröder, Thorben; Ren, Yaxiong; Boni, Christiano de; Balestra, Italo; Bös, Joachim; Ferretti, Raphael; Schötz, Johannes; Merschroth, Holger; Gross, Peter; Weigold, Matthias |
Konferenzbeitrag Conference Paper |
| 2023 | Arc Welding Process Monitoring Using Neural Networks and Audio Signal Analysis Gourishetti, Saichand; Chauhan, Jaydeep; Grollmisch, Sascha; Rohe, Maximilian; Sennewald, Martin; Hildebrand, Jörg; Bergmann, Jean Pierre |
Konferenzbeitrag Conference Paper |
| 2023 | Acoustic data acquisition for quality monitoring during Powder Bed Fusion with Laser Beam (PBF-LB) Ren, Yaxiong; Adams, Christian; Gross, Peter; Talagini Ashoka, Anitha Bhat; Kátai, András; Weigold, Matthias; Melz, Tobias |
Konferenzbeitrag Conference Paper |
| 2023 | Monitoring of Joint Gap Formation in Laser Beam Butt Welding Using Neural Network-Based Acoustic Emission Analysis Gourishetti, Saichand; Schmidt, Leander; Römer, Florian; Schricker, Klaus; Kodera, Sayako; Böttger, David; Krüger, Tanja; Kátai, András; Bös, Joachim; Straß, Benjamin; Wolter, Bernd; Bergmann, Jean Pierre |
Zeitschriftenaufsatz Journal Article |
| 2022 | Potentials and Challenges of AI-based Audio Analysis in Industrial Sound Analysis Gourishetti, Saichand; Grollmisch, Sascha; Abeßer, Jakob; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2022 | Intelligentes akustisches Monitoring durch ausgewählte Mikrofonierungskonzepte Fritsch, Tobias; Bös, Joachim; Grollmisch, Sascha; Gourishetti, Saichand; Hofmann, Peter; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2021 | Improving Semi-Supervised Learning for Audio Classification with FixMatch Grollmisch, Sascha; Cano, Estefanía |
Zeitschriftenaufsatz Journal Article |
| 2021 | The Sounds of Partial Discharge Gourishetti, Saichand; Werner, Sara; Kátai, András; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2021 | Investigating the influence of microphone mismatch for acoustic traffic monitoring Gourishetti, Saichand; Abeßer, Jakob; Grollmisch, Sascha; Kátai, András; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2021 | Investigation of the directional characteristics of the emitted airborne sound by Friction Stir Welding for online process monitoring Bös, J.; Katai, A.; Grätzel, M.; Other, S.; Stoll, B.; Rohe, M.; Hasieber, M.; Löhn, T.; Hildebrand, J.; Bergmann, J.P.; Breitbarth, K. |
Poster |
| 2021 | Partial discharge monitoring using deep neural networks with acoustic emission Gourishetti, Saichand; Johnson, David; Werner, Sara; Kátai, András; Holstein, Peter |
Konferenzbeitrag Conference Paper |
| 2021 | IDMT-Traffic: An Open Benchmark Dataset for Acoustic Traffic Monitoring Research Abeßer, Jakob; Gourishetti, Saichand; Kátai, András; Clauß, Tobias; Sharma, Prachi; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2020 | Techniques improving the robustness of deep learning models for industrial sound analysis Grollmisch, S.; Johnson, D.S. |
Konferenzbeitrag Conference Paper |
| 2020 | IAEO3 - Combining OpenL3 Embeddings and Interpolation Autoencoder for Anomalous Sound Detection Grollmisch, Sascha; Johnson, David; Abeßer, Jakob; Lukashevich, Hanna |
Vortrag Presentation |
| 2020 | Visualizing Neural Network Decisions for Industrial Sound Analysis Grollmisch, Sascha; Johnson, David; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2020 | Compressed air leakage detection using acoustic emissions with neural networks Johnson, D.; Kirner, J.; Grollmisch, Sascha; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2020 | Plastic Material Classification using Neural Network based Audio Signal Analysis Grollmisch, Sascha; Johnson, David; Krüger, Tobias; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2019 | Anwendung von (Luft-)Schallanalyse als ein Verfahren der berührungslosen Qualitätssicherung für die vorausschauende Wartung Kepplinger, Sara; Helbig, Mareike; Clauss, Tobias; Lukashevich, Hanna |
Konferenzbeitrag Conference Paper |
| 2018 | Störschallunterdrückung bei Luftschallanalysen in industriellen Fertigungsstrecken Nowak, Johannes; Grollmisch, Sascha; Cano, Estefanía; Lukashevich, Hanna; Liebetrau, Judith |
Konferenzbeitrag Conference Paper |
| 2018 | Stadtlärm - a distributed system for noise level measurement and noise source identification in a smart city environment Clauß, Tobias; Abeßer, Jakob; Lukashevich, Hanna; Gräfe, Robert; Häuser, Franz; Kühn, Christian; Sporer, Thomas |
Konferenzbeitrag Conference Paper |
| 2018 | Luftschallbasierte Rissdetektion von Metallteilen Liebetrau, Judith; Grollmisch, Sascha; Nowak, Johannes |
Konferenzbeitrag Conference Paper |
Fraunhofer-Institut für Digitale Medientechnologie IDMT