SoundSee – Einblicke mit Audio-AI

Moderne Sensoren hören zwar besser als Menschen, ihnen fehlt jedoch die Fähigkeit, Geräusche auf eine Art und Weise zu verstehen, wie Menschen es tun. Bosch Research hat es sich zum Ziel gesetzt, robuste, skalierbare Algorithmen für die Verarbeitung von Audiosignalen und das maschinelle Lernen zu entwickeln, die Geräuschmuster verstehen können.

Neben der menschlichen Sprache sind Umgebungsgeräusche und Maschinengeräusche zwei weitere Hauptarten von Geräuschen. Umgebungsgeräusche umgeben uns ständig – vorbeifahrende Autos, schließende Türen, brechendes Glas. Maschinengeräusche stammen von Maschinen – Antrieben, Werkzeugen und Motoren, um nur einige Beispiele zu nennen. Diese Geräuschmuster kodieren verschiedene interessante physikalische Ereignisse, die für die praktische Anwendung zu entschlüsseln sind. Ist die Tür beim Schließen eingerastet? Klingt der Lüfter auf einem Kühlgerät so, als würde er bald ausfallen?

SoundSee geht jedoch über Anwendungen in der Raumfahrt hinaus. Die Technologie lässt sich dank der kostengünstigen und vielseitigen Natur der Audio-Sensorik, die so gut wie überall hinpasst und dabei beinahe unsichtbar ist, in einem breiten Spektrum an Sektoren und Konfigurationen einsetzen.

Die vorbeugende Instandhaltung in Industrieumgebungen ist ein Beispiel, bei dem SoundSee wirkungsvoll sein kann, indem es die bestehenden Wahrnehmungsfähigkeiten verstärkt. Bei einem Hybrid-System für die automatische Spannungssteuerung könnte SoundSee beispielsweise die Geräusche eines Motors analysieren und eine Fehlfunktion vorhersagen, noch bevor diese eintritt – die Technologie lernt dabei von subtilen Abweichungen in der Geräuschsignatur. Sie könnte somit eine zusätzliche Ebene einer Überwachungslösung für Frühwarnsysteme darstellen, die einen großen Wert für die Industrie mit sich bringt, da die Ausfallzeiten reduziert und hohe Reparaturkosten gespart werden.

Auch im Gesundheitswesen kommt die Audio-AI zum Einsatz. Aus diesem Grund stellt das Gesundheitswesen einen weiteren spannenden Anwendungsbereich für SoundSee dar. Der menschliche Körper erzeugt Geräusche, wie Herzschlag oder Atmung, die klinisch relevante Informationen enthalten können. SoundSee könnte zu umfassenden, datengestützten Entscheidungen hinsichtlich der Gesundheitsversorgung beitragen, da die Technologie dem Körper zuhört. Sie könnte auch physiologische Geräuschindikatoren von Notlagen/Schmerzen registrierten und akustische Alarme aussenden, wenn eine Person Hilfe benötigt. Die Fähigkeit, in der Stimme eines Menschen Schmerzen oder Hilferufe zu erkennen, kann bei einem Notfall entscheidend sein.

Als Allround-Talent kann die Audio-AI von SoundSee auch als ein Mehrwert generierendes Merkmal in Gebäudetechniklösungen integriert werden, insbesondere im Kontext der physischen Sicherheit, z. B. durch Erkennen und Lokalisieren von Bedrohungsereignissen wie Alarme oder Glasbruch.

Die Anpassung der Audio-AI von SoundSee an eine gegebene Umgebung und die Sicherstellung einer soliden Leistung ist eine Herausforderung. Hierfür sind qualitativ hochwertige Daten erforderlich, um die Audio-AI zu trainieren. Die Wissenschaftler von Bosch Research verwenden eine Kombination aus einer klassischen signalverarbeitenden und einer datengestützten KI (maschinelles Lernen) zur Lösung einzigartiger Herausforderungen, die mit jedem Anwendungsszenario, das betrachtet wird, einhergehen. Sie benötigen einen gut definierten Anwendungsfall und eine gute Leistungsmetrik, um zu bestimmen, in Bezug auf welche Geräusche die Audio-AI trainiert werden muss, zusammen mit den entsprechenden Datenkennzeichnungen/-annotationen (vom Menschen zugewiesene Bezeichnungen und/oder sensorische Signale als übergeordnete Achtungssignale). Bei beiden handelt es sich um kritische Faktoren, die das maschinelle Lernen unterstützen.

Vor Kurzem konnte das SoundSee-Team vielversprechende Ergebnisse in einem kollaborativen Projekt erzielen, das die vorbeugende Instandhaltung mit Bosch Powertrain Solutions umfasste. Die Audio-AI wurde anhand eines multimodalen Datensatzes trainiert, der Audio- und Drehmomentsignale vor und nach einem künstlich herbeigeführten Schaden an sechs Kraftstoffpumpen umfasste. SoundSee zeigte, dass die Audio-AI für die Ableitung anderer Signalmodalitäten (z. B. Drehmoment, Kraftstoffdruck) mit einer überraschend hohen Wiedergabetreue verwendet werden kann, die wiederum stark mit dem Betriebszustand oder den Fehlfunktionen der Pumpen korreliert. Diese Fähigkeit der „virtuellen Wahrnehmung“ mit Audio-AI ist ein vielversprechender Schritt hin zur Verstärkung der aktuellen Sensordatenanalytik-Lösungen für die Verbesserung der vorbeugenden Instandhaltung.