Mit Montageassistenz zur perfekten Bauanleitung
Mit DeepInspect entwickeln Ingenieurinnen und Ingenieure von Bosch Research ein hochflexibles und einfach einzulernendes kamera- und KI-gestütztes Assistenzsystem für Handmontageplätze.
Drei Schüsseln mit vorsortierten Klemmbausteinen, daneben liegt das Heftchen mit der genauen Anleitung zum Bau des coolen Rennwagens in Modellgröße: Der junge Monteur im Kinderzimmer ist motiviert, greift Schritt für Schritt zu den notwendigen Bauteilen und steckt sie mit sicheren Handbewegungen zusammen. Bis er einen falschen Stein erwischt und ihn außerdem an der falschen Seite platziert. Etwas Zeit und gute Laune gehen drauf, bis der Fehler gefunden und der richtige Weg wieder eingeschlagen ist.
Wenn an einem der rund 1.000 Handmontageplätze in den Bosch-Werken oder den Werken unserer Kunden Fehler passieren, trübt sich nicht der Familienfrieden, sondern die Produktionskosten steigen. Auch geht es dort meist um komplexere „Modelle“ als bei den Baukästen im Kinderzimmer. Perfekt wäre da eine Bauanleitung, die dem Werksmitarbeiter direkt signalisiert, ob er das richtige Bauteil im richtigen Montageschritt an der richtigen Position montiert.
Deep Learning ermöglicht robuste Objekterkennung
Genau an solch einer Lösung arbeiten die Forschungsingenieurinnen und -ingenieure bei Bosch Research derzeit: DeepInspect ist ein leistungsfähiges, intelligentes und leicht zu trainierendes Montageassistenzsystem für die Unterstützung von Handmontageplätzen. Trotz aller Automatisierung gibt es in den Werken noch wichtige Handarbeit: bei Fertigungen, die im wahrsten Wortsinn Fingerspitzengefühl erfordern; bei Stücken mit niedrigerer Produktionszahl, bei denen sich der Bau einer vollautomatisierten Montagestraße nicht amortisieren würde; oder bei Prozessen, die menschliche Flexibilität erfordern, die die Maschine nicht leisten kann. Das heißt aber nicht, dass man die Menschen nicht mit Maschinen und/oder Software bei ihrer Arbeit unterstützen kann. Hier kommt DeepInspect ins Spiel. Dabei steht der Begriff „Deep“ für das Konzept von Deep Learning, bei dem es um maschinelles Lernen auf Basis tiefer neuronaler Netze unter anderem für die Bildanalyse geht. „Inspect“ wiederum steht für Einblick respektive Prüfung, was bereits auf die verwendete Technologie hindeutet. „Über eine intelligente Kamera am Fertigungsplatz kann das Assistenzsystem parallel zur Fertigung überprüfen, ob der Montageprozess richtig abläuft“, erklärt Eduardo Monari, Leiter des Forschungsbereichs Cognitive Industrial Vision, den Einsatz von DeepInspect und ergänzt: „DeepInspect ist eine Art digitale Montageanleitung, die für Mitarbeitende den nächsten Montageschritt als Hilfestellung visualisiert“.
Dafür beobachtet eine intelligente Kamera während der Ausführung die schrittweise Montage des Produktes. Sobald diese korrekt erfolgt ist, wird automatisch zum nächsten Schritt gewechselt. „Erfasst und kontrolliert werden ausschließlich die Produkte und Komponenten, nicht die Mitarbeitenden in der Montage“, so Monari weiter. Auch ist das Assistenzsystem so konzipiert, dass es keine Fehler beim Zusammenbau erkennt, die eventuell auf die Mitarbeitenden zurückzuführen wären. Vielmehr gewährleistet es, nach vorne gerichtet, eine korrekte Montage. „Diese Perspektive ist uns wichtig“, so Monari. „Sie legt den Fokus auf das Wesentliche: von Anfang an sicherzustellen, dass möglichst wenige Fehler passieren und die Mitarbeiterinnen und Mitarbeiter dabei bestmöglich konstruktiv und datenschutzkonform unterstützt werden.“
Kamerabasierte Objekterkennung: Bauteile einlernen leicht(er) gemacht
Um den korrekten Zusammenbau bei komplexen Montageprozessen zu gewährleisten, gibt es bereits verschiedene Systeme auf dem Markt. Diverse Lösungen versuchen, die Bewegungen der Menschen selbst zu verfolgen und aufzuzeichnen, also zu „tracken“, und so auf die Qualität der Montageschritte zurückzuschließen. Dieser Ansatz stößt aus Eduardo Monaris Sicht aber schnell an seine Grenzen. Einerseits seien die Abläufe zu komplex, andererseits gehe es auch gar nicht um ergonomisch korrekte Bewegungen, sondern eher darum, komplexe Bauteile in einer komplexen Umgebung richtig zu platzieren. Die Beobachtung der Bewegungen wäre somit nur eine indirekte Prüfung der korrekten Montage – und damit weder effizient noch zielführend. „Außerdem ergeben sich bei etlichen Systemen kritische Fragen hinsichtlich des europäischen Datenschutzrechts, da diese in der Regel Personen komplett erfassen “, ergänzt er.
Andere Lösungen setzen bereits auf die kamerabasierte Objekterkennung, die das DeepInspect Team aber durch den Einsatz künstlicher Intelligenz robustifizieren und optimieren konnten. Denn das „Einlernen“ ist nicht nur bei Menschen ein komplizierter und aufwändiger Prozess, sondern auch bei Maschinen. Bei den gängigen Methoden sind für ein verlässliches Ergebnis mehrere hundert verschiedene Bilder eines Bauteils zum Einlernen des Montageassistenzsystems erforderlich. Anschließend müssen die menschlichen Trainer die relevanten Bilder zeitaufwändig herausfiltern und diese mit sogenannten Bildannotationen verknüpfen. „Die notwendige Bildannotation war bisher der sogenannte Showstopper für die Akzeptanz und den wirtschaftlich vertretbaren Einsatz in der industriellen Montage – und daran haben wir nun bei Bosch Research erfolgreich gearbeitet“, sagt Matthias Kayser, Leiter des Projektes.
Mit Hilfe einer intelligenten Bildauswertung filtert die neue DeepInspect-Software nun bereits während der Bildaufnahme des entsprechenden Bauteils die relevanten Bilder heraus und annotiert diese automatisch. „Auf diese Weise brauchen wir gerade einmal 15 bis 20 Minuten für die gesamte Trainingsdatenaufbereitung“, resümiert Kayser. Ein weiterer Vorteil: Weil der Zeitaufwand wesentlich geringer ist, können sich die Einlerner und in der Folge die Systemeinrichter im Werk auch iterativ an das beste Ergebnis herantasten. Sie produzieren erstmal 100 Bilder, testen, ob das reicht und produzieren andernfalls immer weiter nach, bis das Ergebnis eine verlässliche Objekterkennung und Prüfung zulässt. DeepInspect bietet aber bereits von der ersten Iteration an die Vorteile einer „smarten, interaktiven Montageanleitung“.
Erste Prototypen im Einsatz
Aktuell sind die Bosch Research Ingenieurinnen und Ingenieure dabei, Prototypen von DeepInspect zu erproben. So haben sie das Montageassistenzsystem etwa in einer Zusammenarbeit mit der Mercedes-Benz Group AG auf der Forschungsfabrik ARENA2036 in Stuttgart am Beispiel einer Batteriemontage durchgespielt und an einem Handmontageplatz im Labor in Renningen getestet. „Gerade entwickeln wir für vier Bosch-Werke konkrete Pilotanwendungen, aus ganz unterschiedlichen Bereichen der Bosch Fertigung“, berichtet Monari. Perspektivisch sollen die Konstrukteurinnen und Konstrukteure in den Werken in der Lage sein, die interaktive Bauanleitung für ihr Produkt mit Hilfe der Software selbst einzulernen – gute Laune am Handmontageplatz inklusive.
Eduardo Monari
Dr.-Ing. Eduardo Monari promovierte 2011 in Elektrotechnik am Karlsruher Institut für Technologie. Seit 2018 ist er bei Bosch Research als Leiter der Forschungsgruppe für Kognitive Industrielle Bildverarbeitung (CR/APA2) tätig. Zudem ist er auch für die Koordination von Projekten zum Thema KI in Produktionssystemen in der Bosch Forschung verantwortlich. Sein Forschungshintergrund liegt in den Bereichen 2D/3D Vision und Signalverarbeitung, insbesondere unter unkontrollierten und komplexen Bedingungen. Dabei ist sein Forschungsinteresse immer mit der Frage verbunden, wie kognitive Maschinen und Systeme schnell, einfach und mit minimalem Aufwand trainiert oder gelehrt werden können.
Matthias Kayser
Dr. Matthias Kayser promovierte auf dem Gebiet der bildgestützten Objekterkennung für Verkehrsmonitoring an der Goethe-Universität Frankfurt. Mit seinem Eintritt in die zentrale Forschung von Bosch beschäftigt er sich hauptsächlich mit dem Thema der Erkennung und Lokalisation von Objekten in der Umwelt mithilfe von künstlicher Intelligenz in der Produktionstechnik und für die industrielle Robotik. Im Projekt DeepInspect forscht Matthias Kayser an neuronalen Netzen, die industrielle Bauteile für das Montageassistenzsystem erkennen, und an Verfahren, um diese Netze mit wenigen und automatisch annotierten Daten zu trainieren. Neben den technischen Herausforderungen macht ihm auch die interdisziplinäre Zusammenarbeit und Vernetzung mit anderen Bosch-Werken weltweit große Freude, wodurch das System in vielen verschiedenen Bereichen getestet werden konnte.
