Jonathan Francis, Ph.D.
Senior Research Scientist, Robot Learning und Multimodal Machine-Learning
Ich bin Senior Research Scientist bei Bosch Research in Pittsburgh, Sponsored Scientist am Robotics Institute der Carnegie Mellon University (CMU) und Adjunct Staff/Area Expert für Robotik am Carnegie Bosch Institute der CMU. Meine Hauptforschungsinteressen verbinden Multimodal Machine-Learning mit Robot Learning – die Entwicklung autonomer Systeme, die sichere, robuste, multimodale/multisensorische und übertragbare Darstellungen der Welt lernen und daher in der Lage sind, ihre eigenen Fähigkeiten/Verhaltensweisen zu erwerben, anzupassen und zu verbessern, wenn sie in verschiedenen Szenarien eingesetzt werden.
Diese Arbeit befasst sich mit wesentlichen Lücken, die bisher die Einsatzfähigkeit fortschrittlicher autonomer Technologien in Produktionssystemen von Bosch eingeschränkt haben. Mit zahlreichen Publikationen und organisierten Workshop-Veranstaltungen sowie Herausforderungen jedes Jahr bleibe ich in der Robotik- und KI/ML-Wissenschaftsgemeinde aktiv. Ich bin häufig im TPC oder als Area Chair, Editor, Associate Editor oder Scientific-Advisory-Board-Mitglied für verschiedene Konferenzen und Fachpublikationen tätig. Ich bin auch für etliche institutionsübergreifende Kooperationen, Beratungen für Doktorandinnen und Doktoranden sowie Nachwuchswissenschaftlerinnen und -wissenschaftler sowie für öffentlich geförderte Projekte zuständig.
Was fasziniert Sie an der Forschung am meisten?
Die Forschung ermöglicht es uns, neue Möglichkeiten zu erschließen, das Wissen der Menschheit ständig weiterzuentwickeln und Probleme zu lösen, die bisher als unlösbar galten. Als Wissenschaftler in der Industrieforschung geht es darum, eine der Wissenschaft gewidmete Karriere mit der Möglichkeit (und Verantwortung) zu verbinden, modernste Technologien einzusetzen, damit neue Effizienzen und Fähigkeiten hinsichtlich Unternehmensprodukte, -dienstleistungen und -herstellungsprozesse ermöglicht werden können. Tatsächlich schätze ich ganz besonders die Chance, theoretische Durchbrüche in ML, KI und Robotik mit praktischen Anwendungen zu verknüpfen. Im Zeitalter vielseitiger Welt- und Handlungsmodelle mit großen Kapazitäten ist es zunehmend möglich geworden, autonome Systeme zu entwickeln, die über ihre Umgebung nachdenken, von Demonstrationen lernen, ihren eigenen Fortschritt in Richtung eines Ziels überwachen und Korrekturmaßnahmen ergreifen, um ihr eigenes suboptimales Verhalten zu korrigieren. Der Forschungsweg ist sicherlich nichts für schwache Nerven, aber mich treibt die Aussicht voran, gleichzeitig zur Entwicklung und Anwendung dieser Technologien beizutragen.
Was ist das Besondere an der Forschung bei Bosch?
Bosch Research zeichnet sich dadurch aus, dass der Bereich in den praktischen Bedürfnissen der Industrie verwurzelt ist und gleichzeitig wissenschaftliche Spitzenforschung fördert. Bosch verfügt über ein unglaublich vielfältiges Portfolio an Forschungsthemen mit einer großen multikulturellen und multinationalen Bandbreite. Die Zusammenarbeit zwischen Bosch Research Pittsburgh und angesehenen akademischen Einrichtungen wie der Carnegie Mellon University fördert einen dynamischen Austausch von Ideen und ermöglicht so die Umsetzung komplexer Forschungsergebnisse in praktikable Lösungen. Darüber hinaus sorgt der Fokus von Bosch auf Nachhaltigkeit, Effizienz und Zuverlässigkeit dafür, dass unsere Forschung nicht nur die Technologie vorantreibt, sondern sich auch an breiter angelegten gesellschaftlichen Zielen orientiert.
An welchen Forschungsthemen arbeiten Sie derzeit bei Bosch?
Meine Arbeit zielt auf Verbesserungen bei der Intelligenz und Anpassungsfähigkeit autonomer Systeme ab, die in unterschiedlichen Umgebungen eingesetzt werden. Meine aktuelle Forschung konzentriert sich auf fortschrittliche Robotik, die mit multimodalen/multisensorischen Gen-KI-Modellen ausgestattet ist und bei Produktionssystemen und intralogistischen Fabrikprozessen angewendet wird. Auf der Modellierungsseite untersuche ich die folgenden Lernparadigmen: (i) das Abrufen von Robotertrajektorien zur Erweiterung des Lernens von Testzeit-Verfahren (ähnlich wie bei RAG, aber mit Robotertrajektorien) zur Verbesserung der (Wieder-)Verwendung von Daten; (ii) die Online-Generalisierung und -Anpassung von Roboterverfahren durch die Anleitung von Agentic Frameworks (z. B. Chain-of-Thought-Reasoning bzw. Gedankenkettenführung, Lernen im Kontext und Codegenerierung); (iii) multimodales/multisensorisches Repräsentationslernen mit z. B. visuellen/vibro-taktilen Signalen für ein verbessertes Verständnis der Objektkontaktphysik, der Objektbezüge und der Objektoberflächeneigenschaften in Tabletop- und mobilen Bedienungseinstellungen; und (iv) darstellungsübergreifendes Transfer-Lernen zur Skalierung von Methoden in verschiedenen Roboterplattformen. Auf der Anwendungsseite betrachten wir die Fabrikautomatisierung, wie z. B. die ausgeklügelte Tabletop-Bedienung für die Montage sowie mobile Bedienungsaufgaben wie das Abrufen/Rückholen von Bauteilen, den Werkzeugtransport und die Maschinenpflege. Wir schlagen vor, alle oben genannten Funktionen in „Toolkits“ für KI/Robotik-Geschicklichkeit zu kombinieren, damit Linienmanager in die Lage versetzt werden, einige komplexe Aufgaben umgehend zu automatisieren. Schließlich bewerten und erleichtern wir den Einsatz humanoider Roboter für Fabrikautomatisierungsaufgaben.
Was sind die größten wissenschaftlichen Herausforderungen auf ihrem Forschungsgebiet?
Trotz aller bemerkenswerten Fortschritte gibt es beim Robot Learning und Multimodal Machine-Learning noch einige Hürden zu überwinden:
1. Dateneffizienz: Die Verringerung der Abhängigkeit von großen Mengen gelabelter Daten für das Training robuster Modelle bleibt eine entscheidende Herausforderung, die die Entwicklung effizienterer Lerntechniken erfordert. Systeme in die Lage zu versetzen, die Fülle der vorhandenen menschlichen Darstellungen zu nutzen (z. B. YouTube), stellt das Erlernen effektiver gemeinsamer Darstellungen vor große Herausforderungen. Siehe Memmel et al., 2025; Yoo et al., 2025; Niu et al., 2025 usw.
2. Multimodale Fusion: Die Vereinheitlichung von Konzepten aus unterschiedlichen Sensormodalitäten bleibt auch mit Generativer KI ein offenes Thema beim Repräsentationslernen. Jede Modalität hat ihr eigenes Geräuschverhalten und ihre eigenen Datenformate, und es ist schwierig, sie in effizienten Token- oder Konzeptdarstellungen so zu kombinieren, dass sie domainübergreifend generalisiert werden können. Siehe Tatiya et al., 2022, 2024.
3. Domainübergreifende Generalisierung: Um sicherzustellen, dass fortschrittliche Lerntechniken zuverlässig im großen Maßstab funktionieren, braucht man Erfahrung im Umgang mit verschiedenen Roboter-Hardwareplattformen in verschiedenen Umgebungen, mit unterschiedlichen Aufgaben und mit verschiedenen Objekten und Arbeitsbereichskonfigurationen. Auch wenn es verlockend sein mag, Strategien in der Simulation zu trainieren, bevor man sie in realen Umgebungen einsetzt, müssen sich Modelle dennoch mit der Verteilungsverschiebung zwischen synthetischen Daten und realen Beobachtungen (Sim-to-Real-Lücke) auseinandersetzen, was einem zuverlässigen Einsatz oft im Wege steht. Siehe: Huang et al., 2023; Tatiya et al., 2022, 2024.
4. Sicherheit, Robustheit und Zuverlässigkeit: Von algorithmischer Transparenz bis hin zu zuverlässiger Ausfallsicherung ist es entscheidend, Vertrauen in autonome Systeme in anspruchsvollen Industrieumgebungen aufzubauen. Siehe Qadri et al., 2025; Bucker et al., 2024 usw.
Wie werden Ihre Forschungsergebnisse Teil der „Invented for life“-Lösungen?
Vorhandensein reichhaltiger multisensorischer Darstellungen der Welt sind für autonome Systeme unerlässlich, um fundierte Entscheidungen zu treffen, sichere Handlungen durchzuführen, sich an veränderte Umweltbedingungen anzupassen und effizient mit Menschen und anderen Akteuren interagieren zu können.
Lebenslauf
Seit 2024
Adjunct Staff für Robotik-Forschung, Carnegie Bosch Institute, Carnegie Mellon University
Seit 2022
Sponsored Scientist, Robotics Institute, Carnegie Mellon University
Senior Research Scientist, Bosch Research Pittsburgh
2017 bis 2022
Ph.D. Student/Kandidat, Robotik + Sprachtechnologien, School of Computer Science, Carnegie Mellon University
2014 bis 2022
Research Scientist I/II, Bosch Research Pittsburgh
Ausgewählte Publikationen
Memmel et al., 2025
- Marius Memmel, Jacob Berg, Bingqing Chen, Abhishek Gupta, Jonathan Francis
- The Thirteenth International Conference on Learning Representations (ICLR 2025)
Yoo et al., 2025
- Uksang Yoo, Jonathan Francis, Jean Oh, Jeffrey Ichnowski
- arXiv
Niu et al., 2025
- Yaru Niu, Yunzhe Zhang, Mingyang Yu, Changyi Lin, Chenhao Li, Yikai Wang, Yuxiang Yang, Wenhao Yu, Tingnan Zhang, Zhenzhen Li, Jonathan Francis, Bingqing Chen, Jie Tan, Ding Zhao
- arXiv
Bucker et al., 2024
- Arthur Bucker, Pablo Ortega-Kral, Jonathan Francis, Jean Oh
- arXiv
Ihr Kontakt zu mir
Jonathan Francis, Ph.D.
Senior Research Scientist, Robot Learning und Multimodal Machine-Learning