Augmented Reality & Deep Learning

Augmented Reality kombiniert mit Deep Learning Technologie – ungeahnte Anwendungsmöglichkeiten

Leistungsfähige moderne Vision-Systeme basieren auf Machine Learning (ML) / Deep Learning Technologien mit neuronalen Netzen und sind sehr mächtige und heute unverzichtbare Hilfsmittel in Produktionsprozessen aller Industrie-Branchen. Der Einsatz von Neuronalen Netzen in Bildverarbeitungssystemen erlaubt im Gegensatz zu herkömmlichen Bildverarbeitungssystemen zusätzliche Anwendungsmöglichkeiten von prozesssicherer, automatisierter Inspektion bzw. Objekt-Klassifizierung in der Bildverarbeitung mit sehr hohen Erkennungsleistungen.

Bislang ist eine Objekte-Klassifizierung bzw. -Erkennung komplexer Formen sogar bei hochgradiger Spiegelung oder Ortsveränderung der Objekte mit herkömmlichen Bildverarbeitungssystemen nur mit erheblichem und somit mit nicht vertretbarem Aufwand realisierbar. Der Mensch ist in solchen Fällen einem starr angeordneten Vision System überlegen, da er mobil und extrem geschickt ist und den Blickwinkel auf das Objekt leicht anpassen kann.

Die Fakultät Mechanical und Medical Engineering (MME) der Hochschule Furtwangen University hat gemeinsam mit der i-mation GmbH ein System für solche Aufgabenstellungen entwickelt, realisiert und diese im Rahmen der Grants4Tech Challenge „Digital4Eyes“ während der Cube Tech Fair in Berlin vorgestellt.

Die Grants4Tech ist ein weltweiter Technologiewettbewerb von  Bayer Leverkusen, bei dem 6 Finalisten ihre Lösungen präsentierten.

Die Grundidee des entwickelten Systems ist die Umsetzung der in der Industrie sehr häufig eingesetzten Vieraugenmethode, bei der eine zweite Person das Arbeitsergebnis einer Person prüft. Die Prüfungsaufgabe der zweiten Person wird hierbei durch  eine AR-Brille, die die Person trägt, unterstützt.

Mit der AR-Brille wird ein Bild, das dem entspricht, was die Person durch die Brille sieht per WLAN an ein Server-System übertragen, dort ausgewertet und das Prüfungsergebnisse zurück in die Brille übertragen und steht der Person zur Bewertung zur Verfügung. Das Originalbild und das Prüfungsergebnisbild kann parallel auf jedes weitere mobile Gerät übertragen und auf diesem ebenfalls angezeigt werden.

Bei der Entwicklung dieses Systems haben folgende Ziele im Vordergrund gestanden:

  • Unterstützung des Menschen bei einer komplexen und ermüdenden Prüfaufgabe
  • Wahrnehmung der Umgebung trotz Brille
  • Einfache, hoch-mobile und flexible Handhabung
  • Kombination von realem Bild und Ergebnissen für den Menschen
  • Detaillierte Ergebnisdarstellung mit identifizierten und erkannten Fehlerpunkten

Besonders hervorzuheben ist, dass mit dem System die Geschicklichkeit und Fähigkeiten des Menschen mit denen moderner Technologien kombiniert eingesetzt werden, um den Menschen bei komplexen Prüfungs- und Klassifizierungsaufgaben zu unterstützen.

Das System wurde mit der BT300 AR Brille der Firma Epson und der Deep Learning Technologie der Firma Cognex, eine auf Machine Learning basierende Technologie (Human-Like Machine Vision) realisiert.

 

Anwendungsmöglichkeiten dieser Lösung

Das entwickelte System kann immer dann sinnvoll und nutzbringend eingesetzt werden, wenn schwierige Prüfungs- oder-Klassifizierungsaufgaben komplexer Objektformen sogar bei hochgradiger Spiegelung oder Ortsveränderung der Objekte vorliegen. Beispiele für solche komplexen Aufgaben kann die Gültigkeitsprüfung von Montageschritten oder Oberflächeninspektionen oder die Inspektion und Klassifizierung von Naturprodukten sein (z.B. Klassifizierung von Blattkrankheiten in Versuchsreihen, Strukturfehlerprüfung von Naturprodukten wie Leder) u.v.m.. Viele weitere Aufgabenstellungen sind denkbar.

Bilder: i-mation, HFU

Autoren: Prof. Dr.-Ing. Jörg Friedrich, Professor für Mechanical und Medical Engineering an der HFU Furtwangen

Georg Bacher, Leiter Geschäftsbereich human-like Machine Vision i-mation GmbH