Servicexpert - Gesellschaft für Service-Informationssysteme mbH

3D-Umgebungsrekonstruktion seriennah

Portierung einer Structure-from-Motion-Umgebung auf ein eingebettetes System mit Grafikbeschleunigung (OEM & Lieferant 1/2018)

28.03. 2018

Der Einsatz fortschrittlicher Sensortechnologien ist die Voraussetzung für autonomes oder teilautomatisiertes Fahren. Dabei stehen alle Fahrzeugproduzenten vor den gleichen Herausforderungen, unabhängig vom Einsatzgebiet der Fahrzeuge – auf oder abseits der Straßen. Bei der Auswahl von geeigneten Sensortechnologien spielen Funktions-, Sicherheits- und Kostenfaktoren sowie die Sensorfusion eine entscheidende Rolle. ServiceXpert Gesellschaft für Service-Informationssysteme mbH hat gemeinsam mit der ESG Elektroniksystem- und Logistik-GmbH die auf der Structure-from-Motion-Technologie (SfM) basierende, aktuelle Softwarelösung entwickelt, die eine optische 3D-Umfeldrekonstruktion mittels Bewegt-Bildern einer Monokamera ermöglicht. Dabei wird aus dem Verfolgen einzelner Bildmerkmale über mehrere Frames hinweg und geometrischen Gleichungen eine 3D-Punktwolke der Umgebung sowie die Relativbewegung der Kamera (sechs Freiheitsgrade) errechnet. Dies bedeutet einen deutlich geringeren Hardwareaufwand bezüglich der Kameraauswahl gegenüber Stereobilderfassung. Diese Bildverarbeitungs-Software wurde von ServiceXpert-Ingenieuren nun auf einem eingebetteten Ein-Chip-System integriert.

Bislang war die SfM-Lösung auf PC-Architekturen wie x86/x64 unter Windows oder Linux im Einsatz, sodass eine Umsetzung dieser Lösung auf einer dedizierten Hardware als embedded System der nächste Schritt in der Weiterentwicklung dieser Technologie ist. Diese Umsetzung ermöglicht erst – natürlich unter Berücksichtigung von Betriebssicherheit, Kosten, Bauraum u. a. m. – den Schritt ins Fahrzeug.

Als Plattform für die Integration der Software dient das NVIDIA Jetson TX2. Die Hardware basiert auf der NVIDIA Tegra-Technologie und bietet einen Dual-Core Denver2 Prozessor sowie einen Quad-Core ARM-Cortex-A57 Prozessor. Dieser setzt auf der ARM64 Technologie auf, eine NVIDIA Pascal GPU mit 256 CUDA-Grafik-Kernen und 8GB Arbeitsspeicher. Er ist mit etwa Scheckkartengröße als leistungsstarker eingebetteter Chip für die Automobilindustrie entwickelt worden. In der Ausführung als Development Kit wird der Chip auf einer handlichen Platine mit umfassender Peripherie und Schnittstellen geliefert. Das Development Kit verfügt über nahezu alle digitalen Ein- und Ausgänge, HDMI-, USB-, Ethernet- und CAN-Schnittstellen. Ebenso ist das Board über einen Host-PC mittels SSH über Ethernet mit einem neuen Betriebssystem flashbar. Auf diese Weise können proprietäre Treiber und Bibliotheken von NVIDIA installiert werden.

Da das Development-Kit mit einer vorinstallierten Linux-4-Tegra-Distribution auf Ubuntu-16.04-Basis ausgeliefert wird, konnte ServiceXpert eine Portierung des Codes in kurzer Zeit erfolgreich durchführen. Der Aufwand für diese Portierung war aufgrund des umfassenden Betriebssystems auf dem Board ebenfalls gering. Die Software konnte direkt auf dem Board kompiliert werden. Fehleranfälliges Cross-Kompilieren des Quellcodes durch einen Host-PC oder aufwändiges Flashen oder Migrieren des fertigen Programmes war nicht nötig. Optimierungen und architekturspezifische Kompilierungsparameter konnten teils übernommen werden. Eine Demoapplikation war bereits nach einem ersten Integrationszyklus ohne hardwarespezifische Optimierungen erfolgreich ablauffähig.

Zur vollständigen Potenzialnutzung der Hardware wurde die leistungsstarke GPU des TX2-Boards genutzt. Dafür stellt der Hersteller NVIDIA proprietäre Softwarebibliotheken zur Nutzung der CUDA-Technik zur Verfügung. Diese bietet signifikante Performance-Vorteile für eine große Anzahl an parallel durchführbaren, einfachen Rechenoperationen, wie z. B. lineare Matrix-Vektor-Berechnungen. Die entsprechenden Code-Abschnitte und die zugehörigen Operationen konnten von den ServiceXpert-Ingenieuren schnell identifiziert, für die Erkennung der Bildmerkmale optimiert und in einem weiteren Entwicklungsschritt GPU-beschleunigt integriert werden.

Durch Einsatz der NVIDIA-Technologie konnte das Entwicklerteam der ServiceXpert seine breiten Erfahrungen im Bereich der seriennahen Umfelderfassung ausbauen und wird diese in bestehende Projekte bei Kunden und Partnern einfließen lassen. Als hardware-neutral agierender Dienstleister greifen die Ingenieure der ServiceXpert immer wieder auf zahlreiche Projekterfahrungen bei der Bewertung und Auswahl von Hardwarepartnern zurück und evaluieren regelmäßig bestehende Angebote und Leistungen. Die Anforderungen des Kunden können so in eine anwendungsspezifische Parametrierung und Hardwareempfehlung einfließen und zur Verfügung gestellt werden.

ServiceXpert, ein Unternehmen der ESG-Gruppe, beschäftigt über 85 Mitarbeiter an den Standorten Hamburg und München. ServiceXpert ist ein europaweit operierendes System- und Softwarehaus mit einem fokussierten Leistungsportfolio für das Lifecycle-Management von EE-Informationen für führende Nutzfahrzeughersteller sowie deren Zulieferindustrie. 

Copyright ServiceXpert Gesellschaft für Service-Informationssysteme mbH 2016. All rights reserved.