Digital Sibling vs. Digital Twin – Gleich und gleich gesellt sich (nicht so) gern?

Dass die Entwicklung vor allem autonomer Fahrzeuge eine enorme Herausforderung ist, geht weit über das rein Technische hinaus; schließlich kommen nur allzu oft Myriaden an Aspekten zu dem hinzu, was das Fahrzeug leisten muss: Sensoren müssen erfassen, Kamerabilder wollen umgesetzt werden, Daten müssen kommunizieren – Entscheidungen müssen getroffen werden. Für wen bremst das Auto im Zweifelsfall? Wie schließt man Verwechslungen aus, wie sie immer wieder aufsehenerregend von Tesla-Fahrzeugen bekannt werden? Wie also wird man der Herausforderung Herr, die beim Erstellen virtueller Testwelten entstehen, und wie genau gestalten sich diese Challenges?

Florian Albert: „Die Herausforderungen beim Erstellen von virtuellen Welten zum Testing von autonomen Fahrzeugen sind mannigfaltig. Zum einen müssen Daten aus unterschiedlichsten Quellen fusioniert und berücksichtigt werden. Beispielsweise müssen Informationen zum Straßenverlauf mit topographischen Höhenmodellen, Gebäudegrundrissen und Vegetationszonen kombiniert werden. Zum anderen erfolgt ein Großteil der Arbeitsschritte zur 3D-Modellierung heute noch manuell mit unterschiedlicher Grafiksoftware und Design Tools. So lassen sich natürlich keine skalierbaren und unbegrenzt großen 3D Welten erschaffen, wie sie für eine umfassende, virtuelle Erprobung von autonomen Fahrzeugen notwendig wären.“

Wir wissen also nun auch, dass eine umfangreiche Simulation unzähliger Test-Szenarien erforderlich ist, um einen Digital Sibling zu erstellen – hierbei genügt es nicht, einfach Städtemodelle zu simulieren: Die Sensoren müssen integriert werden, und damit diese korrekt trainiert werden können, muss die virtuelle Umgebung echten physikalischen Eigenschaften entsprechen – autonome Teststrecken digital zu entwerfen, muss sich also an echten Gegebenheiten orientieren, die visuellen Stimuli müssen korrekt sein, und unzählige Test-Szenarien inklusive seltenen Rare Edge Cases wollen berücksichtigt werden. Und was, wenn sich Gegebenheiten ändern? Die gleiche Teststrecke, aber mit Regen? Oder Schlaglöchern? Mit Häusern an der Straße, deren Farbe bei Sonnenlicht mal mehr oder mal weniger reflektiert und die Kamera verwirren könnte? Hier ist bislang oft ein mühseliger, händischer Umbau durch den 3D-Artist nötig, was Kosten verursacht und Projekte zeitlich verzögern kann.

Ein „Digital Twin“, also ein 1:1 Abbild einer real existierenden Straße in einer belebten Stadt, die als Teststrecke fungieren soll, kann also nicht immer alle Anforderungen an jedes Testszenario erfüllen. Wusste schon Orwell, dass gleich eben nicht immer gleich ist. AVES Reality geht hier einen anderen Ansatz, in dessen Rahmen keine Teststrecken komplett und von Grund auf in Unreal (oder einer beliebigen anderen Grafikengine) nachgebaut werden, sondern bei dem Künstliche Intelligenz 3D-Umgebungen aus Satellitenbildern erzeugt. Aufgrund dieser gewollten Abweichungen der virtuellen Abbilder von einem identischen 1:1-Abbild, spricht AVES Reality bei seinen 3D-Welten gerne von „Digital Siblings“ anstelle von „Digital Twins“.

Aus der Luft gegriffen – der Digital Sibling für Teststrecken von AVES Reality

Für die Umsetzung digitaler Geschwister, so die Digital Siblings wörtlich übersetzt, dient bei AVES Reality als erste Grundlage ein Satellitenbild des Gebietes, dass sich der Kunde digitalisiert als Teststrecke wünscht. Dieses nun via Luftaufnahmen erfasste Gebiet wird im Folgenden via K.I. Analyse aufgearbeitet: Wo sind Pflanzen, Sträucher, Bäume, welche Datenquellen können genutzt werden, um ein möglichst realistisches Abbild des gewünschten Testgebietes zu erzeugen?

Sind diese Daten vorhanden und ausgewertet, erfolgt eine algorithmusbasierte 3D-Rekonstruktion der Aufnahmen und am Ende erhält der Kunde das virtuelle Lookalike, den Digital Sibling des Gebietes, das nun auf Wunsch „bevölkert“ werden kann mit z.B. Verkehrsteilnehmern und dem Digital Twin des Testfahrzeugs, mit Straßenmarkierungen, Verkehrszeichen oder Wettereffekten.

Die Vorteile dieses Vorgehens liegen auf der Hand: Anders als bisher müssen Teststrecken nicht mühsam händisch modelliert werden; große Gebiete können schnell und unkompliziert per Satellitenbild erfasst, via K.I. weiter digitalisiert, sprich, virtualisiert und später nach Wunsch bearbeitet werden: Das Haus an der Ecke sollte lieber gelb sein? Oder gar kein Wohnhaus, sondern ein verspiegeltes Bankgebäude sein? Oder ganz weg?

Derartige Wünsche ließen sich sicherlich auch zuvor bereits mehr oder minder einfach anpassen – das Tempo und die Skalierbarkeit des Digital Sibling, so verspricht es AVES Reality, ist indes noch neu in der Branche und Alleinstellungsmerkmal des noch jungen Unternehmens.

Florian Albert: „Mit unserer Technologie bieten wir eine bisher nicht da gewesene Kombination aus Geodatenanalyse, Kartierung und 3D Rekonstruktion, welche speziell auf die Bedürfnisse der Automotive Industrie zugeschnitten ist. Wir berücksichtigen Straßeninformationen aus sogenannten HD-Karten, gestalten Gebäude und Landschaften basierend auf anpassbaren Parametern und bieten unseren Kunden somit eine maximale Flexibilität bei der Variation der virtuellen Welten. Letztlich bieten wir der Branche dann eine sehr performante und automatisierbare Schnittstelle, um den von uns erzeugten 3D Content mühelos in Game Engines, oder automotive Simulation Tools zu exportieren.“

Eine Umsetzung in wenigen Stunden, unter günstigen Umständen gar in Minuten, verglichen mit den zuvor teils monatelangen Wartezeiten auf virtuelle Testumgebungen klingt freilich vielversprechend und könnte einen bislang ungekannten Nutzen in die Branche integrieren. Nicht mehr auf die Straße gehen zu müssen, um Umgebungen zu erfassen und später aufwendig zu virtualisieren, globale Anwendung statt lokaler Straßenzüge und schnelle Anpassung von sonst starren 3D-Modellen: Das klingt fast zu gut, um wahr zu sein.

Hurra hurra, die digitale Welt ist da – aber kann man sich auf sie verlassen?

Schon erste Berührungspunkte mit der Data Science Branche – die im Übrigen deutlich spannender ist, als sie mitunter in den ersten Sätzen klingt – lassen selbst Neulinge wissen, dass jedes Modell nur so gut ist wie die zugrunde liegenden Trainingsdaten. Wie viel Verlass ist also auf die in der virtuellen 3D-Welt, die im Rahmen des Digital Sibling erzeugten Daten, mit denen wiederum ein virtuelles, autonomes Fahrzeug trainiert werden soll?

Florian Albert: „Eine besondere Bedeutung bei der Entwicklung von selbstfahrenden Autos kommt den sogenannten Ground Truth Daten zu. Diese Daten sollen als wahr gelten und dienen entsprechend als Benchmarking für die von einem KI-System vorhergesagten Ergebnisse. Damit diese Daten (bspw. Bilder aus einer Fahrzeug-Frontkamera) maschinenlesbar sind, müssen sie sehr genau annotiert bzw. gelabelt werden. Dieser Prozess, bei dem jedem Objekt, oder gar jedem Bildpixel, eine Klasse bzw. eine Bedeutung zugeschrieben wird, ist bei real gesammelten Testdaten sehr aufwendig, meist manuell getrieben und zeitintensiv. Einer der größten Vorteile von virtuellen Welten ist die automatisch inbegriffene Ground Truth Information zu jedem Objekt, da alle Objekte einer virtuellen Szene bekannt sind und auf Software Code aufbauen. Wenn diese virtuellen Szenen nun wie bei AVES Reality prozedural und auf Parametern basierend erzeugt werden, dann können im Handumdrehen sehr große Datenmengen und sehr viele Varianten dieser wertvollen Daten erzeugt werden, was für das Trainieren eines robusten KI Systems unabdingbar ist.“

Dass dieser Umstand dafür sorgt, dass die Automotive Branche mit ihren gigantischen Datenmengen Aufwand und Zeit einspart, wäre ein nicht von der Hand zu weisender Vorteil gegenüber den herkömmlichen Methoden, Umweltabbilder in Game Engines für das Testing neuer Fahrzeugentwicklungen bereitzustellen.

Wer A sagt, muss dann natürlich auch B sagen – übersetzt in eine für Testingenieure etwas konkretere Fragestellung würden wir also äußern wollen: Wer „Testing“ sagt, muss auch „Automatisierung“ sagen. Vorbei die Zeiten, in denen 200 Testfahrzeuge mit professionellen Fahrern Millionen von Kilometern abdecken und teils automatisiert und teils manuell Trigger-Events dokumentieren und Petabyte-weise Daten über komplexe Pipelines zum Labeling schicken. Jedes Testszenario läuft idealerweise automatisiert ab, entwirft selbständig Änderungen am Testszenario und führt auch diese aus – so können Millionen von Testszenarien eigenständig und in kürzester Zeit abgebildet werden und für eine herausragende Menge sowie, wie schon festgestellt, qualitativ hochwertige Trainingsdaten erzeugen und liefern.

Sieht man sich das Konzept von AVES Reality an, scheint eine der schwierigsten Fragen zu sein, wieso vorher noch niemand auf die Idee kam – in Sachen Skalierbarkeit, Geschwindigkeit der Umsetzung und der hohen Ground Truth wirkt das Konzept des Digital Sibling realer Testumgebungen definitiv zukunftsweisend. Apropos Zukunft:

Alles nur Spielerei? Wohin gehen AVES Reality und der Digital Sibling in den kommenden Jahren?

Florian Albert: „Am Ende des Tages wollen wir uns mit unserer Technologie nicht nur auf die Automotive Branche begrenzen. Das Erzeugen von großen virtuellen 3D Welten, die auf Daten aus der realen Welt basieren, kann für viele Bereiche spannend sein. Beispielsweise im Gaming könnte es in unserer Fantasie für viele User extrem cool sein, Autorennspiele im eigenen Heimatort zu spielen anstatt auf vorgefertigten Standardstrecken, die im Spiel schon dabei sind.“

Expertise kann im Rahmen des aktuellen Konzepts dafür sicher aufgebaut werden. Organische und realistische (weil echte) 3D-Abbildungen der Welt, in der große Areale (dank durchaus hoher Rechenleistung) prozedural aufgebaut werden, für den Anwender mit praktisch einem Klick? Das Konzept ist nicht gänzlich unbekannt und weist Parallelen auf zu Epics „Quixels“, hochauflösenden Assets, die per Drag&Drop in virtuelle Umgebungen gezogen werden können und somit in Kombination mit „Metahuman“ und diversen Script-Kits auch Nicht-Programmierern den Weg in die Spieleentwicklung ebnen. Die Skalierbarkeit des Digital Sibling ist es, die AVES Reality interessant machen dürfte für die eine oder andere Vorstandsebene – immerhin lässt sich hier Bearbeitungszeit und Personalaufwand sparen, was in schlankeren Prozessen und somit einer günstigeren Produktion münden kann.

Noch dazu sind einige der Verfahren, soweit sich das aus der Ferne beurteilen lässt, ohnehin schon nahe am Game Development; schließlich wollen sich die großen, prozedural erzeugten Areale, auch nach der Bevölkerung mit allerlei Traffic jeglicher Natur und der Einbindung der zu testenden Sensoren noch immer flüssig mit 60 FPS, besser gar 120 FPS abspielen lassen. Florian hat uns daher verraten, dass es wenig verwunderlich ist, auch Mitarbeiter aus dem Gaming Sektor bei AVES Reality zu beschäftigen.

Florian Albert: „Der zunehmende Einsatz von 3D Engines, Virtual Reality und andere Anwendungen, die wir eigentlich aus der Gaming oder Entertainment Industrie kennen, erfordert für die Automotive Branche eine Menge neues Knowhow. Da kommen klassische Fahrzeugtechniker, Maschinenbauer und selbst Informatiker teilweise an ihre Grenzen. Um diese Vielfalt an Herausforderungen bei der Kombination aus Gaming und Automotive zu meistern, besteht unser Team aus einer Reihe von Experten mit unterschiedlichsten Hintergründen, von Game Development, über KI-Entwicklung, bis zu Geoinformatik oder Systems Engineering.“

Dem ist wenig hinzuzufügen. Wenn ihr euch für das Konzept des Digital Sibling von AVES Reality interessiert, fügen wir euch nachstehend das Whitepaper als PDF an, in dem ihr euch einen Überblick verschaffen könnt über die Funktionsweise und Hintergründe des Digital Sibling, und wir verlinken euch hier noch unseren Testing-Bereich auf dem Blog, in dem wir noch weitere spannende Artikel zum Thema Automotive Testing für euch haben, zum Beispiel – und diese Querverbindung ist überaus passend – wieso es ohne die Gaming-Industrie kein autonomes Fahren gäbe. Wer weitere Fragen hat, wendet sich gerne jederzeit per Kontaktformular an uns oder nimmt direkt mit Florian Albert Kontakt auf, die Möglichkeiten dazu findet ihr im Whitepaper.