Augmented-Reality display in de auto: geprojecteerd hulpmiddel

Daniel Dupré
0

Volkswagen gebruikt Augmented Reality Head-Up display in de auto als hulpmiddel bij navigatie en weggebruik door projectie op de voorruit. Hoe zou het zijn om te navigeren met zo’n display in de auto? We hebben zo’n systeem in een praktijktest zelf kunnen ervaren in een Audi Q4 E-Tron.

Iedereen die wel eens in een onbekende plaats heeft autogereden weet dat zoeken met vluchtige blikken op het navigatiesysteem best stressvol kan zijn. Een AR-HUD maakt dat makkelijker door informatie over de route en objecten op de voorruit te projecteren.

Augmented Reality Head-Up Display in de auto– oftewel AR-HUD

Een Augmented Reality Head-Up Display – oftewel AR-HUD – is ontworpen om afleiding bij het navigeren door onbekende contreien te redu­ceren.

Systemen die statusinformatie zoals de actuele snelheid of verkeersborden op een vaste plaats op de voorruit weergeven, bestaan al enige tijd – meestal is die informatie dan net iets boven het stuurwiel zichtbaar. Fabrikanten gebruiken nu de ruimte die erboven vrij is voor AR-projectie om informatie bovenop de reële verkeerssituatie voor het voertuig te projecteren.


augmented reality display auto

Het systeem in de Q4 E-Tron combineert een klassieke HUD met augmented-reality-elementen. Het kan bijvoorbeeld met een groene lijn voorliggers markeren of met een zwevende pijl aangeven in welke richting de volgende bocht gaat.


Voor de auto zwevende informatie

Richtingaanwijzingen van het navigatiesysteem zweven dan bijvoorbeeld in de vorm van symbolen ‘op’ de weg. Na de laatste bocht voor je bestemming wordt er een duidelijk zichtbare vlag getoond op de plek van je bestemming.

Een eventuele bijrijder krijgt daar niets van mee omdat de reflectie in de voorruit beperkt blijft tot het gezichtsveld van de bestuurder. Audi heeft zo’n AR-HUD in zijn volledig elektrische Q4 E-Tron geïnstalleerd, die we in de praktijk konden ervaren tijdens twee testritten.

Overlay op de wereld

‘Het scherm zweeft ongeveer tien meter voor de bestuurder. Door de overlay op de echte wereld heb je de indruk van echte diepte en hoeft het oog niet opnieuw scherp te stellen,’ vertelt Thomas Fontana tijdens een gesprek met ons.


Blijf op de hoogte van de nieuwste informatie en tips!
Schrijf je in voor de nieuwsbrief:


Software AR-Creator

De Audi-ingenieur is verantwoordelijk voor de ontwikkeling van de zogenaamde AR Creator, de software die de overlay naar de juiste positie in het gezichtsveld verplaatst.

Net als bij een klassiek head-up-display past de bestuurder het gezichtsveld eerst via een touch­screen op zijn zithoogte aan voordat hij begint te ­rijden. Het virtuele projectieoppervlak van het AR-systeem heeft een schijnbare diagonaal van 70 inch en zweeft dus in de ruimte.

Beelvormingsfouten blijven beperkt

Eyetracking en het dynamisch bijstellen van het projectieoppervlak zijn niet nodig. Zelfs als de bestuurder op zijn stoel beweegt, dreigt hij niet de verkeerde straat in te slaan omdat hij de blauwe pijl op een andere plek zou waarnemen.

‘De grote afstand tussen de zitpositie en het gezichtsveld zorgt ervoor dat beeldvormingsfouten tot een minimum worden beperkt,’ legt Fontana uit, ‘De complexiteit van een actieve bijstelling ten opzichte van de voordelen die dat op­levert, zouden buitenproportioneel zijn.’

De Actuator – technologie en projector in bierkratformaat

De projector, de zogenaamde actuator, is onder de voorruit gemonteerd. Fontana beschrijft de af­meting daarvan als ‘ongeveer even groot als een kratje bier’. Hij heeft een volume van 14 liter en weegt 4,9 kilogram.

Daarmee neemt het AR-systeem drie keer zo veel ruimte in beslag als het klassieke head-up-display in de Audi Q7. Het komt goed uit dat elektrische auto’s aanzienlijk meer installatieruimte aan de voorkant bieden. Het is daarom ook geen toeval dat de AR-HUD in een volledig elektrische Q4 E-Tron zit.


Een blik in het ‘kratje bier’: de lichtbron (rechtsonder) schijnt licht door de twee TFT-displays (linksonder). Het beeld komt via spiegels terecht in een verstelbare holle spiegel onder de
voorruit en van daaruit in het gezichtsveld van de bestuurder.


Actuator genereert symbolen

In de actuator genereren twee TFT-schermen de symbolen, waarbij de ene de statusinformatie verzorgt en de andere de AR-elementen. De beeldgenerator en de lichtbron zijn ruimtelijk van elkaar ­gescheiden – vergelijkbaar met een diaprojector.

Ouderwets via lichtstraal en spiegels

Een gebundelde lichtstraal wordt eerst via enkele vaste spiegels verstuurd. Onder de voorruit valt de lichtstraal op een elektrisch verstelbare holle spiegel. Die verzorgt de weerkaatsing op de voorruit, die de optische indruk wekt dat het beeld op de weg geprojecteerd wordt.

augmented reality display auto

De AR-HUD projecteert de navigatiepijlen recht­streeks op de weg vanuit het perspectief van de bestuurder.

AR Head-Up en Sensor Fusion

Audi gebruikt standaardcomponenten van de Volkswagen Groep voor de AR head-up-display. Normaal installeren fabrikanten dergelijke innovaties eerst in hun luxe modellen. Mercedes past de technologie bijvoorbeeld in zijn S-Klasse en de EQS toe.

Wat Audi betreft representeert de Q4 E-Tron echter een elektrisch model in de instapklasse. Bij de Volks­wagen-groep wordt dezelfde hardware gebruikt in de volledig elektrische VW ID.3 en ID.4.

Nieuw opgerichte softwareafdeling van de Volkswagen Groep

Audi ontwikkelde de software voor de AR Creator aanvankelijk met een externe partner. In de loop van het project werd het programmeerwerk echter overgedragen aan CARIAD.

In die nieuw opgerichte softwareafdeling van de Volkswagen Groep werken ongeveer 4000 ontwikkelaars, programmeurs en ontwerpers aan oplossingen voor de twaalf merken van de groep.

1500 signaalwaarden van sensors combineren

Het systeem in de Q4 E-Tron verwerkt zo’n 1500 signaalwaarden van een groot aantal sensors voordat het de eerste beeldelementen projecteert. ­De ­camera, radar, GPS, ESC en wielsensors op beide ­assen leveren gegevens aan de AR Creator.

Terwijl de Electronic Speed Control-unit (ESC) de snelheid van het voertuig berekent, geven vier wielsensors informatie over de wielen, of ze goed contact met de weg hebben of dat er een spint. Dat maakt het bepalen van de eigen positie nog iets exacter. De AR Creator verzamelt alle gegevens centraal in het Modu­lar Infotainment Platform (MIB 3) in het voertuig.

Puzzelen met sensor-informatie

Aangezien de sensors hun gegevens met verschillende snelheden aanleveren, moet het systeem ze eerst correct aan elkaar rijgen aan de hand van hun tijdstempel. Bovendien vindt een weging plaats naar gelang van de kwaliteit en de actuele relevantie van de respectievelijke gegevens (Sensor Fusion).

Welke categorie krijgt prioriteit

Bij de objectcategorisatie krijgt bijvoorbeeld de ­camera prioriteit. Zijn interne AI kan onderscheid maken tussen auto’s, vrachtwagens en voetgangers. De radar­sensor is daarentegen vooral sterk in het nauw­keurig lokaliseren van objecten. Hij kan snelheden en afstanden nauwkeuriger detecteren. De camera kan de hoek ten opzichte van het voorliggende voertuig niet zo nauwkeurig meten. Het gewogen fuseren van alle sensorgegevens levert in de computer een nauw­keurig digitaal beeld van de verkeers­situatie op.

Twee correctiestappen in de AR Creator

Voordat de gegevens in beeld verschijnen, gebeuren er nog twee dingen in de AR Creator:

  1. Beeldstabilisatie. Aangezien de actuator vast aan de carrosserie van de auto bevestigd is, zou de projectie met elke hobbel in de weg mee­bewegen. Een meeteenheid in de MIB 3 registreert elke trilling, waarna de AR Creator correcties op de beeldpositie uitvoert en de projectie stabiel houdt.
  2. Toekomst. De tweede stap is het compenseren van de latentie. Het duurt ongeveer 0,2 seconden voor de gegevens zijn samengevoegd, verwerkt en in het gezichtsveld worden weergegeven. Als een voertuig voor je bijvoorbeeld van rijstrook wisselt, zou de groene lijn die bij het rijden met het rijhulpsysteem door de AR-HUD wordt geprojecteerd ook 0,2 seconde achter­lopen op wat er voor je gebeurt.

Om dat te voorkomen, voorspelt het systeem in 200 milliseconden waar het voorliggende voertuig zich op de rijbaan zal bevinden op basis van de huidige positie, snelheid en hoek.

Projectie met minimale vertraging

‘Op die manier slagen we erin de markeringen van het afstandsregelsysteem zonder enige vertraging te projecteren,’ legt Fontana uit.
Zodra alle gegevens verwerkt zijn, genereert de Picture Generation Unit de informatiesymbolen. Met een refreshrate van 60 beelden per seconde worden ze vervolgnes op de voorruit geprojecteerd. ‘In het midden van het gezichtsveld is de maximale lumi­nantie een extreem heldere 10.000 cd/m2 om de best mogelijke zichtbaarheid te garanderen,’ licht ­Fontana toe.


Van het inzamelen van gegevens, het combineren en verwerken ervan tot aan de AR-projectie op de voorruit gaan er ongeveer 200 ms overheen. Ter compensatie van die vertraging berekent de AR Creator de positie van een voorligger 200 ms van tevoren.


Conclusie Augmented Reality Creator en Head-up display in de auto

Een klassiek head-up-display is niet alleen al praktisch, maar komt ook de veiligheid ten goede. Tijdens een seconde omlaag of opzij kijken bij een snelheid van 120 km/u leg je een afstand van 33 meter blind af.

Extra AR-elementen reduceren de stress tijdens het rijden. Je krijgt duidelijke visuele aanwijzingen die je helpen je bestemming te vinden, en het is altijd inzichtelijk hoe de adaptieve cruisecontrol, de lane-­departure-warning en andere hulpsystemen je omgeving waarnemen.

Dat alles maakt een AR-HUD tot een succesvolle toepassing van augmented-­reality in het dagelijks leven.

Testrit in de Q4 E-Tron met AR-HUD


‘Sla over 100 meter rechtsaf de Stijn Buysstraat in’, zegt de vriendelijke stem van het navigatiesysteem in de Audi Q4 E-Tron. Met andere navigatiesystemen is dat niet de makkelijkste aanwijzing, want wanneer ging die 100 meter in, is het deze dwarsstraat al of pas de volgende?

In dit geval lijkt er echter in de verte een blauwe pijl op de weg te zweven. Hij wijst naar rechts. Hoe dichter je bij de kruising komt, des te groter de pijl wordt. Audi noemt het een ‘drone’ omdat hij van positie verandert alsof hij vliegt.

De pijl verplaatst zich niet zo snel als sommige echte drones. Integendeel: tijdens de testrit in de Q4 E-Tron valt op dat het systeem de AR-elementen zeer terughoudend gebruikt. Alleen als het als routebegeleiding of context dient, krijg je een informatie-element voor ogen.

Dat kan een roodgekleurde rijstrookmarkering zijn als de rijstrookassistentie waarschuwt voor het onbedoeld verlaten van de rijstrook. Of een dikke groene balk aan de achterzijde van de voorligger als de adaptieve cruisecontrol actief is. Beide verhogen het gevoel van veiligheid omdat het voor de bestuurder duidelijk is hoe de hulpsystemen de verkeerssituatie waarnemen.

Het systeem toont tijdens de route­navigatie elke afslag in beeld. Daardoor zijn ook tijdens het navigeren de ogen van de bestuurder altijd op de weg gericht. Alleen de informatie in het onderste statusgebied is permanent zichtbaar. Daar staat de informatie zoals je gewend bent van een statische HUD, zoals de resultaten van de verkeersbordherkenning.

Tijdens de testritten was het weer wisselvallig. Toen het bewolkt was, waren de gekleurde symbolen altijd goed te zien. Als de zon scheen, konden we de rode en groene overlays nog goed zien, maar de blauwe pijlen van de navigatie niet.

Niet alleen het omgevingslicht speelt een rol bij de herkenbaarheid. Bij het afslaan op een kruispunt reed bijvoorbeeld een blauwe vrachtwagen voor ons – de blauwe richtingsinformatie verdween volledig in de blauwe achtergrond. Ook de automatische helderheidsaanpassing met ondersteuning van de regenlichtsensor kon daar weinig aan veranderen.


(Deze informatie is afkomstig uit het artikel van Dirk Kunde en Daniel Dupré, en verscheen eerder in c’t 10, 2021, p56)


Lees meer achtergrondinformatie in c't magazine dec/2021

Meer over

ARnavigatie

Deel dit artikel

Lees ook

USB-C wegwijs & uitleg- de voordelen en variaties in soort

USB Type-C alias USB-C is overal en biedt voordelen , maar kent ook valkuilen – alle variaties in type maken het er niet duidelijker op. Dit overzich...

USB; beeldscherm en audio adapters – Ingebouwd of toegevoegd

Beeldscherm- en audio-adapters voor usb bestonden al, maar werken anders dan de USB-C-overdracht modi voor DisplayPort, HDMI en audio.

0 Praat mee
avatar
  Abonneer  
Laat het mij weten wanneer er