Volkswagen gebruikt Augmented Reality Head-Up display in de auto als hulpmiddel bij navigatie en weggebruik door projectie op de voorruit. Hoe zou het zijn om te navigeren met zo’n display in de auto? We hebben zo’n systeem in een praktijktest zelf kunnen ervaren in een Audi Q4 E-Tron.
Iedereen die wel eens in een onbekende plaats heeft autogereden weet dat zoeken met vluchtige blikken op het navigatiesysteem best stressvol kan zijn. Een AR-HUD maakt dat makkelijker door informatie over de route en objecten op de voorruit te projecteren.
Augmented Reality Head-Up Display in de auto– oftewel AR-HUD
Een Augmented Reality Head-Up Display – oftewel AR-HUD – is ontworpen om afleiding bij het navigeren door onbekende contreien te reduceren.
Systemen die statusinformatie zoals de actuele snelheid of verkeersborden op een vaste plaats op de voorruit weergeven, bestaan al enige tijd – meestal is die informatie dan net iets boven het stuurwiel zichtbaar. Fabrikanten gebruiken nu de ruimte die erboven vrij is voor AR-projectie om informatie bovenop de reële verkeerssituatie voor het voertuig te projecteren.
Het systeem in de Q4 E-Tron combineert een klassieke HUD met augmented-reality-elementen. Het kan bijvoorbeeld met een groene lijn voorliggers markeren of met een zwevende pijl aangeven in welke richting de volgende bocht gaat.
Voor de auto zwevende informatie
Richtingaanwijzingen van het navigatiesysteem zweven dan bijvoorbeeld in de vorm van symbolen ‘op’ de weg. Na de laatste bocht voor je bestemming wordt er een duidelijk zichtbare vlag getoond op de plek van je bestemming.
Een eventuele bijrijder krijgt daar niets van mee omdat de reflectie in de voorruit beperkt blijft tot het gezichtsveld van de bestuurder. Audi heeft zo’n AR-HUD in zijn volledig elektrische Q4 E-Tron geïnstalleerd, die we in de praktijk konden ervaren tijdens twee testritten.
Overlay op de wereld
‘Het scherm zweeft ongeveer tien meter voor de bestuurder. Door de overlay op de echte wereld heb je de indruk van echte diepte en hoeft het oog niet opnieuw scherp te stellen,’ vertelt Thomas Fontana tijdens een gesprek met ons.
Blijf op de hoogte van de nieuwste informatie en tips!
Schrijf je in voor de nieuwsbrief:
Software AR-Creator
De Audi-ingenieur is verantwoordelijk voor de ontwikkeling van de zogenaamde AR Creator, de software die de overlay naar de juiste positie in het gezichtsveld verplaatst.
Net als bij een klassiek head-up-display past de bestuurder het gezichtsveld eerst via een touchscreen op zijn zithoogte aan voordat hij begint te rijden. Het virtuele projectieoppervlak van het AR-systeem heeft een schijnbare diagonaal van 70 inch en zweeft dus in de ruimte.
Beelvormingsfouten blijven beperkt
Eyetracking en het dynamisch bijstellen van het projectieoppervlak zijn niet nodig. Zelfs als de bestuurder op zijn stoel beweegt, dreigt hij niet de verkeerde straat in te slaan omdat hij de blauwe pijl op een andere plek zou waarnemen.
‘De grote afstand tussen de zitpositie en het gezichtsveld zorgt ervoor dat beeldvormingsfouten tot een minimum worden beperkt,’ legt Fontana uit, ‘De complexiteit van een actieve bijstelling ten opzichte van de voordelen die dat oplevert, zouden buitenproportioneel zijn.’
De Actuator – technologie en projector in bierkratformaat
De projector, de zogenaamde actuator, is onder de voorruit gemonteerd. Fontana beschrijft de afmeting daarvan als ‘ongeveer even groot als een kratje bier’. Hij heeft een volume van 14 liter en weegt 4,9 kilogram.
Daarmee neemt het AR-systeem drie keer zo veel ruimte in beslag als het klassieke head-up-display in de Audi Q7. Het komt goed uit dat elektrische auto’s aanzienlijk meer installatieruimte aan de voorkant bieden. Het is daarom ook geen toeval dat de AR-HUD in een volledig elektrische Q4 E-Tron zit.
Een blik in het ‘kratje bier’: de lichtbron (rechtsonder) schijnt licht door de twee TFT-displays (linksonder). Het beeld komt via spiegels terecht in een verstelbare holle spiegel onder de
voorruit en van daaruit in het gezichtsveld van de bestuurder.
Actuator genereert symbolen
In de actuator genereren twee TFT-schermen de symbolen, waarbij de ene de statusinformatie verzorgt en de andere de AR-elementen. De beeldgenerator en de lichtbron zijn ruimtelijk van elkaar gescheiden – vergelijkbaar met een diaprojector.
Ouderwets via lichtstraal en spiegels
Een gebundelde lichtstraal wordt eerst via enkele vaste spiegels verstuurd. Onder de voorruit valt de lichtstraal op een elektrisch verstelbare holle spiegel. Die verzorgt de weerkaatsing op de voorruit, die de optische indruk wekt dat het beeld op de weg geprojecteerd wordt.
De AR-HUD projecteert de navigatiepijlen rechtstreeks op de weg vanuit het perspectief van de bestuurder.
AR Head-Up en Sensor Fusion
Audi gebruikt standaardcomponenten van de Volkswagen Groep voor de AR head-up-display. Normaal installeren fabrikanten dergelijke innovaties eerst in hun luxe modellen. Mercedes past de technologie bijvoorbeeld in zijn S-Klasse en de EQS toe.
Wat Audi betreft representeert de Q4 E-Tron echter een elektrisch model in de instapklasse. Bij de Volkswagen-groep wordt dezelfde hardware gebruikt in de volledig elektrische VW ID.3 en ID.4.
Nieuw opgerichte softwareafdeling van de Volkswagen Groep
Audi ontwikkelde de software voor de AR Creator aanvankelijk met een externe partner. In de loop van het project werd het programmeerwerk echter overgedragen aan CARIAD.
In die nieuw opgerichte softwareafdeling van de Volkswagen Groep werken ongeveer 4000 ontwikkelaars, programmeurs en ontwerpers aan oplossingen voor de twaalf merken van de groep.
1500 signaalwaarden van sensors combineren
Het systeem in de Q4 E-Tron verwerkt zo’n 1500 signaalwaarden van een groot aantal sensors voordat het de eerste beeldelementen projecteert. De camera, radar, GPS, ESC en wielsensors op beide assen leveren gegevens aan de AR Creator.
Terwijl de Electronic Speed Control-unit (ESC) de snelheid van het voertuig berekent, geven vier wielsensors informatie over de wielen, of ze goed contact met de weg hebben of dat er een spint. Dat maakt het bepalen van de eigen positie nog iets exacter. De AR Creator verzamelt alle gegevens centraal in het Modular Infotainment Platform (MIB 3) in het voertuig.
Puzzelen met sensor-informatie
Aangezien de sensors hun gegevens met verschillende snelheden aanleveren, moet het systeem ze eerst correct aan elkaar rijgen aan de hand van hun tijdstempel. Bovendien vindt een weging plaats naar gelang van de kwaliteit en de actuele relevantie van de respectievelijke gegevens (Sensor Fusion).
Welke categorie krijgt prioriteit
Bij de objectcategorisatie krijgt bijvoorbeeld de camera prioriteit. Zijn interne AI kan onderscheid maken tussen auto’s, vrachtwagens en voetgangers. De radarsensor is daarentegen vooral sterk in het nauwkeurig lokaliseren van objecten. Hij kan snelheden en afstanden nauwkeuriger detecteren. De camera kan de hoek ten opzichte van het voorliggende voertuig niet zo nauwkeurig meten. Het gewogen fuseren van alle sensorgegevens levert in de computer een nauwkeurig digitaal beeld van de verkeerssituatie op.
Twee correctiestappen in de AR Creator
Voordat de gegevens in beeld verschijnen, gebeuren er nog twee dingen in de AR Creator:
- Beeldstabilisatie. Aangezien de actuator vast aan de carrosserie van de auto bevestigd is, zou de projectie met elke hobbel in de weg meebewegen. Een meeteenheid in de MIB 3 registreert elke trilling, waarna de AR Creator correcties op de beeldpositie uitvoert en de projectie stabiel houdt.
- Toekomst. De tweede stap is het compenseren van de latentie. Het duurt ongeveer 0,2 seconden voor de gegevens zijn samengevoegd, verwerkt en in het gezichtsveld worden weergegeven. Als een voertuig voor je bijvoorbeeld van rijstrook wisselt, zou de groene lijn die bij het rijden met het rijhulpsysteem door de AR-HUD wordt geprojecteerd ook 0,2 seconde achterlopen op wat er voor je gebeurt.
Om dat te voorkomen, voorspelt het systeem in 200 milliseconden waar het voorliggende voertuig zich op de rijbaan zal bevinden op basis van de huidige positie, snelheid en hoek.
Projectie met minimale vertraging
‘Op die manier slagen we erin de markeringen van het afstandsregelsysteem zonder enige vertraging te projecteren,’ legt Fontana uit.
Zodra alle gegevens verwerkt zijn, genereert de Picture Generation Unit de informatiesymbolen. Met een refreshrate van 60 beelden per seconde worden ze vervolgnes op de voorruit geprojecteerd. ‘In het midden van het gezichtsveld is de maximale luminantie een extreem heldere 10.000 cd/m2 om de best mogelijke zichtbaarheid te garanderen,’ licht Fontana toe.
Van het inzamelen van gegevens, het combineren en verwerken ervan tot aan de AR-projectie op de voorruit gaan er ongeveer 200 ms overheen. Ter compensatie van die vertraging berekent de AR Creator de positie van een voorligger 200 ms van tevoren.
Conclusie Augmented Reality Creator en Head-up display in de auto
Een klassiek head-up-display is niet alleen al praktisch, maar komt ook de veiligheid ten goede. Tijdens een seconde omlaag of opzij kijken bij een snelheid van 120 km/u leg je een afstand van 33 meter blind af.
Extra AR-elementen reduceren de stress tijdens het rijden. Je krijgt duidelijke visuele aanwijzingen die je helpen je bestemming te vinden, en het is altijd inzichtelijk hoe de adaptieve cruisecontrol, de lane-departure-warning en andere hulpsystemen je omgeving waarnemen.
Dat alles maakt een AR-HUD tot een succesvolle toepassing van augmented-reality in het dagelijks leven.
