Camerafabrikant Insta360 en de start-up Splatica werken samen om korte 360-gradenvideo’s om te zetten in fotorealistische 3D-scènes. We laten zien hoe je met weinig moeite je eigen Gaussiaanse splats kunt maken.
Van 360-gradenvideo naar interactieve 3D-scène
De Chinese camerafabrikant Insta360 en het Londense softwarebedrijf Splatica zijn een samenwerking aangegaan om materiaal van de 360-gradencamera’s Insta360 X2 tot X5 om te zetten in 3D-scènes in de vorm van zogenaamde 3D Gaussian Splats. Het resultaat doet denken aan een mix van video en 3D-model: niet perfect scherp, maar wel heel immersief.
Daarvoor volstaat een korte wandeling met een geschikte 360-gradencamera: de Splatica-software maakt van een korte video dan een digitale kopie van de echte omgeving, die je vrij kunt verkennen in de browser of met een VR-bril. Voorheen waren daar complexe fotogrammetrie-opstellingen met meerdere camera’s en statieven voor nodig.
Door die samenwerking verschuift het maken van dergelijke 3D-content van een proces voor experts naar een tool voor velen. De Insta360 X5-camera is te koop voor minder dan 500 euro. De Splatica-dienst is betaald. Met het standaardabonnement voor 34,95 dollar per maand krijg je 300 punten, genoeg voor ongeveer twee scènes.
Op de Splatica-website (app.splatica.com) kun je openbaar toegankelijke scènes laden en er virtueel doorheen wandelen.
Hieronder leggen we uit welke stappen nodig zijn om zelf Gaussiaanse splats te maken.
Toepassingsgebieden
De Splatica-software was aanvankelijk bedoeld voor virtuele rondleidingen, locatiebezoeken en filmvoorbereidingen. Op zijn LinkedIn-profiel belooft Splatica hoogwaardige digitale afbeeldingen van echte locaties voor virtuele productie en locatiescouting. Game- en app-ontwikkelaars en filmproducenten maken gebruik van de mogelijkheid om snel complexe 3D-scènes te maken.
Maar Gaussiaanse splats hebben nog veel meer potentiële toepassingen. In de vastgoedsector kunnen makelaars en verhuurders huizen of appartementen vastleggen en geïnteresseerden een virtuele rondleiding aanbieden, bijvoorbeeld voor een vakantiehuis in Zweden. In plaats van statische beelden ontstaat een ruimtelijke ervaring die je vrij kunt verkennen.
In de industrie en de bouw kunnen bouwplaatsen, fabrieken en technische installaties digitaal gedocumenteerd worden. Dergelijke afbeeldingen helpen bij planning, onderhoud en training omdat ze echte situaties begrijpelijk maken.
Ook in cultuur en monumentenzorg speelt de technologie een rol. Historische locaties kunnen digitaal worden vastgelegd en blijvend toegankelijk worden gemaakt, zelfs als dat fysiek lastig zou zijn.
Op de website benadrukt het bedrijf inmiddels de focus op robotica en Physical AI. Gaussiaanse splats worden gebruikt bij simulatieomgevingen zoals Isaac Sim en Omniverse voor zelfrijdende auto’s en vliegende robots, en bij het trainen van Physical AI, bijvoorbeeld als een robot moet leren zich door magazijnen, kantoren en woningen te bewegen.
Eigen Gaussiaanse splats
Als je dergelijke 3D-content tot nu toe wilde maken, moest je daar flink voor betalen en veel tijd investeren. Opstellingen met meerdere camera’s, handmatige fotogrammetrie en laserscanneropstellingen zijn tijdrovend en leveren onvolledige gegevens op.
De samenwerking tussen Insta360 en Splatica vereenvoudigt en versnelt dat omslachtige proces voor het maken van Gaussiaanse splats.
Het proces kan grofweg in drie stappen worden onderverdeeld.
Opnames maken
Eerst wordt de echte wereld vastgelegd. De dienst accepteert uitsluitend materiaal van de Insta360-camera’s X2 tot en met X5 en van de Antigravity-drone A1. Andere camera’s, waaronder de Insta360 X4 Air, worden niet ondersteund.
Voor de opname raadt Splatica goed weer en helder licht aan, zonder bewegende objecten zoals deuren en gordijnen.
Bij buitenopnames moeten er zo min mogelijk voorbijgangers door het beeld lopen en mogen de bladeren in de bomen niet te veel door de wind bewegen.
Het is cruciaal dat dezelfde gebieden vanuit meerdere hoeken te zien zijn. Alleen als er voldoende overlap tussen de beelden is, kan het systeem op betrouwbare wijze diepte en ruimtelijke structuur afleiden.
Meestal maak je een paar korte rondgangen van een paar minuten, waarbij je door binnenruimtes of over een terrein loopt. Je moet je langzaam voortbewegen en de ruimte een keer vastleggen op borsthoogte, heuphoogte en boven je hoofd, en een vierde keer op borsthoogte in omgekeerde richting.
Architectuur moet je in een zigzagpatroon vastleggen, bomen en sculpturen in een spiraal. Zo’n video is uiteindelijk idealiter twee tot vier minuten en maximaal zes minuten lang.
Wat betreft de camera-instellingen: de codec moet op H.265 staan, de bitrate en scherpte op hoog, de camera in het profiel 360 graden. De camera moet de gevoeligheid (ISO) automatisch regelen, met een vaste witbalans en een vaste sluitertijd.
Na de opname upload je de ruwe data naar het cloudplatform van Splatica (app.splatica.com). Insta360 slaat video’s op in het eigen INSV-formaat, dat de dienst direct verwerkt. Vervolgens komt de video in een wachtrij terecht en is na 12 tot 24 uur klaar.
Voor elke verwerkte seconde trekt Splatica een punt af van het eerder aangeschafte abonnementstegoed.
Splatica berekent eerst een ruwe ruimtelijke structuur, vaak in de vorm van een eenvoudige puntenwolk. Die dient als uitgangspunt voor de eigenlijke Gaussiaanse splatting. Daarvoor verdeelt het veel splats (zie kader Dit zijn Gaussiaanse splats) in de ruimte en voorziet ze van voorlopige waarden voor positie, vorm, kleur en dekkingskracht. Samen vormen ze al een gesloten, fotorealistische scène.
De software vergelijkt de kunstmatig gegenereerde beelden met de originele beelden en past de parameters van de splats zo lang aan totdat de verschillen zo klein mogelijk zijn. Daarbij kan de software de splats verplaatsen, vergroten, verkleinen, draaien, van kleur veranderen, in dekking aanpassen, verwijderen of toevoegen.
Dit zijn Gaussiaanse splats
Bij 3D Gaussian Splats (3DGS) gaat het niet om klassieke 3D-modellen uit polygonen en niet om eenvoudige puntenwolken. In plaats daarvan wordt een scène beschreven als een grote hoeveelheid zachte, half doorzichtige kleurvlekken. Die elementen liggen op vaste posities in de driedimensionale ruimte en vormen in hun totaliteit een visueel overtuigend beeld van de werkelijkheid.
De term Gaussiaans verwijst naar de wiskundige basis van die weergave. Het gaat om de Gaussiaanse normaalverdeling, oftewel een functie met een vloeiend verloop: in het midden is de waarde het hoogst, naar buiten toe neemt die gelijkmatig af. In de context van Gaussiaanse splats verschijnt elke afzonderlijke vlek (splat) niet als een hard punt, maar als een vloeiende verdeling in de ruimte.
Daarmee onderscheiden Gaussiaanse splats zich van eenvoudige puntenwolken. Bij Gaussiaanse splats heeft elk element volume, transparantie en oriëntatie. Daardoor kunnen oppervlakken dichter en plausibeler weergegeven worden. Een muur ziet er niet uit als een verzameling geïsoleerde punten, maar eerder als een samenhangend oppervlak – ook al is die technisch gezien niet als vast oppervlak opgeslagen. De resulterende 3D-scènes zien er natuurlijker uit dan puntweergaven.
Een splat is meestal niet bolvormig, maar kan uitgerekt, samengedrukt of gekanteld zijn. Wiskundig wordt dat vaak beschreven via een covariantiematrix, die aangeeft hoe breed de splat zich in verschillende richtingen uitstrekt en hoe hij georiënteerd is.
Bovendien bevat elke splat kleurwaarden en een dekkingskracht die de transparantie bepaalt. Bij geavanceerde methoden komt daar nog bij dat de kleur niet voor elke kijkrichting hetzelfde hoeft te blijven. In plaats daarvan kan worden opgeslagen hoe het uiterlijk verandert als de kijker de scène vanuit een andere hoek bekijkt. Zo kunnen glans, lichteffecten en andere richtingsafhankelijke effecten weergegeven worden.
De voltooide scène
Het resultaat is een vrij begaanbare 3D-omgeving die bijna aanvoelt als een videogame. Je kunt de scène in de browser bekijken zonder extra software te installeren. Je kunt je vrij door de scène bewegen, met de muis of via sneltoetsen van perspectief wisselen en details verkennen.
Het voltooide model kan vervolgens worden geëxporteerd of gedeeld. De scène is klaar voor interactieve webviewers, VR-omgevingen en export naar Unity, de Unreal Engine, Nvidia Isaac Sim en Omniverse.
Tijdens onze test ging Splatica wel met de eerste opnames met een Insta360 X4 Air aan de slag, maar brak de berekening af. De fabrikant beloofde dat te verhelpen. Bij de tweede poging berekende het alle scènes die we met een Insta360 X5 hadden opgenomen met succes.
Visuele indruk
Gaussiaanse splats zien er realistischer uit dan klassieke 3D-modellen. Door de zachte overgangen van de Gauss-verdeling ontstaan er geen harde breuken tussen afzonderlijke elementen. De hoge dichtheid van de splats voorkomt een lappendeken zoals bij puntenwolken. Het resultaat lijkt op een mix van video, puntenwolk en klassiek 3D-model.
Gaussian Splats hebben echter ook hun beperkingen. Omdat de scènes niet als een strak, gesloten oppervlak beschikbaar zijn, zijn ze slechts beperkt geschikt voor toepassingen die hoge eisen stellen aan geometrische nauwkeurigheid. Reflecterende, transparante en sterk glanzende materialen blijven lastig, omdat hun uiterlijk sterk afhankelijk is van de kijkhoek en fysisch ingewikkeld is.
Ook zeer fijne structuren zoals gaas, haren of dunne takken kunnen wazig overkomen.
Bovendien nemen de opslagbehoefte en rekenkracht toe met de grootte en complexiteit van de scène.
Voor klassieke bewerkingsstappen, zoals die bij polygoonmodellen gebruikelijk zijn, is een splat-weergave slechts beperkt geschikt. Bewegende scènes met rennende mensen, rijdende auto’s en planten die in de wind bewegen, kunnen niet worden weergegeven omdat de methode uitgaat van een statische omgeving.
Conclusie
Gaussiaanse splats zien er vaak indrukwekkend uit, maar niet altijd perfect. Fijne structuren zien er vaak wazig uit, transparante en spiegelende oppervlakken leveren problemen op.
Bovendien kunnen grote scènes heel veel data genereren, wat de verwerking omslachtig maakt.
Voor toepassingen die hoge precisie vereisen, zijn klassieke methoden daarom geschikter. Toch staat de methode voor een fundamentele verandering: 3D-content kan eenvoudig, snel en goedkoop uit video’s worden gemaakt en direct op het web worden aangeboden. Zo wordt het maken van 3D-content toegankelijk voor een brede groep gebruikers.
Gaussiaanse splats kunnen daarom een belangrijke bouwsteen worden om de wereld digitaal weer te geven en beleefbaar te maken.
André Kramer en Noud van Kruysbergen
Praat mee