Centimeterprecieze cameratracking voor grootschalige 3D-opnamen (Gaussiaanse splatting)

Overzicht

Dit klantproject komt van AryonixAryonix is opgericht door Alexandre Cavaleri en ontwikkelt een realtime rendering engine waarmee filmische, fotorealistische en meeslepende 3D-omgevingen kunnen worden gecreëerd op basis van foto's. Aryonix werkte samen met Downhill WingsEen project dat zich toelegt op het verkennen, in kaart brengen en filmen van afdalingsroutes voor inline skates, longboards en andere zwaartekrachtsporten. Het project maakt gebruik van een techniek genaamd Gaussian splatting.

Wat is Gaussian splatting? Simpel gezegd zet Gaussian splatting honderden of duizenden foto's om in een gedetailleerd, interactief 3D-model van een realistische scène. In tegenstelling tot traditionele 3D-weergaven die zijn opgebouwd uit polygonen of meshes, representeert het de scène als miljoenen kleine gekleurde 3D-punten ("Gaussians"), waardoor een zeer realistische weergave vanuit vrijwel elk gezichtspunt mogelijk is.

Voor downhill-sporten is het belangrijk dat een digitale reconstructie overeenkomt met de werkelijkheid. De route moet de juiste positie, schaal en helling hebben, zodat rijders de moeilijkheidsgraad, veiligheid en algehele rijervaring nauwkeurig kunnen inschatten.

De grootste uitdaging bij het reconstrueren van zulke lange buitenroutes is het berekenen van de cameraposities: tools zoals COLMAP vertonen drift en accumuleren fouten over de afstand, hebben moeite met natuurlijk voorkomende, repetitieve patronen en onopvallende uitzichten (wijnranken, wegdek, lucht), en zonder voorafgaande GPS-gegevens is het resultaat niet gekoppeld aan coördinaten, schaal of helling in de echte wereld.

Om deze beperkingen te overwinnen, gebruikte Aryonix GNSS-kompas – RTK-startpakket om tijdens de opname centimeterprecieze cameraposities en -richtingen te garanderen.

Het tuig

Om dit op te lossen, gebruikten we een GNSS-kompasstarterkit om centimeterprecieze cameraposities en -richtingen als cameraprioriteiten aan COLMAP te leveren.

GNSS-kompas – RTK-startpakket: GNSS/RTK-kit met UM982-printplaat en twee hoogwaardige spiraalantennes.
Blackmagic URSA Mini Pro 4.6K G2 cinema camera, opnames in RAW-formaat.
De Hosa MIT-129 XLR-adapter zet het PPS-signaal van de printplaat om naar audioniveaus die compatibel zijn met de camera en beschermt de printplaat tegen fantoomvoeding van de camera.
De telefoon draait SW Maps, registreert RTK-gegevens en voedt het bord.

Video synchroniseren met RTK

De camerapositie kennen is alleen nuttig als elk videobeeld kan worden gekoppeld aan de juiste RTK-meting.

De GNSS-ontvanger genereert een PPS-signaal (Pulse Per Second). Dit is een zeer nauwkeurige elektrische puls die exact één keer per GPS-seconde wordt gegenereerd. In plaats van te vertrouwen op de interne klok van de camera, werd dit PPS-signaal rechtstreeks opgenomen in één audiokanaal van de camera via de XLR-ingang.

Doordat het geluid met een frequentie van 48 kHz wordt bemonsterd, kan elke PPS-puls met een nauwkeurigheid van minder dan een milliseconde worden gedetecteerd. Ter vergelijking: een enkel videobeeld dat met 24 beelden per seconde wordt opgenomen, duurt ongeveer 42 milliseconden. Hierdoor kan elk beeld veel nauwkeuriger van een tijdstempel worden voorzien dan met de timinginformatie van de camera zelf.

Door elke seconde een PPS-puls op te nemen, is het ook mogelijk om eventuele klokafwijkingen in de camera gedurende de hele opname te detecteren en continu te corrigeren. Het PPS-signaal markeert het begin van elke GPS-seconde, terwijl het door de telefoon opgenomen RTK-logboek de bijbehorende GNSS-tijdstempels levert. Het is voldoende om beide opnames ongeveer gelijktijdig te starten om de PPS-pulsen automatisch te synchroniseren met de RTK-gegevens.

Als dit ingewikkeld klinkt, bekijk dan ons bericht. GPS begrijpen Timepulse of PPS.

Het vastleggen van de scène

Het team liep een route van 800 meter door de wijngaarden van Lavaux in Zwitserland en maakte daarbij continu video-opnamen.

In plaats van simpelweg in een rechte lijn te lopen, werd de camera in een spiraalvormig patroon bewogen om de scène vanuit meerdere gezichtshoeken te bekijken. Dit verbetert de kwaliteit van de 3D-reconstructie en voorkomt schaduwen die door de operator worden veroorzaakt.

Af en toe werden korte zijpaden vastgelegd voordat men terugkeerde naar de hoofdroute, waardoor extra gezichtspunten werden verkregen die de nauwkeurigheid van de reconstructie verbeterden.

Bewegende objecten zoals voetgangers en voertuigen werden direct tijdens de opname vastgelegd door de camera even weg te richten, waardoor de nabewerking achteraf werd beperkt.

Resultaten

Na het synchroniseren van de RTK-metingen met de videobeelden werden de cameraposities als cameraprioriteiten aan de reconstructiepipeline doorgegeven. In plaats van elke camerapositie uitsluitend op basis van beelden te schatten, gaat de software uit van centimeterprecieze RTK-metingen.

De resulterende 3D-weergave wordt in realtime gerenderd met behulp van de Aryonix Engine, waarbij de correcte positie, oriëntatie, schaal en helling van de route in de echte wereld behouden blijven.

Hoewel hier gedemonstreerd met Gaussiaanse splatting, is dezelfde workflow van toepassing op elke reconstructiemethode die gebruikmaakt van 2D-afbeeldingen en cameraposities: de gesynchroniseerde cameraprioriteiten kunnen worden gebruikt in tools zoals COLMAP om Gaussiaanse splats, NeRF's of traditionele fotogrammetrische reconstructies te trainen.

Door nauwkeurige cameraposities gedurende de hele opname te garanderen, transformeert RTK GNSS een workflow die normaal gesproken te lijden zou hebben onder accumulerende drift in een betrouwbare methode voor het reconstrueren van uitgestrekte buitenomgevingen. Het resultaat is een fotorealistische 3D-scène die ook gebruikt kan worden voor nauwkeurige routebepalingen, inclusief hellingen die vaak gedetailleerder zijn dan die beschikbaar zijn in bestaande digitale hoogtemodellen.