Gaussian Splatting – 3D-Welten aus Millionen leuchtender Punkte

Stell dir vor, du gehst mit dem Smartphone einmal um eine alte Steinmauer, eine Skulptur oder dein Lieblingsauto herum – und ein paar Minuten später kannst du genau diese Szene fotorealistisch und in Echtzeit im Browser drehen, als wärst du noch dort. Genau das macht Gaussian Splatting möglich.

Seit der Veröffentlichung 2023 hat sich die Technik vom Forschungsthema zu einem der spannendsten Werkzeuge der 3D-Welt entwickelt – und sie gewinnt laufend an Bedeutung: Drohnen-Software erzeugt Splats direkt aus Flugaufnahmen, KI-Modelle bauen ganze Welten daraus, und in Unreal Engine 5.9 ist Gaussian Splatting mittlerweile experimentell mit an Bord.

Was ist Gaussian Splatting?

Klassische 3D-Modelle bestehen aus Dreiecken (Meshes) mit Texturen darauf. Gaussian Splatting verzichtet auf Oberflächen. Stattdessen wird eine Szene aus hunderttausenden bis Millionen kleiner, weicher, halbtransparenter Ellipsoide zusammengesetzt – den sogenannten 3D-Gaußfunktionen. Jede davon speichert nur wenige Eigenschaften:

• Position im Raum
• Form und Ausrichtung – Skalierung in drei Richtungen plus eine Rotation. Ein Splat kann kugelrund, flach wie eine Münze oder lang wie eine Nadel sein.
• Deckkraft – von fast unsichtbar bis vollständig deckend
• Farbe – meist als sphärische Harmonische gespeichert, damit sich die Farbe je nach Blickwinkel ändern kann (Glanzlichter, Spiegelungen)

Beim Rendern werden alle Ellipsoide auf das Bild „geklatscht“ (englisch to splat), nach Tiefe sortiert und übereinander geblendet. Weil das sehr gut zu heutigen Grafikkarten passt, laufen selbst große Szenen flüssig – auch im Browser und auf dem Smartphone.

Vereinfacht gesagt: Statt eine Oberfläche zu modellieren, wird das Licht der Szene mit vielen kleinen, farbigen Nebelwölkchen nachgebaut.

Wie kommen die Daten in den Computer?

Am Anfang steht immer eine Aufnahme der realen Welt – und dafür gibt es heute viele Wege:

• Smartphone-Apps: Apps wie Scaniverse, Polycam, KIRI Engine oder Luma führen Schritt für Schritt durch die Aufnahme und berechnen den Splat direkt am Gerät oder in der Cloud – der einfachste Einstieg.
• Fotos: Viele, stark überlappende Bilder mit System- oder Spiegelreflexkamera rund um das Objekt. Das liefert die beste Detailschärfe.
• Video: Einmal langsam um das Objekt filmen – die Software zieht automatisch Einzelbilder heraus. Sehr schnell, Bewegungsunschärfe kostet aber Details.
• 360°-Kameras: Ideal für Innenräume, Gänge und enge Stellen, weil jede Aufnahme alles rundherum erfasst.
• LiDAR: Laserscanner messen Abstände direkt – vom LiDAR-Sensor in iPhone und iPad Pro bis zu mobilen Scannern, die Laser und Kameras kombinieren. Die gemessene Geometrie hilft besonders bei großen Räumen und strukturarmen Flächen wie weißen Wänden.
• 3D-Drohnen: Für Gebäude, Burgen, Ausgrabungen oder ganze Landschaften. Die Drohne fliegt automatische Bahnen, und Programme wie DJI Terra erzeugen daraus inzwischen direkt Gaussian Splats.

Aus den Aufnahmen wird dann in vier Schritten ein Splat:

1. Kameras rekonstruieren: Ein Structure-from-Motion-Verfahren (z. B. COLMAP) berechnet, wo jede Kamera stand, und erzeugt eine grobe Punktwolke. LiDAR-Daten können diesen Schritt ergänzen.
2. Training: Aus jedem Punkt wird ein Gauß-Splat. Ein Optimierer vergleicht immer wieder das gerenderte Bild mit den echten Fotos und passt Position, Form, Farbe und Deckkraft an. Wo Details fehlen, werden Splats geteilt; überflüssige werden entfernt.
3. Aufräumen: „Floater“ (schwebende Störpartikel) entfernen und die Szene zuschneiden.
4. Export: In ein kompaktes Format speichern – fürs Web am besten stark komprimiert.

Werkzeuge dafür gibt es viele: Desktop-Programme wie Postshot, Open-Source-Projekte wie Nerfstudio/gsplat oder Brush und zum Nachbearbeiten zum Beispiel den Browser-Editor SuperSplat.

KI-Modelle für die Rekonstruktion

Klassisch wird jeder Splat pro Szene einzeln „trainiert“ – das dauert Minuten bis Stunden. Neue KI-Modelle drehen das um: Sie haben an riesigen Mengen von Szenen gelernt, wie die Welt aufgebaut ist, und sagen die Splats in einem einzigen Durchgang voraus – oft in Sekunden und schon aus wenigen Fotos oder einem kurzen Video.

Generative Modelle gehen noch weiter: World Labs Marble zum Beispiel erzeugt ganze begehbare 3D-Welten als Gaussian Splats – aus einem Text, einem Bild oder einem Video. Zusätzlich hilft KI beim Aufräumen: Störpartikel entfernen, Objekte automatisch freistellen oder Bereiche ergänzen, die bei der Aufnahme nicht zu sehen waren.

Meine Skulpturen

Als Praxisbeispiel habe ich meine Skulpturen gescannt und zu Gaussian Splats verarbeitet.

Über HQ/LQ oben rechts kann man die Qualitätsstufe ändern. Reinzoomen (Mausrad drehen nach dem Klick, oder mit zwei Fingern auf Mobilgeräten / Touchscreens).

Die nächste Stufe: Triangle Splatting

Noch ganz neu ist Triangle Splatting (Held et al., 3DV 2026). Statt weicher Gauß-Ellipsoide verwendet es Dreiecke – also genau das Grundelement, auf das Grafikkarten und Game-Engines seit Jahrzehnten optimiert sind. Jedes Dreieck hat drei Eckpunkte, eine Farbe, eine Deckkraft und einen Parameter, der bestimmt, wie weich oder scharf seine Kanten auslaufen.

Laut den Autoren bringt das schärfere Details und ein schnelleres Training. Vor allem aber lässt sich das Ergebnis mit einem ganz normalen Mesh-Renderer darstellen – in ihrer Garten-Szene mit über 2 400 Bildern pro Sekunde bei 1280×720 Pixeln. Damit rücken fotorealistische Aufnahmen und klassische Echtzeit-Grafik ein großes Stück näher zusammen.

Stärken und Grenzen

Stärken: Fotorealismus „out of the box“, feine Details wie Haare, Gras oder Laub, Spiegelungen und Halbtransparenz, sehr schnelle Darstellung und eine vergleichsweise einfache Aufnahme.

Grenzen: Es gibt keine saubere Oberfläche – Kollision, Physik, Neubeleuchtung oder klassisches Modellieren sind schwierig. Außerhalb des aufgenommenen Bereichs wird es schnell unscharf, und unkomprimierte Dateien können mehrere hundert Megabyte groß sein.

Einsatzgebiete

• Archäologie & Denkmalpflege: Ausgrabungen, Mauern, Burgen und Fundstücke schnell, berührungslos und fotorealistisch dokumentieren – und später von überall aus betrachten.
• Kunst, Museen & Ausstellungen: Skulpturen und Exponate online erlebbar machen, virtuelle Ausstellungen und Archive.
• Architektur, Bau & Vermessung: Bestandsaufnahmen, Baufortschritt und Drohnenflüge über Baustellen und Gelände.
• Industrie & Digital Twins: Anlagen, Hallen und Fertigungslinien für Planung, Schulung und Wartung.
• Immobilien & Tourismus: virtuelle Rundgänge durch Wohnungen, Hotels und Sehenswürdigkeiten.
• Film, VFX & Virtual Production: reale Drehorte als 3D-Kulisse, zum Beispiel auf LED-Wänden.
• Games & Echtzeit-Anwendungen: fotorealistische Umgebungen in Unreal Engine, Unity oder direkt im Web.
• E-Commerce & Produktpräsentation: Produkte rundum im Browser zeigen.
• Robotik & Simulation: realistische Trainingsumgebungen für Roboter und autonome Systeme.

Dateiformate

• .ply – das Originalformat aus der Forschung, vollständig, aber groß
• .spz – stark komprimiert, ideal fürs Web – wird in beiden Fassungen des Dodekaeders verwendet
• .splat – kompakt (32 Byte pro Splat), ohne blickwinkelabhängige Farben
• .ksplat und .sog – weitere komprimierte Web-Formate

Der 3D-Betrachter auf dieser Website basiert auf three.js und der Open-Source-Bibliothek Spark und kann all diese Formate anzeigen. Der Splat-Teil wird erst geladen, wenn tatsächlich ein Splat angezeigt wird – normale Seiten bleiben dadurch schlank.

Tipps für eigene Aufnahmen

• Gleichmäßiges, diffuses Licht – ein bewölkter Tag ist perfekt.
• Langsam und ruhig bewegen, Bewegungsunschärfe vermeiden.
• Mehrere Runden in unterschiedlichen Höhen gehen, stark überlappend fotografieren.
• Nichts darf sich bewegen – auch keine Personen oder Blätter im Wind.
• Stark spiegelnde oder durchsichtige Objekte sind schwierig, aber machbar.
• Fürs Web zwei Fassungen exportieren: eine detailreiche für den Desktop und eine reduzierte für Smartphones.

Ich bin gespannt, wohin sich die Technik entwickelt – gerade die Kombination aus Gaussian bzw. Triangle Splatting, KI und Echtzeit-Engines wird die Art, wie wir Orte und Objekte festhalten, noch stark verändern. Fragen oder eigene Splats? Schreib mir gerne!