Das Wichtigste in 60 Sekunden / tl;dr
- Alle fünf Modelle erzeugten ein vollständiges, spielbares Three.js-Game und bestanden sämtliche automatisierten Funktionsprüfungen.
- Sol, Fable und Opus erreichten 100 Punkte; Luna 97 und das lokal ausgeführte DeepSeek V4 Flash 94 Punkte.
- Der größte Unterschied lag nicht in der grundlegenden Funktion, sondern in Art Direction, visueller Dichte, Code-Struktur und benötigter Arbeitszeit.
- DeepSeek blieb gestalterisch hinter den besten Ergebnissen, bestand aber alle Browser- und Mobilprüfungen und lieferte eine modular aufgebaute Anwendung.
- Die fünf Builds wurden unverändert archiviert und werden auf getrennten Subdomains ohne Analytics innerhalb der Games bereitgestellt.
01
Wie aus einem lokalen Modelltest ein Frontier-Vergleich wurde
Der Ausgangspunkt war kein geplanter Modellwettbewerb. Ich wollte herausfinden, ob sich DeepSeek V4 Flash 0731 auf meinem MacBook sinnvoll als Coding-Agent im Codex-Harness einsetzen lässt. Nach Download, eigener Quantisierung, langen Kontexttests und mehreren Versuchen zur Geschwindigkeitsoptimierung brauchte ich eine Aufgabe, die mehr als reine Token pro Sekunde misst.
Ein Browsergame eignet sich dafür ungewöhnlich gut: Es muss kompilieren, auf Eingaben reagieren, einen stabilen Game Loop besitzen, auf Smartphones funktionieren und zugleich eine erkennbare gestalterische Idee entwickeln. Als DeepSeek ein tatsächlich spielbares Ergebnis lieferte, entstand die Frage, wie dieselbe Aufgabe bei aktuellen Frontier-Modellen aussieht.
Aus diesem Grund wurden anschließend Luna, Sol, Fable und Opus mit derselben eingefrorenen Ausgangslage getestet. Die Aufgabe wurde zwischen den Läufen nicht an einzelne Modelle angepasst.
Was bewusst unverändert blieb
- derselbe Vite- und Three.js-Ausgangspunkt
- derselbe eingefrorene Prompt
- keine externen Bilder, Fonts, Audioquellen oder Laufzeit-APIs
- keine nachträglichen Reparaturen an den Modellversionen
- dieselbe unabhängige Funktions- und Browserprüfung
02
Das lokale Modell: technisch aufwendig, im Ergebnis bemerkenswert
DeepSeek V4 Flash 0731 lief vollständig als lokaler Modellprovider auf einem MacBook Pro mit M5 Max und 128 GB Unified Memory. Verwendet wurde eine stark komprimierte, gemischte Q2-Quantisierung mit ungefähr 81 GiB Metal-Mappings und einem Kontextfenster von 393.216 Token.
Lokales Setup
Hardware
MacBook Pro · Apple M5 Max · 128 GB Unified Memory
Modell
DeepSeek V4 Flash 0731 · gemischte Q2-Quantisierung
Kontext
393.216 Token (384 Ki)
Harness
Codex über einen lokalen OpenAI-kompatiblen DS4-Endpoint
Reasoning
Maximale offizielle Reasoning-Einstellung ohne künstliche Thinking-Grenze
Beschleunigung
Kein DSpark im finalen Lauf: Der schnelle Pfad veränderte Ausgaben, der exakte Pfad war langsamer
Was der Lauf tatsächlich geschafft hat
- 45 von 45 Punkten in der automatisierten Funktionsprüfung
- 15 von 15 Punkten für Browserrobustheit, Smartphone-Layout, Eingabe und Neustart
- 25 von 30 Punkten für visuelle Ausarbeitung
- 9 von 10 Punkten für Codequalität
- 15 Module, ein erfolgreicher Produktionsbuild und eine vollständig spielbare Online-Version
03
Ein Prompt, eine Ausgangslage und eine bewusst gemischte Bewertung
Die Produktanforderungen waren kurz genug, um den Modellen gestalterischen Spielraum zu lassen, aber konkret genug für eine reproduzierbare Funktionsprüfung.
Kernanforderungen
- Three.js als primäre Vollbildszene
- 2D- oder 2.5D-Präsentation mit prozeduralen Assets
- Schwerkraft, Flap-Impuls, Hindernisse, Kollision, Punkte und Neustart
- Tastatur, Maus und Touch
- bewusst smartphone-tauglich
- frame-rate-unabhängige Bewegung und robustes Resize-Verhalten
- sichtbare Ready-, Playing- und Game-over-Zustände
Bewertung
Automatisiert · 45 Punkte
Build, Three.js, Physik, Hindernisse, Kollision, Score, Neustart, Eingaben, Resize und lokaler Highscore.
Browserrobustheit · 15 Punkte
Direkte Desktop- und Smartphone-Prüfung, Touch-Eingabe, Game Over, Neustart und wiederholtes Resize.
Visuelle Qualität · 30 Punkte
Art Direction, Figur, Weltentiefe, Bewegung, UI, Effekte und mobile Bildkomposition.
Codequalität · 10 Punkte
Zustandsmodell, Delta-Time, Ressourcen-Lifecycle und nachvollziehbare Modulstruktur.
Maximales Reasoning war jeweils die vergleichbare Einstellung. Die Harnesses waren jedoch nicht identisch: Codex für Luna, Sol und DeepSeek; Claude Code für Fable und Opus. Dieser Unterschied bleibt Teil der Methodik und verhindert eine absolut saubere Rangliste.
04
Nicht nur Screenshots: Alle fünf Ergebnisse sind spielbar
Jedes Spiel läuft unverändert auf einer eigenen Subdomain und öffnet sich in einem neuen Tab. Dadurch bleiben Assets, Highscores und Browserzustand sauber voneinander getrennt.
In den Games befinden sich keine Analytics. Die Builds laden zur Laufzeit keine externen Bilder, Fonts, Audioquellen oder APIs.
GPT-5.6 Sol · Max
Codex-Harness · maximale Reasoning-Einstellung
Das ausgewogenste Gesamtergebnis mit klarer postalischer Gestaltung, starker 2.5D-Tiefe und sauber getrennten Modulen.
Sol Max spielen
GPT-5.6 Luna · Max
Codex-Harness · maximale Reasoning-Einstellung
Eine besonders starke Night-Flight-Inszenierung und der beste Startscreen, allerdings mit fast der gesamten Logik in einem sehr großen Modul.
Luna Max spielen
DeepSeek V4 Flash 0731 · Max
Lokal · 384 Ki Kontext · M5 Max
Weniger stark art-directed, dafür vollständig spielbar, touchfest und mit einer nachvollziehbaren modularen Struktur.
DeepSeek spielen
Claude Fable 5 · Max
Claude-Code-Harness · maximale Reasoning-Einstellung
Eine sehr polierte Low-Poly-Welt und die umfangreichste selbstinitiierte Qualitätsprüfung des gesamten Vergleichs.
Fable 5 spielen
Claude Opus 5 · Max
Claude-Code-Harness · maximale Reasoning-Einstellung
Starke Atmosphäre, räumliche Tiefe und ein responsives Glass-HUD; der Lauf endete während weiterer Mobile-Verfeinerungen am Zeitlimit.
Opus 5 spielen
05
Das Ergebnis: funktional eng, gestalterisch deutlich verschieden
Alle fünf Modelle bestanden sämtliche automatisierten Checks. Die Punktunterschiede entstanden erst in der direkten Browser-, Design- und Codeprüfung.
| Modell | Automatisiert | Browser | Visuell | Code | Gesamt | Laufzeit |
|---|---|---|---|---|---|---|
| GPT-5.6 Sol · Max | 45/45 | 15/15 | 30/30 | 10/10 | 100/100 | 16:50 |
| Claude Fable 5 · Max | 45/45 | 15/15 | 30/30 | 10/10 | 100/100 | 50:05 |
| Claude Opus 5 · Max | 45/45 | 15/15 | 30/30 | 10/10 | 100/100 | 60:02 · Timeout |
| GPT-5.6 Luna · Max | 45/45 | 15/15 | 30/30 | 7/10 | 97/100 | 11:43 |
| DeepSeek V4 Flash 0731 | 45/45 | 15/15 | 25/30 | 9/10 | 94/100 | 1:45:41 |
Die Laufzeit wurde dokumentiert, aber nicht bewertet. DeepSeek erhielt wegen der langsameren lokalen Inferenz ein Zeitlimit von 120 Minuten; die gehosteten Läufe 60 Minuten. Opus erreichte das Zeitlimit, sein zu diesem Zeitpunkt gespeicherter Stand bestand dennoch die vollständige Prüfung.
06
Was die Punktzahl allein nicht zeigt
Die Spiele lösen dieselbe Aufgabe, wirken aber wie fünf unterschiedliche Produktentscheidungen.
Sol: der ausgewogenste Gesamtsieger
Visuelle Idee, responsive UI, Tiefe und technische Struktur greifen am geschlossensten ineinander.
Fable: starke Eigenkontrolle
Neben der ausgearbeiteten Low-Poly-Welt fällt besonders auf, wie umfassend das Modell selbst Desktop, Phone, Landscape, Touch und Performance überprüfte.
Opus: Politur bis zur letzten Minute
Der erhaltene Stand ist bereits vollständig; trotzdem arbeitete das Modell bis zum Timeout weiter an Details der mobilen Darstellung.
Luna: maximale Wirkung, kompakte Architektur
Die Gestaltung gehört zur Spitze. Die fast vollständig in einem 1.069-Zeilen-Modul liegende Implementierung kostet jedoch Wartbarkeitspunkte.
DeepSeek: Funktion vor Inszenierung
Die Welt ist weniger charakteristisch, aber das Modell priorisierte robuste Eingabe, Physik, Resize, Mobilverhalten und klare Verantwortlichkeiten im Code.
07
Warum dies keine allgemeingültige Rangliste ist
Ein einzelner Prompt kann weder die gesamte Coding-Fähigkeit noch die Alltagstauglichkeit eines Modells abbilden. Ein anderes Produkt, eine bestehende Codebasis oder mehrere Feedbackrunden könnten die Reihenfolge verändern.
Auch Tokenzahlen sind zwischen den Harnesses nicht vollständig vergleichbar. Cached Input, Werkzeugprotokolle und die Art, wie ein Agent Kontext erneut verarbeitet, unterscheiden sich. Laufzeit hängt zusätzlich von Hosting, lokaler Hardware und dem Umfang selbstgewählter Prüfungen ab.
Die visuelle Bewertung folgt einer dokumentierten Rubrik, bleibt aber teilweise subjektiv. Deshalb sind alle fünf Games öffentlich spielbar: Leserinnen und Leser können sich unabhängig von meiner Punktzahl ein eigenes Urteil bilden.
Wichtige Einschränkungen
- unterschiedliche Agent-Harnesses zwischen Codex und Claude Code
- ein einzelner, qualitätsorientierter Produktprompt
- keine Bewertung von API-Kosten
- Laufzeit dokumentiert, aber nicht bepunktet
- subjektive Anteile bei Art Direction und visueller Qualität
- leistungsstarke Spezialhardware für den lokalen DeepSeek-Lauf
08
Mein Fazit: Der Abstand ist nicht überall gleich groß
Sol ist für mich das rundeste Gesamtergebnis. Fable und Opus zeigen ähnlich hohe Produktqualität, Luna liefert besonders schnell eine starke visuelle Identität. DeepSeek erreicht diese gestalterische Sicherheit nicht.
Trotzdem ist das lokale Ergebnis für mich persönlich bemerkenswert: Nicht weil 94 Punkte beweisen würden, dass lokale Modelle generell gleichwertig sind, sondern weil die fehlenden Punkte fast ausschließlich in der visuellen Ausarbeitung liegen. Funktion, Smartphone-Bedienung und technische Grundstruktur waren bereits belastbar.
Für echte Entwicklungsarbeit bleibt entscheidend, was nach dem ersten beeindruckenden Ergebnis passiert: Kann der Agent fremden Code verstehen, gezielt ändern, Fehler reproduzieren und über mehrere Iterationen konsistent bleiben? Dieser Benchmark beantwortet das nicht vollständig. Er zeigt aber sehr anschaulich, wie hoch das Ausgangsniveau inzwischen ist.
09
Häufige Fragen zum Experiment
Wurde wirklich derselbe Prompt verwendet?
Ja. Alle fünf Läufe starteten mit derselben eingefrorenen Aufgabe und derselben Fixture. Zwischen den Modellen wurden keine zusätzlichen Gestaltungshinweise ergänzt.
Lief DeepSeek vollständig lokal?
Die Modellinferenz lief über einen lokalen DS4-Provider auf dem M5-Max-MacBook. Der Coding-Agent nutzte den Codex-Harness und lokale Werkzeuge für Dateien, Builds und Prüfungen.
Warum bekam DeepSeek mehr Zeit?
Ein früher lokaler Lauf hatte das 60-Minuten-Limit erreicht. Für den eingefrorenen Vergleich wurde das lokale Zeitlimit deshalb vorab auf 120 Minuten gesetzt. Laufzeit floss nicht in die Punktzahl ein.
Sind 94 und 100 Punkte objektiv vergleichbar?
Die automatisierten und funktionalen Teile sind direkt vergleichbar. Design- und Codebewertungen folgen zwar einer festen Rubrik, enthalten aber bewusst menschliche und damit subjektive Einschätzungen.
Wurden die Games nachträglich verbessert?
Nein. Die veröffentlichten Builds entsprechen den archivierten Modellständen. Es wurden lediglich Hosting, Subdomains und TLS eingerichtet.
Erfassen die Spiele Analytics?
Nein. In den fünf Games befinden sich keine Analytics. Highscores werden, sofern vom jeweiligen Modell implementiert, nur lokal im Browser gespeichert.