Das iPhone wird zur Kamera in Blender — ohne App

Die virtuelle Kamera in Blender kommt ohne separates Programm auf dem Telefon aus. Das Add-on PocketCam zeigt die Aufnahmeoberfläche direkt in Safari: Der Nutzer scannt einen QR-Code aus Blender, und das Smartphone verwandelt sich in eine Kamera innerhalb der Szene — dreht man das Gehäuse, dreht sich das Bild, geht man durch den Raum, verschiebt sich die Kamera, geht man in die Hocke, bekommt man die Untersicht. Die Bewegung wird Bild für Bild wie eine normale Animation in die Timeline geschrieben.

Der Autor des Projekts ist der Kameramann, 3D-Künstler und Animator Lewis Martin. Die App für das Telefon ist eine Webseite, die das Add-on im kostenlosen Cloudflare-Konto des Nutzers selbst bereitstellt. App Store und Abo sind nicht nötig, ein gemeinsames WLAN ebenso wenig: Computer und Smartphone verbinden sich über das Internet und können sich in unterschiedlichen Netzwerken befinden.

Das Telefon führt die Kamera, es dreht nicht den Viewport

In der Vollversion stehen zwei Tracking-Varianten zur Verfügung. Die erste stützt sich nur auf die Bewegungssensoren: Das Gyroskop ist für Drehungen und Neigungen zuständig, die Fortbewegung wird über Bildschirm-Joysticks gesteuert, die in allen Editionen enthalten sind. Die zweite, markerless, ergänzt die Bewegung im Raum — das System verfolgt sie über die Smartphone-Kamera und die Bewegungssensoren, und genau sie erzeugt den Effekt eines Gangs mit der Kamera in der Hand.

Die Aufnahmebedingungen erwähnt der Entwickler gesondert: Das Tracking stützt sich auf das, was die Kamera sieht, deshalb bietet eine glatte weiße Wand keine Orientierungspunkte, und es wird empfohlen, in einem gut beleuchteten Raum mit Details im Bild zu drehen. Der Parameter Movement Scale wird dabei als kreativer Multiplikator beschrieben, nicht als kalibrierte reale Skala. Das Kamerabild wird auf dem Telefon selbst verarbeitet und nirgendwohin übertragen, und die Verbindung zu Blender läuft über das Cloudflare-Konto des Nutzers, nicht über die Server des Autors.

Damit die Handaufnahme nicht zum Wackeln wird, bietet das Add-on eine Horizontsperre, eine Höhenfixierung, einen Stativmodus (nur Schwenks und Neigungen), Echtzeit-Glättung und denselben Movement Scale: Ein realer Schritt kann einem Schritt um eine Tischszene oder einem Flug über eine Stadt entsprechen. Separat arbeiten die Mikrobewegungen des Handgelenks — Hand Pivot und Movement, die dem Bild Parallaxe und ein natürliches Zittern hinzufügen. Es gibt die Schaltflächen Recenter und Home, wobei als Heimatpunkt der 3D-Cursor oder die aktuelle Kamera dienen kann. In den Versionen Pro und Studio lässt sich die Kamera mit einem Xbox-Gamepad steuern, ohne das Telefon überhaupt in die Hand zu nehmen.

Takes werden in die Timeline geschrieben und nach der Aufnahme korrigiert

Auf das Telefon geht die Kameraansicht, die Blender selbst rendert — der Computerbildschirm wird nicht aufgezeichnet, deshalb erscheinen unter macOS keine Anfragen für den Zugriff auf die Bildschirmaufnahme und keine schwarzen Bilder. Größe, Bildrate und Qualität des Streams lassen sich an die Verbindung anpassen. Die Optik wird aus sechs Festbrennweiten gewählt — 14, 24, 35, 50, 85 und 135 mm; ein stufenloses Zoomrad von 12 bis 200 mm ist in Pro und Studio verfügbar, auch die Fingergeste funktioniert, und der Wechsel der Brennweite wird gemeinsam mit dem Take aufgezeichnet.

Das Praktischste für Animatoren ist die Arbeit mit Takes. Die Aufnahme läuft mit dem Ton der Timeline, sodass die Kamera zu Musik oder einer Dialogzeile geführt werden kann. Jeder Take wird separat gespeichert, umgeschaltet wird mit einem Klick, misslungene werden gelöscht, und die ursprüngliche Kameraanimation bleibt unberührt. Schon nach der Aufnahme darf ein Take mit einem Schieberegler von 0 (Rohdaten) bis 1 (wie vom Steadicam) neu geglättet oder das Objektiv neu bestimmt werden: das aufgezeichnete belassen, eine Brennweite für den ganzen Take fixieren oder sie selbst animieren. Ein Fehler durch eine zitternde Hand zwingt also nicht dazu, die Szene neu zu drehen.

Vorgesehen sind auch die Kleinigkeiten des Drehprozesses: ein Countdown von 0 bis 10 Sekunden vor dem Start, ein Review-Modus nach dem Take, ein roter Sucherrahmen während der Aufnahme, Timecode und Bildnummer in der oberen Zeile auf dem Telefon. Nach einem Verbindungsabbruch verbindet sich das Telefon selbst wieder, ohne erneutes Scannen des QR-Codes.

Was es kostet und was für den Start nötig ist

Das Add-on wird auf Superhive in drei Editionen mit einmaliger Zahlung verkauft: PocketCam Lite für 12 $ bietet Gyroskop und Joysticks mit Festbrennweiten, Pro für 24 $ ergänzt volle 6 DoF mit Bewegung im Raum, das Zoomrad und Gamepad-Unterstützung, Studio für 69 $ deckt bis zu zehn Künstler in einem Unternehmen ab. Die kommerzielle Nutzung ist in allen Varianten und ohne Umsatzbegrenzung erlaubt, 1 % von jedem Verkauf führt der Autor an den Blender Development Fund ab.

Angegeben ist Kompatibilität mit Blender von 4.2 LTS bis 5.2 unter Windows und macOS; in der Dokumentation steht, dass die Prüfung auf Mac und iPhone in Safari erfolgte, während Android, andere Browser und Tablets für dieses Release nicht getestet wurden und bislang nicht unterstützt werden. Beide Geräte brauchen Internet — ein Offline-Modus ist nicht vorgesehen. Die Einrichtung erfolgt einmalig und dauert etwa fünf Minuten: ein Cloudflare-Konto, ein API-Token der Stufe Workers Admin, die Schaltfläche Create Phone App in Blender; Terminal und Code sind nicht nötig. An das Token sollte man gesondert denken: Es gibt Rechte zur Verwaltung aller Workers im gewählten Konto, und die Tarife und Limits von Cloudflare haben mit dem Preis des Add-ons nichts zu tun.

Warum die virtuelle Kamera in den Browser gewandert ist

Virtuelle Produktion blieb lange ein teures Thema: Um eine Handkamera-Aufnahme in einer 3D-Szene zu drehen, stellten Studios Tracker von VR-Systemen auf, unterhielten eine Mocap-Fläche oder kauften separate Mobil-Apps, die man den Versionen der DCC-Pakete und den Richtlinienwechseln der Stores hinterher aktualisieren musste. Die Wahl von Safari und Cloudflare Workers anstelle einer nativen App sieht wie ein Versuch aus, genau diese Barriere zu beseitigen — Verbreitung und Kompatibilität.

Der Nebeneffekt dieses Ansatzes ist sofort sichtbar: Die Infrastruktur bezahlt und verwaltet der Nutzer selbst, der Entwickler wird Server und Store-Review los. Sollte sich das Modell als tragfähig erweisen, werden wahrscheinlich auch andere Autoren von Verbindungen „Telefon — DCC-Paket“ einen ähnlichen Weg gehen: Die Einstiegshürde für einen Einzelentwickler ist hier deutlich niedriger als bei einer mobilen App.

Für kleine Teams und Freelancer bedeutet das, dass die grobe Kameraarbeit — Umflüge, Durchgänge, Aufnahme zu Musik — weniger vom Kauf von Hardware abhängt. Die Qualität des Trackings über die Smartphone-Kamera bleibt erwartungsgemäß hinter Hardwaresystemen zurück, und nach den Einschränkungen des Entwicklers selbst zu Beleuchtung und Struktur im Bild zu urteilen, sollte man es für die finale Aufnahme besser als Grundlage betrachten, die man danach mit Glättung korrigiert. Für Previs, Animatics und die Suche nach Blickwinkeln reicht das meist aus.

Sind Sie bereit, die virtuelle Kamera dem Browser zu überlassen, oder bleiben Sie bei der kabelgebundenen Verbindung zum Telefon? Was fehlt, um die Aufnahme nach Safari zu verlegen?