Mit dem Aufstieg von Mixed Reality-Headsets ist der Kamerazugriff zu einer der am meisten gewünschten Funktionen für Entwickler geworden. In einem kürzlichen Interview deutete der CTO von Meta auf die Möglichkeit hin, diese Funktion in Zukunft zu ermöglichen
Wenn Sie ein Smartphone besitzen, wissen Sie vielleicht, dass dessen Kameras bereits für Entwickler zugänglich sind. Natürlich werden Sie um Erlaubnis gebeten, wenn Sie eine App öffnen, die die Kamera verwendet, sodass Entwickler nicht einfach darauf zugreifen können, wann immer sie wollen. Das ist gut so, da Menschen aufgrund von Datenschutzbedenken natürlich vorsichtig mit dem Kamerazugriff umgehen. Dies ist jedoch ein Problem, das bei Smartphones weitgehend gelöst wurde.
Smartphones haben ihre eigene Version von Augmented Reality, aber Mixed Reality-Headsets (und zukünftige Brillen) bieten ein überlegenes Erlebnis. Sie können mit virtuellem Inhalt interagieren, indem Sie Ihre Hände oder Controller verwenden und ihn in vollem 6-DoF in Ihrem Raum sehen. Das ist sowohl spaßig als auch vielversprechend. Entwickler können jedoch derzeit das volle Potenzial von Mixed Reality aufgrund des fehlenden Kamerazugangs nicht nutzen.
Derzeit können Sie, wenn Sie eine Mixed Reality-App auf der Meta Quest entwickeln möchten, wenig tun, um Ihre App dynamisch auf die Umgebung reagieren zu lassen. Sie können nicht sehen, was der Benutzer sieht. Das Quest 3 verfügt über eine Raumscan-Funktion, bei der der Benutzer den Raum manuell scannt und das Headset ein Mesh erstellt. Dies löst das Problem jedoch nicht vollständig, da es Funktionen wie das Objekttracking nicht ermöglicht.
In einem Interview zwischen Matthew Ball und Andrew Bosworth (CTO von Meta) deutete Bosworth an, dass der Kamerazugang schließlich zu Quest-Headsets kommen könnte. Er äußerte sich begeistert über die Möglichkeiten, die diese Funktion für Entwickler freisetzen würde, merkte jedoch an, dass Meta aufgrund von Datenschutzbedenken eine konservative Haltung zum Kamerazugang eingenommen hat. Angesichts der Datenschutzskandale von Meta ist diese Vorsicht verständlich. Da die Mixed Reality-Branche wächst und Apple bereits Kamerazugang für Unternehmensentwickler auf visionOS 2 erlaubt (was darauf hindeutet, dass es letztendlich auch regulären Entwicklern zur Verfügung gestellt werden könnte), könnte Meta gezwungen sein, diesem Beispiel zu folgen.
Im Folgenden sind mehrere Beispiele für Mixed Reality/Augmented Reality-Apps aufgeführt, die Kamerazugang nutzen. Einige sind bloße Ideen, während andere fertige Projekte sind, die (manchmal umständliche) Umwege nutzen, um ohne direkten Kamerazugang zu funktionieren. Die Aktivierung des Kamerazugangs könnte diese Apps deutlich benutzerfreundlicher machen.
Der Gewinner des Meta AR Hackathons – „Flaivor“
Flaivor ist ein von KI angetriebener Kochassistent, der basierend auf Bildern von Gegenständen in Ihrem Kühlschrank (oder einem anderen Foto verfügbarer Lebensmittel) Rezepte anbietet, die die fotografierten Zutaten enthalten. Es verfügt auch über eine Funktion zum Einstellen von Timern und einen KI-Assistenten, der Hilfe und Anleitung bietet.
Haben Sie es bemerkt? Ja, diese App erfordert, dass Sie ein Foto mit Ihrem Headset aufnehmen. Dies ist eine clevere (aber nicht ideale) Umgehung des fehlenden Kamerazugangs, die das Erlebnis erheblich vereinfachen würde. Stellen Sie sich vor, Sie könnten einfach in Ihren Kühlschrank schauen und sich auf bestimmte Zutaten konzentrieren, die ein einzelnes Foto möglicherweise verpasst – dies wäre mit Kamerazugang möglich.
Spatial Vacuuming!
Diese Konzept-App ist für Spaß gedacht, bietet aber eine interessante Idee, um Hausarbeiten angenehmer und weniger mühsam zu gestalten. Sie beinhaltet Funktionen wie das Verdienen von Münzen an jedem Fleck und die Verwendung verschiedener Bodenfarben, um anzuzeigen, welche Teile noch nicht gereinigt wurden, wie im Video gezeigt.
Der Ersteller erreichte dies, indem er den Meta Touch Pro-Controller montierte, der kurz im Video zu sehen ist. Mit Kamerazugang könnte es möglich sein, den Staubsauger zu verfolgen, ohne dass Controller benötigt werden. Da Boden- und Raumnetzdaten bereits für Entwickler verfügbar sind, fehlt nur noch der Kamerazugang.
Quest 3 Mixed Reality app – „Pencil“
Diese App ist besonders interessant, und ich hatte die Chance, sie selbst auszuprobieren. Ich habe eine Zeichnung damit gemacht! Es war… schlecht, aber hey, es sah viel besser aus, als ich diese App benutzte, verglichen damit, als ich es ohne tat. (Und nein, ich werde Ihnen die Zeichnung nicht zeigen.)
Diese App lehrt im Wesentlichen das Zeichnen, wie im Video auf Twitter gezeigt. Was sie tut, ist einfach: Sie verfolgt ein A4-Papierblatt mit einem Controller darauf und fügt eine Schicht hinzu, um dem Benutzer zu helfen, es mit dem echten Stück Papier auszurichten. Mit Kamerazugang könnten Entwickler tatsächlich das Papier selbst verfolgen, was den Prozess erheblich erleichtern würde. Derzeit kann sich ein Controller bewegen, was dazu führt, dass das virtuelle Blatt Papier sich mitbewegt und möglicherweise die echte und virtuelle Zeichnung nicht übereinstimmt. Kamerazugang würde dieses Problem beseitigen.
„World Skins“ – Verwandeln Sie Ihre Welt mit KI und AR
Was an diesem Beispiel fasziniert, ist, wie es KI und Kamerazugang nutzt, um die gesamte Welt um Sie herum zu verwandeln. Obwohl dies derzeit nur ein Konzept ist, ist es ein sehr unterhaltsames. Wir könnten potenzielle Risiken diskutieren, wenn man nicht vorsichtig genug ist, aber was bedeutender ist, ist das enorme Potenzial, so etwas zu erreichen. Für ein sichereres, aber ebenso beeindruckendes Erlebnis stellen Sie sich vor, Sie wenden dasselbe Konzept in Ihrem eigenen Zuhause an: Verwandeln Sie es, um es wie einen aus Bambus gebauten Dschungel oder ein durch Ihre Fenster sichtbares Raumschiff erscheinen zu lassen.
Was ist der Vorteil von Mixed Reality gegenüber VR? Nun, ein Vorteil könnte die Möglichkeit sein, Ihre Möbel oder sich bewegende Menschen um Sie herum zu sehen. Ein weiterer Vorteil ist die potenzielle Nutzung im Freien, beispielsweise in Ihrem Garten – ein Bereich, der vor Gefahren wie Autos sicher bleibt, aber durch den Einsatz von KI erheblich verbessert werden könnte.
KI-Assistent
Große Sprachmodelle verbessern sich schnell. Beispielsweise kann das in GPT-4o demonstrierte Modell Ihre Umgebung und Ihren Kontext „verstehen“, wodurch es bei Bedarf äußerst nützliche Hilfe leisten kann.
Wenn Mixed Reality-Headsets und AR-Brillen Entwicklern Kamerazugang gewähren würden, könnten sie ihre trainierten Modelle zur Unterstützung nutzen. Wenn Sie beispielsweise ein Problem mit einem Wasserhahn haben und Hilfe eines Klempners benötigen, könnten Sie das Problem möglicherweise selbstständig lösen. Wie? Schauen Sie einfach auf die Installation und bitten Sie die KI um Hilfe. Mit Kamerazugang hätte die KI sofortigen Zugriff auf das, was Sie sehen, und könnte ihre Fähigkeit, die Situation zu verstehen und effektive Anleitung zu geben, erheblich verbessern.
Beispiele wie diese sind endlos, und viele davon sind noch nicht einmal erdacht worden. Sie könnten Wirklichkeit werden, wenn Entwickler Zugang zu Headset-Kameras hätten.
Metas faszinierendes AR-Forschungsprojekt von Reality Lab
Dies ist eine sehr coole Demo von Metas Reality Labs. Es ermöglicht dem Benutzer, die Realität zu manipulieren, indem nicht nur virtuelle Elemente hinzugefügt, sondern auch vorhandene verändert werden. Zum Beispiel können Sie Objekte in der realen Welt bewegen, und das Headset approximiert die Textur und Farben dahinter, wodurch eine nahtlose virtuelle Wand entsteht, die die echte Wand hinter dem bewegten Objekt ersetzt.
Es handelt sich um eine Annäherung, sodass die generierte Wand nicht identisch mit der echten ist, aber sie könnte verbessert werden. Der Entwickler hinter dem Projekt erwähnte, dass sorgfältiges Scannen und Vorplanung jedes Objekts für die Demo notwendig waren. Mit Kamerazugang und fortgeschrittenen KI-Modellen können wir uns vorstellen, all dies in Echtzeit zu rendern, was Mixed Reality auf eine ganz neue Ebene hebt.
Dynamische Veränderung der Welt um Sie herum – Aldiffusion API
Der hier gezeigte Prototyp ist eine KI-gesteuerte Demonstration von Möglichkeiten. Es gibt nicht viel zu beschreiben – Sie berühren etwas in Ihrem Zimmer, und Ihre Hände (oder Ihr Körper) ändern sich, um dem zu entsprechen, was Sie berührt haben. Ist es eine Spielerei? Ja, sicherlich. Ideen wie diese könnten sich jedoch zu etwas Größerem und viel Nützlicherem entwickeln!
AR für Verpackungen
Was wäre, wenn Sie in Zukunft mit Ihren AR-Brillen einen Laden betreten und jedes Produkt, das Sie sehen, eine kreative Animation hätte? Das könnte überwältigend sein, und ich kann mir nicht vorstellen, dass es jemandem gefällt, Hunderte von sich bewegenden Produkten auf den Regalen zu sehen. Aber wenn Sie sich auf ein Produkt konzentrieren, mit den Fingern schnippen und eine Animation sehen könnten, die zeigt, wie es verwendet wird oder potenzielle Rezepte damit (je nachdem, ob es sich um ein Verbrauchsgut oder etwas anderes handelt), wäre das erstaunlich.
Ich sehe die Vorteile davon. Natürlich würde es Kamerazugang benötigen, um zu funktionieren.
„Try-On“ Augmented-Reality-Lösung von Gucci
Ein weiterer interessanter AR-Anwendungsfall, der Kamerazugang erfordert, ist die „Anprobieren“-Funktion. Sie können dies bereits auf Ihrem Telefon tun, aber es wird nicht gut unterstützt. Mit einem Gerät, das die Realität auf eine nutzbare Weise bereits auf Ihrem Kopf verändern kann, könnten Entwickler Funktionen wie diese erweitern. Ich würde es sicherlich nutzen, um zu sehen, wie Schuhe an meinen Füßen aussehen, bevor ich sie kaufe, ohne in einen Laden gehen zu müssen!
Das Gleiche könnte gelten, wenn Sie in den Spiegel schauen, wobei das Headset oder die Brille Ihren Körper sehen. Sie könnten überprüfen, ob bestimmte Kleidungsstücke gut passen. Es gibt bereits Apps, die so etwas in der Art machen, aber nichts kann das direkte Sehen auf den Brillen oder dem Headset schlagen.
Es gibt viele weitere Beispiele wie die oben genannten, aber ich glaube, sie geben Ihnen bereits eine gute Vorstellung davon, was möglich ist. Meta und Apple bewegen sich langsam darauf zu, Entwicklern den Zugang zu Headset-Kameras zu ermöglichen. Wenn dies geschieht, wird dies der Moment sein, in dem innovative, kreative und nützliche Mixed Reality-Apps wirklich entstehen.
