Einfache Würfel zeigen KI-gesteuerte Laufzeitänderungen in VR

AR- und VR-Entwickler [Skarredghost] war von einem virtuellen blauen Würfel ziemlich begeistert, und das aus gutem Grund. Es war ein erfolgreicher Prototyp eines Augmented-Reality-Erlebnisses, bei dem die Logik, die dem Würfel als virtuelles Objekt zugrunde lag, darin bestand von der KI als Reaktion auf die verbale Anweisung des Benutzers geändert. Durch die Aussage „Mach es blau“ wurde der Würfel tatsächlich blau! (Natürlich nach einer kurzen Bedenkzeit.)

Natürlich blieb es dabei nicht, und der Blue-Cube-Proof-of-Concept führte zu einer Reihe einfacher Demos. Das erste zeigt eine Reihe von Würfeln, die je nach Musiklautstärke ihre Farbe von Rot nach Grün ändern, dann ändert ein Würfelbündel seine Größe als Reaktion auf die Mikrofonlautstärke, und Würfel beginnen sogar, sich im Raum zu bewegen.

Das Programm akzeptiert gesprochene Eingaben des Benutzers, wandelt sie in Text um, sendet sie an ein KI-Modell in natürlicher Sprache, das dann die erforderlichen Änderungen erstellt und sie in die Umgebung lädt, um Laufzeitänderungen in Unity vorzunehmen. Der Arbeitsablauf ist etwas umständlich und macht viele der damit verbundenen Herausforderungen deutlich, aber er Werk und das ist ziemlich raffiniert.

Das Das GitHub-Repository ist hier und ein gutes Demonstrationsvideo ist direkt unter dem Seitenumbruch eingebettet. Es gibt auch ein Video mit einer viel tiefergehenden Diskussion über das Geschehen und eine offene Auseinandersetzung mit den technischen Herausforderungen.

Wenn Sie an dieser Richtung interessiert sind, scheint [Skarredghost] die relevanten Details zusammengefasst zu haben. Und sollten Sie eine Prototyp-Idee haben, die nicht unbedingt AR oder VR ist, aber von einer KI-gestützten Spracherkennung profitieren würde, die lokal ausgeführt werden kann? Dieses Projekt hat, was Sie brauchen.

[Eingebetteten Inhalt]

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoAiStream. Web3-Datenintelligenz. Wissen verstärkt. Hier zugreifen.
• Die Zukunft prägen mit Adryenn Ashley. Hier zugreifen.
• Kaufen und verkaufen Sie Anteile an PRE-IPO-Unternehmen mit PREIPO®. Hier zugreifen.
• Quelle: https://hackaday.com/2023/05/30/simple-cubes-show-off-ai-driven-runtime-changes-in-vr/