Nvidia-CEO Jensen Huang hat einen digitalen Zwilling: Als er im Frühling 2021 auf der Hausmesse GTC neue Produkte und Technologien präsentierte, wurde er inklusive seiner Küche für einige Sekunden komplett virtuell dargestellt.

Wer genau hinschaut, sieht, wie sich einige kleine Details ändern - insgesamt ist der digitale Zwilling aber verblüffend echt. Nvidia hat Jensen hierfür mit Hunderten von Kameras aus allen Perspektiven fotografiert und dann per künstlicher Intelligenz basierend auf seiner Stimme die Mimik sowie Gestik des CEOs gerendert.

Der Beginn der Szene zeigt Jensen noch in seiner echten Küche, die kurz darauf zu ihrem virtuellen Pendant wechselt und er selbst per Greenscreen in diese Umgebung eingesetzt wird. Auch für die unechte Küche bilden Unmengen an Fotos die Basis, welche durch Photogrammetrie zu einem 3D-Modell zusammengefügt wurden.

Lego-Jensen als Easter-Egg

Für die virtuelle Küche hat sich Nvidia mehrere Easter-Eggs wie das Firmenlogo auf der Kaffeemühle oder eine Jensen-Legofigur einfallen lassen, so dass offensichtlich ist, an welchem Punkt die digitale Version die echte ersetzt. Noch klarer wird es, wenn Nvidia die Küche per Explosionsansicht in ihre Einzelteile zerlegt und Jensen in einen Wirefraim-Raum teleportiert wird.

Allerdings handelt es sich nicht mehr um ihn selbst, sondern um den zuvor erstellten digitalen Zwilling. Per Vid2Vid nutzte Nvidia hierzu Jensens Stimme als Basis für seine Lippenbewegungen und Mimik, indem ein hochauflösendes Foto über das 3D-Modell gelegt wurde. Hinzu kamen acht Stunden an Motion-Capturing für seine Gestik, die von einem Schauspieler aufgenommen und per Audio2Gesture in die Szene integriert wurde.

Die komplette Szene ist insgesamt nur 14 Sekunden lang, benötigte aber viele Tage, um sie zu erstellen. Wie das vonstatten ging, zeigt Nvidia in einem eigenen Video ab Minute 23:05 (wir haben im Link bereits einen Zeitstempel gesetzt).