Realidad aumentada al rescate. La cancelación de NAB 2022-2023 debido a la pandemia COVID-19 envió ondas de choque en toda la industria de la transmisión. Celebrada anualmente en Las Vegas, NAB Show es la feria comercial de transmisión más grande con más de 90,000 asistentes de más de 160 países. La mayoría de los 1.600 expositores lanzan nuevos productos y tecnología y, para muchas grandes empresas, se implementan hasta seis meses de planificación. En muy poco tiempo, el equipo de Panasonic Pro Video tuvo que encontrar alternativas para transmitir su mensaje mientras trabajaba de forma remota desde casa.
Audio + Video + TI. Nuestros editores son expertos en la integración de audio, video y TI. Obtenga información, noticias y contactos profesionales diarios. Suscríbase a Pro AV hoy
En los días previos a la cancelación del NAB Show, el equipo de Panasonic comenzó a buscar opciones para realizar un evento sustituto, incluida la idea de construir un stand físico donde los clientes pudieran visitar en línea. El equipo de Panasonic Pro Video también estuvo en conversaciones con Paul Lacombe, director ejecutivo de DisruptAR, con sede en Nueva Inglaterra, que se especializa en la creación de producciones virtuales. Habiendo comenzado su carrera en General Motors después de la universidad, Lacombe ha trabajado en la industria de la producción durante 30 años, comenzando en Silicon Graphics a finales de los 80 antes de aventurarse por su cuenta para dedicarse a las producciones virtuales. DisruptAR se centra en reducir los costos de producción de AR y VR para el mercado más amplio.
- Infraestructura de transmisión de Esports Training Factory
- Citizen Cope estrena espacio para conciertos seguro para Covid
- Aprendizaje remoto: cómo hacer que una orquesta remota funcione
- Las mejores cámaras PTZ para transmisión en vivo
El 16 de marzo, Nueva Jersey, donde se encuentra la sede de Panasonic en EE. UU., Entró oficialmente en cierre; el 18 de marzo, Lacombe programó la primera demostración para el equipo de Panasonic. NAB Show 2022-2023 se canceló el 20 de marzo ".
Tuvimos que decidir entre las dos opciones muy rápidamente ”, revela el director de ingeniería de Panasonic, Harry Patel. “La primera opción requería construir físicamente un stand, traer el producto siguiendo los requisitos de distanciamiento social (menos de 10 personas a la vez) y traer un equipo de filmación. No era práctico y queríamos hacer algo con mayor calidad, aunque no podíamos salir de casa. Entonces, finalmente, esta idea de un evento virtual se discutió más y fue aprobada a fines de marzo ”.
Realidad aumentada y producción remota
La producción remota no es un concepto nuevo. El director Francis Ford Coppola dirigió y editó muchas escenas de su película de 1982, One From the Heart, de un tráiler cerca del set. Pero crear una producción de forma remota desde casa durante una pandemia global es otra historia. Solo fue posible mediante el uso de tecnología de cámara de última generación, motores de juegos de realidad virtual y aplicaciones basadas en la nube.
Para Panasonic, el primer objetivo era crear un mensaje claro con comunicación verbal y escrita traducida a un formato de video más visual. En NAB, los vendedores normalmente se comunican con los clientes en el piso de exhibición para discutir soluciones a los problemas de cada persona. El gerente del grupo de marketing, Jim Wickizer, y la agencia de relaciones públicas, Racepoint Global, pudieron presentar un mensaje coherente y trabajaron con los gerentes de productos individuales para presentar los puntos de conversación correctos.
Patel y Wickizer también comenzaron a trabajar con Lacombe de forma remota desde su estudio doméstico para crear entrevistas en video entre los gerentes de producto y una presentadora del estudio, Zoe Laiz, quienes debían discutir sobre nuevos productos y tecnología. “Todos hemos tenido entornos de producción desafiantes, pero hacer esto de forma remota con este programa fue definitivamente un acto de fe”, explica Lacombe. "En mi interior, sabía que esto podría funcionar, pero nunca haberlo hecho antes era una preocupación".
Para la grabación remota, cada gerente de producto recibió una computadora portátil, un micrófono USB Blue Yeti y una cámara PTZ profesional Panasonic AW-HE42 Full-HD. El HE42 se conectó a través de Ethernet y el controlador USB virtual PTZ y el video se llevó a la computadora portátil usando OBS para grabar y TeamViewer para el control remoto.
Realidad aumentada y equipos de MS
Para comunicarse, compartir archivos, ver demostraciones y monitorear tomas de producción remotas, Panasonic empleó Microsoft Teams, una plataforma de comunicación y colaboración. De la noche a la mañana, plataformas como Teams, Zoom, Ring Central y muchas otras han permitido que las personas y las empresas se comuniquen con el mundo exterior de forma segura desde sus hogares.
Para ver lo que Lacombe estaba capturando en el set durante la producción, Patel usó Teams Screen share creando una división cuádruple usando una salida de conmutador AV-UHS500 a una caja convertidora de SDI a USB. La alimentación USB se presentó en Windows como una alimentación de cámara, que compartieron a través de Teams.
Mientras supervisaban la grabación de los comentarios de apertura del vicepresidente senior de imágenes profesionales y sistemas visuales, John Baisley, a través de Teams, Patel y Wickizer pudieron ver la sala de estar de Baisley en vivo y proporcionar orientación, ya sea por un error de lectura de línea, un cambio de fondo o un problema de sonido. A través de Teams, Patel también pudo proporcionar la dirección de la pantalla al observar tanto la pantalla verde como las vistas del escenario virtual. “Si Zoey estaba parada justo detrás de una puerta y entra, realmente podríamos ver si la toma fue buena o no”, explica Patel. "Le diría a Paul a través de Teams: 'Podría funcionar mejor si ella se mueve un poco bien'. En términos de colaboración remota, no creo que hubiera sido posible sin el uso de Teams".
“Fue genial hacer esto de forma remota”, agrega Wickizer. “Teníamos una persona en Boston, Harry y yo estábamos en nuestras casas en Nueva Jersey y teníamos otra persona en la costa oeste. Mi hija bajó una vez a nuestro sótano y me preguntó qué estaba haciendo. "Estamos haciendo una producción remota", le dije. Realmente no podía creerlo ".
Free-D y Unreal Engine
Para incorporar conjuntos de estudio de realidad virtual realistas en una producción en vivo, es esencial capturar datos precisos de posicionamiento de la cámara. Antes de presentar su primera demostración para Panasonic, DisruptAR desarrolló un controlador Free-D que permitiría conectar la cámara AW-UE150 4K Pro PTZ directamente al Unreal Engine, lo que le proporcionó la capacidad de generar información de Pan / Tilt / Zoom / Iris. a través de IP (UDP) directamente desde la cámara al sistema de seguimiento de Unreal en vivo sin la necesidad de sensores o codificadores adicionales.
"Free-D surgió de la BBC a principios de los años 90 como un protocolo de seguimiento para uno de sus sistemas de seguimiento por cámara", explica Lacombe. “Define los seis grados de libertad: panorámica, inclinación, balanceo, X, Y, Z, así como el campo de visión, el zoom y el enfoque. Esos valores se envían al motor de renderizado virtual y se conectan a una cámara virtual para que su fondo responda en consecuencia en tiempo real a 60 fotogramas por segundo ".
Según Lacombe, Unreal Engine se ha utilizado en todos los ámbitos en numerosas producciones, desde The Lion King hasta The Mandalorian. “Es la tecnología subyacente utilizada por la mayor parte de Hollywood en este momento”, dice Lacombe. "Lo utilizan como un proxy en su mayor parte, pero el objetivo es el 'píxel final', que es lo que está viendo en tiempo real es lo que está en la pantalla".
“El Unreal Engine es un motor de juegos que se ha aplicado en otros mercados, incluida la arquitectura, la visualización CAD y, en este caso, la transmisión y las películas”, dice Lacombe. “Lo estamos usando para llegar al más alto nivel de fotorrealismo, tomando activos de herramientas DCC tradicionales como Maya, 3D Studio Max, Blender, usando tarjetas gráficas NVIDIA a 60 cuadros por segundo, brindando a los espectadores la fidelidad de las características de la lente como florecimiento, destellos y desenfoque. La calidad que necesita para llegar al fotorrealismo y la renderización a 60 fotogramas por segundo es esencialmente lo que hace Unreal Engine ".
Creando un mundo virtual … en un garaje
El estudio de Lacombe está en su garaje reformado que mide solo 20 x 24 y su equipo estaba compuesto por un solo asistente. Para la pantalla verde, utilizó un fondo Pro Cyc Portable. Debido a las limitaciones de espacio, Laiz solo podía caminar unos pocos pasos, por lo que tenían pocas cámaras, lo que hacía que la AW-UE150 fuera la herramienta perfecta para el trabajo. Para iluminar su pantalla verde, Lacombe utilizó paneles LED de 14 ”. “La idea es que realmente quieras tener un tono de verde y deshacerte de todas las manchas para que tu manipulador pueda mantener esas sombras”, explica Lacombe. "Eliges un verde que quieres eliminar y los verdes más oscuros son las sombras superpuestas en tu escenario virtual".
Aunque estaba trabajando en los pequeños confines de su garaje, tuvo que iluminar su talento con la luz motivada de un gran estudio. Para iluminar a Laiz, Lacombe usó dos paneles LED tanto para su clave como para su relleno. También usó algunos focos desde arriba para simular una luz rojiza proveniente de las ventanas. "Básicamente, estamos tratando de hacer coincidir esa dirección y esa temperatura de color sin afectar la pantalla verde", revela Lacombe. “Eso es un desafío porque estás tratando de iluminar el talento por separado de la pantalla verde. Las puertas del granero en esos LED nos daban más espacio, pero estábamos luchando por alejarnos del green y conseguir un rebote mínimo del green en su ropa y piel ".
En el set, Lacombe usó dos cámaras UE150: la cámara 1 estaba en el lado izquierdo y la cámara 2 en el derecho. Cuando Zoe hacía su turno para enfrentarse a un gerente de producto visto en un monitor vertical, cambiaba a la cámara dos al nivel de los ojos de Laiz para obtener el punto de vista simulado del gerente de producto. Hacer coincidir las líneas de los ojos es un desafío, pero Lacombe dice que podría engañarlo un poco al saber dónde estaba su posición inicial establecida. “Si tuvieras dos cámaras, una a 90 grados de la otra a dos metros y medio de distancia y la otra a cuatro pies de distancia, puedes medir con una cinta métrica y ponerlas en el mundo virtual en esa misma posición. Se adherirán entre sí a través de las leyes de la física para que parezcan estar en esa posición exacta. Y luego puedes hacer un poco de trampa siguiendo esas pautas ".
Diseño de producción con el clic de un botón
Para el diseño del decorado virtual, Lacombe utilizó un diseño modificado que estaba trabajando con otro cliente el año pasado. El diseño se realizó en Maya y se exportó a Unreal. Dado que el escenario virtual tiene lugar por la noche, al principio tenían un aspecto más oscuro, pero luego decidieron hacerlo un poco más brillante. Agregó el logotipo de Panasonic y eliminó elementos que no eran esenciales para el conjunto de Panasonic. También agregó un monitor que sale del piso y Laiz sale por detrás.
Al crear su propio escenario virtual, según Lacombe, hay más activos 3D disponibles desde que la visualización arquitectónica en línea realmente ha despegado. Puede ir a una biblioteca 3D y buscar activos o modelos 3D y crearlos según sus requisitos de personalización. "Es realmente un intercambio con el cliente", explica Lacombe. “Agrega sus componentes de marketing, marca, todos los colores y materiales. Una vez que tenga el activo allí, puede derribar paredes con un botón, hacer clic o mover cosas, ajustar los monitores en tiempo real. En el "mundo físico", esto requeriría una cantidad considerable de tiempo y dinero. Una vez que haya construido el dispositivo, es fácil de ajustar y volver a hacerlo ".
Mantener una distancia segura
La producción virtual ha evolucionado a lo largo de las décadas a través de la experiencia y el refinamiento. Aunque los roles de una producción física y una producción virtual son esencialmente los mismos, la mayor diferencia es que todos trabajan en el mismo espacio físico. Una vez que se levante la ordenanza de quedarse en casa, aún se está determinando si la producción remota real se convertirá o no en la norma.
“Hay una razón por la que hay alguien que mira la clave, alguien que mira el guión, alguien que mira los ángulos de la cámara y el vestuario”, dice Lacombe. Todos esos roles aún deben cumplirse y solo estamos tratando de descubrir la mejor manera de hacerlo de forma remota. Hasta ahora, ha funcionado increíblemente bien y todos estamos sorprendidos de cómo esto se unió tan rápido y evolucionó de una manera natural. Aunque tuvimos que usar más sombreros de los que nos hubiera gustado para esta producción, el siguiente paso lógico es distribuir esto aún más para que otros participen para refinar y mejorar el proceso. Pero, por primera vez, estoy muy contento con los resultados y ansioso por dar el siguiente paso ".
Para ver el evento virtual de Panasonic, El futuro de la producción de video , haga clic aquí.
Para obtener más información sobre DisruptAR, visite www.disruptar.com.