IA y cloud para procesar vídeos y quitar fondos

A veces, grabamos un vídeo o tomamos una fotografía y el fondo nos resulta muy molesto, o preferimos sustituirlo por otro. En los últimos años ha habido avances en la sustitución de fondos por otras imágenes, sobre todo en las videollamadas, popularizadas por el teletrabajo. Y los avances siguen dándose: recientemente hemos sabido que Google ha trabajado en mejorar el procesamiento de las videollamadas de su servicio Google Meet con tecnología basada en la nube. Según la empresa, efectos como el desenfoque de fondo y el ajuste de luz se procesan en la nube si no se pueden ejecutar en tiempo real en ciertos dispositivos. Esto ayuda a ahorrar batería y hasta un 30% de CPU, según la compañía.

Esta es solo la última muestra de cómo la nube, y también la inteligencia artificial (IA), están cambiando el procesamiento de vídeo y la extracción o el cambio de fondos de imagen. Pero hay más.

Inteligencia artificial para mejorar vídeos

La IA ayuda a matizar y quitar fondos de vídeo con calidad profesional para todo tipo de presentaciones virtuales.

En este sentido, Virtual Stage es una herramienta que se aprovecha de los últimos avances de IA y de Azure Kinect (un dispositivo de grabación con modelos de voz, sensores de IA y visión artificial, vinculado a la nube gracias a Azure Cognitive Services) para reproducir figuras humanas con un fondo distinto sin perder definición. En concreto, Virtual Stage permite grabar a los participantes en una conferencia o webinar como si se encontraran en un salón de actos o en un estudio de televisión convencionales. La tecnología permite separar la figura humana del fondo y colocarla en otro ‘decorado’ o añadirle efectos de imagen, presentaciones…

Para quitar fondos de vídeo, Virtual Stage se basa en dos tecnologías: Speaker Recorder App, que graba al ponente con equipos Azure Kinect, y Background Matting, que elimina el fondo original gracias a la inteligencia artificial y a la información de los Kinect.

Plain Concepts ha mejorado el procesamiento del Background Matting en zonas delicadas de borde, como las manos, los pies y el pelo. Para ello, hemos usado modelos de IA del Azure Body Tracking SDK, con lo que la separación es más precisa en zonas de color similares y ambiguas. Por otra parte, el cuerpo humano se separa en dos imágenes cuadradas que se procesan por separado; esto ayuda a la IA para revisar zonas como la sombra que se genera entre los pies o detenerse más en lugares que necesitan más precisión, como el cabello y las manos.

Cloud para mejorar el procesado de vídeos

Con la popularización de las cámaras de vídeo en numerosas industrias (seguridad, naves industriales, eventos deportivos…), se populariza también el análisis de vídeo inteligente en tiempo real, que aporta datos para la mejora de los procesos u obtener nuevas formas de negocio. La nube sirve para alojar esa gran cantidad de datos. Al mismo tiempo, la inteligencia artificial crea formas de gestionarlos, gracias a servicios como Kubernetes.

Igualmente, el cloud computing puede servir cuando no se tiene la suficiente capacidad de procesamiento local o ancho de banda para la grabación, reproducción o emisión de vídeo. Esto podría suceder, por ejemplo, al grabar o transmitir en 4K, un tipo de resolución de millones de píxeles con el que ya se crean contenidos para televisión y plataformas de vídeos bajo demanda.

Además, al confiar en la nube, no solo existen menos posibilidades de fallos técnicos, sino que el vídeo se puede almacenar con varias copias de seguridad. Al mismo tiempo, las tecnologías cloud permiten que todos los miembros de un equipo accedan a los vídeos desde sus centros de trabajo, casas u otros lugares.

El cloud computing también es básico para el almacenamiento y la transmisión del contenido de las numerosas plataformas de streaming que existen. Trasladándolo a compañías que también tienen que alojar vídeos a nivel más ‘humilde’ (por ejemplo, portales de educación a distancia), la nube para alojar vídeos es escalable: la capacidad de almacenamiento puede crecer o disminuir según las necesidades de la compañía, en un proceso que no debe afectar a la calidad de la transmisión.

Por qué la extracción de fondos y el procesamiento de vídeo tienen tanta importancia en la actualidad

Eliminar o cambiar el fondo de una videollamada se ha convertido en un recurso muy habitual con la popularización del teletrabajo: no queremos mostrar lo que hay detrás de nosotros en la habitación que trabajamos, o bien preferimos usar una imagen corporativa, con el logo de la compañía o la imagen de un producto.

Pero no es la única razón. La popularización de las redes 5G, que permiten transmitir vídeo a mayor velocidad y con mejor procesamiento, hace que las tecnologías de videollamada relacionadas tengan que mejorar para estar a su altura. El volumen de tráfico aumentará en numerosas industrias, del entretenimiento a la telemedicina, y se pueden aplicar tecnologías como la realidad aumentada o el uso de algoritmos de inteligencia artificial en directo.

El equipo de Azure lleva tiempo buscando esa integración entre esta tecnología en la nube y el 5G. De hecho, en noviembre de 2021, Microsoft y la compañía de telecomunicaciones AT&T presentaron Azure Public MEC, que proporciona la baja latencia característica del 5G integrada con Azure en redes móviles. Así, los desarrolladores pueden crear aplicaciones de baja latencia como si se encontraran en la nube pública de Azure.

Si quieres que tus empleados hagan videollamadas con clientes sin que desaparezca la definición de su figura; buscas una tecnología con la que retransmitir eventos digitales con ponentes; o bien deseas procesar y gestionar el vídeo desde la nube, te podemos ayudar: en Plain Concepts tenemos experiencia en ejecutar estos proyectos que, con la irrupción de las redes 5G, se hacen aún más atractivos. Contacta con nosotros y te apoyaremos en todo lo que necesites.