Monitorización automatizada de la calidad de experiencia QoE del espectador de contenidos audiovisuales

La evolución del mercado audiovisual ha permitido un aumento sin precedentes en la cantidad y complejidad de la producción audiovisual. Con ello, la tarea de medida de la calidad de los contenidos se ha convertido en un problema, al multiplicarse por miles el número de canales en productoras, plataformas, integradores, radiodifusores, etc.

Por ello, aún hoy, la calidad se sigue verificando por técnicos humanos y de manera selectiva en determinados canales y en determinados momentos relevantes, y sigue siendo inviable la monitorización de forma generalizada y en tiempo real de los miles y miles de canales existentes.

Los organismos de radiodifusión de la industria de comunicación en todo el mundo comprenden la importancia de ofrecer la mejor calidad de experiencia posible a sus espectadores, pero muchos prestadores de servicios no tienen una comprensión completa de cómo funciona exactamente su cadena de soporte al servicio, o tienen externalizada parte de la cadena, o directamente no disponen de control sobre cómo se realiza la distribución de sus contenidos por re-difusores y plataformas. Ciertamente, son capaces de detectar o acceder a errores relacionados con la red (por ejemplo: pérdida de paquetes, retraso, etc.), pero otras malas experiencias de visualización, como las distorsiones, pasan desapercibidas para sus sistemas de monitorización de calidad (como pixelado, congelación, emborronamiento, etc.).

Si los propietarios de contenidos solo tienen en cuenta las necesidades de producción, las configuraciones técnicas y las características de visualización, es simplemente imposible que los sistemas de supervisión actuales del servicio emitido detecten problemas en la experiencia de visualización por parte de la audiencia.

Aún hoy la calidad se sigue verificando por técnicos humanos y de manera selectiva en determinados canales y en determinados momentos relevantes

La calidad de servicio (QoS) frente a la calidad de la experiencia (QoE)
La QoS (Quality of Service) se refiere a parámetros que se pueden medir objetivamente. Están muy relacionados con la disponibilidad del canal y de la señal en recepción. Entre ellos se encuentran la cobertura (relación señal a ruido, probabilidad de error, etc.), la continuidad de la funcionalidad del servicio (indisponibilidad o congestión en las redes, etc.), la fiabilidad proporcionada, la compatibilidad de los dispositivos y las funciones que intervienen en la disponibilidad del servicio.

Por el contrario, la QoE (Quality of Experience) es la calidad global percibida (y, por tanto, subjetiva) por el espectador final. La QoE representa la percepción por el espectador de la aceptabilidad general del servicio: ‘lo bien que se ve un vídeo, lo bien que suena un audio, lo bien que se percibe un contenido audiovisual combinado o lo bien que funciona la interactividad con un servicio audiovisual específico’.

Una buena QoS (objetiva) no siempre asegura una calidad satisfactoria de la experiencia QoE (subjetiva) del espectador de los contenidos de vídeo.

Cómo se mide la QoE: el MOS
La QoE es una métrica recogida ya por organismos de estandarización internacional, como la UIT, centrada en el espectador, que captura la aceptabilidad general del servicio. La QoE mide la sa-
tisfacción del espectador tal y como subjetivamente es percibida por el usuario.

La calidad de vídeo se evalúa de forma subjetiva mediante el parámetro normalizado MOS (Mean Opinion Score, puntuación media de opinión). La recomendación UIT-R BT.500-11 establece el procedimiento de evaluación subjetivo. Este método se basa en la disponibilidad de medios humanos para visualizar miles de canales de contenidos. Por ello, es excesivamente costoso, porque requiere de intervención humana masiva e instalaciones especiales (acondicionadas acústica y luminosamente) para visualización de los contenidos. Este es, obviamente, un método tedioso y no escalable, solo disponible para los organismos de radiodifusión, los radiodifusores de televisión, los OTTs y los productores de contenido de mayor capacidad económica, y aun así no aplicable de forma generalizada. Así, los proveedores de servicios dependen principalmente de la puntuación media subjetiva de opinión (MOS, Mean Opinion Score) para medir la QoE en una escala discreta, de 1 a 5.

Por suerte, con el uso de la Inteligencia Artificial (IA) la estimación se puede realizar también con evaluaciones objetivas, utilizando algoritmos matemáticos para medir la degradación de la señal audiovisual (distorsiones), teniendo en cuenta las características del contenido audiovisual y los modelos de la percepción humana.

La QoE (Quality of Experience) es la calidad global percibida por el espectador final

Estrategias de medición
La UIT-T ha definido tres clases que representan distintas estrategias de medición para la evaluación de la calidad de vídeo:

• Metodología utilizando la referencia completa de vídeo (FR). El vídeo de origen se compara con el vídeo recibido en destino.
• Metodología utilizando información de referencia reducida (RR). Solo se comparan algunos de los parámetros en origen y destino.
• Metodología sin referencia (NR). Se utiliza solamente la señal en destino para determinar la calidad.

Las principales métricas que se suelen utilizar para estimar la QoE, todas ellas con referencia, son:

• SNR (Peak Signal to Noise Ratio). Solo proporciona una indicación de la diferencia entre la trama recibida y una señal de referencia.
• SSIM (Structural Similarity Index). La métrica SSIM se basa en la medición de fotograma a fotograma de tres componentes (similitud de luminancia, similitud de contraste y similitud estructural) y los combina en un único valor, llamado índice.
• VMAF (Video Multimethod Assessment Fusion): Desarrollada por Netflix para su uso interno. Predice la calidad subjetiva del vídeo a partir de una secuencia de vídeo de referencia y la distorsionada.

El problema de las tres técnicas anteriores es que requieren el uso de la señal de referencia, y con ello se impide que se pueda realizar una medición real de QoE en cualquier punto de la red y para cualquier usuario que, habitualmente, no dispone de la señal de referencia.

Herramientas automatizadas
Existen tres aproximaciones en el mercado para la automatización de la monitorización de la QoE:

• Por uso de técnicas de Datawarehouse: caras y solo disponibles para los centros de producción
• Mediante cálculos de diferencias: PSNR, SIMM, etc., pero que requieren la señal de referencia.
• Por uso de la IA aplicada a la predicción de la QoE.

La última es la única que resuelve las necesidades de los radiodifusores al trabajar sin referencia conforme a las estrategias de medición planteadas por la UIT.

Recientemente, RTVE junto a la firma Video-MOS han probado en un entorno real una solución tecnológica que combina tecnologías avanzadas en analítica de vídeo e Inteligencia Artificial, verificando que es posible reemplazar la dependencia humana en la medición de MOS mediante herramientas automatizadas. De esta manera, se puede efectuar una estimación de la QoE sin referencia, realizando una monitorización en tiempo real del MOS basado en el impacto psico-visual y no en la diferencia entre imágenes. Se trata de una solución ‘herramienta de software como servicio’ (SaaS) automatizada (sonda) que se puede implementar en cualquier contenido de vídeo (emisión, streaming o fichero grabado) para monitorizar en tiempo real, 24/7, la QoE del espectador de contenidos. Es una solución agnóstica del hardware, basada en un desarrollo de Inteligencia Artificial llevado a cabo por la firma durante los últimos años.

Una buena QoS (objetiva) no siempre asegura una calidad satisfactoria de la experiencia QoE (subjetiva) del espectador de los contenidos de vídeo

La automatización de la medida de la QoE
Algunos de los posibles entornos de monitorización o casos de uso son: la monitorización de la cadena de distribución, de la parrilla de programación, el análisis de la configuración del múltiplex completo de DVB-T del broadcaster o de la respuesta de la red IP de distribución. El valor estimado de la QoE también se convertirá en un parámetro fundamental para la auto-configuración de la parametrización de los servicios sobre redes de nueva generación NGN. Así, el software reúne el análisis de vídeo de última generación, los algoritmos de Inteligencia Artificial (IA) y el Big Data.

Los entornos de aplicación de la solución en servicios audiovisuales son:

• Monitorización. Es deseable poder medir la calidad percibida por los usuarios, a los efectos de optimizar la red. Disponer de tecnología que puede sistematizar las medidas, logrando monitorizar el estado de la red de forma periódica, de manera sencilla y controlada.
• Supervisión. Una medida online de la calidad perceptual puede ser utilizada a los efectos de control y administración. Esta información puede ser realimentada hasta el centro emisor, de manera que tome acciones inmediatas para mantener la QoE.
• Administración. Cuando se dispone de contenido premium o franjas de prime time es especialmente necesario medir la QoE, y estimar cómo ésta evoluciona durante la emisión.
• Seguimiento y control de las condiciones de calidad recogidas en el contrato del proveedor de servicios. Permite, desde un sistema externo independiente, auditar la degradación de un contenido de un productor en su tratamiento por las redes y sistemas hasta su visualización por el espectador, incluso a efectos contractuales.
• Nuevos desarrollos. Las medidas de calidad percibida son una herramienta necesaria para la evaluación y desarrollo de nuevos sistemas (por ejemplo de codificación). Disponer de una medida automática de la QoE evita tener que realizar largas y costosas pruebas en el diseño de nuevos de/codificadores, algoritmos de realce del vídeo, etc.

Innovación patentada
Mediante el uso de sondas virtualizadas de software (de tecnología Docker – contenedor de software), se puede implementar en cualquier punto de la red y comenzar a supervisar la QoE en tiempo real, logrando, a través de un análisis de vídeo de última generación, algoritmos de IA, y técnicas de ciencia de datos, reemplazar las pruebas subjetivas MOS dependientes del técnico humano actuales, por una herramienta automatizada.

Dicha innovación patentada monitoriza automáticamente la QoE entregada a los espectadores de cualquier servicio interactivo (telefonía, TV, web), en cualquier dispositivo (PC, smartphone, Set Top Box, etc.) y a través de cualquier red (fija, móvil, etc.). La solución proporciona una estimación objetiva de MOS sin referencia (sin participación humana), y notifica si alguna de las secuencias de vídeo presenta un problema, informa si el valor MOS estimado para un contenido monitorizado no es óptimo y el porqué, y genera informes forenses. El sistema funciona tanto en sistemas de transporte de medios de radiodifusión como de streaming, así como con contenido en directo o grabado (vídeo bajo demanda, VoD).

Cada sonda de software está diseñada siguiendo una arquitectura de ‘microservicios’: la aplicación se divide en piezas independientes de software que se comunican entre sí. La principal ventaja es que se pueden distribuir por toda la infraestructura de producción y distribución de los radiodifusores de televisión, los OTTs y los productores de contenido para optimizar el consumo de recursos.

Ventajas:

• Las sondas aportan, de forma instantánea, mediciones MOS estandarizadas sin referencia, y análisis comparativos con el resto de los proveedores de servicios del mercado.
• Detecta distorsiones de pérdida de calidad en su contenido audiovisual.
• Es válido para entornos de producción de radiodifusión tradicionales y streaming multi-dispositivo.
• Dota de diversidad a los modelos de explotación por medio de contenedores de software, virtualizados sea en infraestructura privada, con su proveedor de nube pública preferido, o en configuración híbrida para satisfacer las necesidades actuales y futuras.

Una solución útil
La métrica MOS se considera el ‘estándar de oro’ para la medición de QoE, ya que considera los factores de influencia de la experiencia del usuario a nivel tecnológico, contextual y humano. Todas las soluciones actualmente en el mercado se basan en factores tecnológicos (ancho de banda, velocidad de fotogramas, frecuencia de muestreo, resolución, retraso, fluctuación). Por ejemplo, dichas sondas son la única solución existente que plantea poder identificar activos gráficos (marcadores, logotipos, banners…) en la escena donde otros los identifican como distorsiones.

Las métricas de vídeo-MOS evalúan el contenido audiovisual en su conjunto, teniendo en cuenta la atracción visual, la pureza del audio, el movimiento y otras características relevantes de la composición del material de archivo. Se puede extraer información del propio contenido, sopesando los diferentes parámetros en función de la naturaleza del contenido, ya sea un programa de noticias o un partido de tenis, por ejemplo.

Con las sondas de IA se ha contribuido al desarrollo de una solución útil para cualquier radiodifusor a escala nacional, europea o mundial, lográndose una contribución relevante al desarrollo de soluciones pioneras en el campo de la QoE.

La calidad de vídeo se evalúa de forma subjetiva mediante el parámetro normalizado MOS (Mean Opinion Score)

Resultados relevantes
Las nuevas herramientas permiten monitorizar de manera directa la QoE, diferenciar las distorsiones técnicas de las artísticas, y conocer el impacto en algunos de sus programas.

Los resultados obtenidos han confirmado beneficios en la detección temprana de las incidencias que afectan a la experiencia del espectador, el análisis de su impacto y el control de calidad de contenidos en relación con distintas configuraciones en la red de distribución.

Esta tecnología de monitorización en tiempo real del MOS es viable, está probada y permite pensar en una aplicación futura en distribución o difusión en 5G, con la ventaja de poder efectuar acciones para mejorar la QoE en distintos puntos de la cadena de valor en tiempo real.

Con ello, se ha contribuido al desarrollo de una solución real, útil para cualquier radiodifusor a escala nacional, o internacional, lográndose una contribución relevante al desarrollo de soluciones pioneras en el campo de la monitorización automática sin referencia de la QoE de los contenidos en tiempo real.