Assessing metrics for video quality verification in Livepeer’s ecosystem (I)


Assessing the quality of a single asset

Above: two different lossly compressed versions of an original picture (a frame from Big Buck Bunny). Definition of a criterion on what is an acceptable quality level is not an easy task, hence the plethora of objective quality methods attempting to measure quality.

SSIM time evolution for the first 1240 frames (50 seconds) of Big Buck Bunny, encoded at 500 kbps (above) and 250 kbps (below)

Time evolution of the ratio between SSIMs encoded at 500 kbps and 250 kbps. First 1240 frames (50 seconds) of Big Buck Bunny

SSIM time evolution for the first 1240 frames (50 seconds) of Big Buck Bunny, encoded to 500 kbps with a watermark

Time evolution of the ratio between SSIMs encoded at 500 kbps and with a watermark. In some segments (ratios below 1), watermarks seem to give even better SSIM results than the ‘bona fide’ rendition at 500 kbps.

Bringing in more metrics

Time evolution of the ratio between SSIMs and PSNRs for encodings at 500 kbps and 250 kbps.

Time evolution of the ratio between SSIMs and PSNRs, encoded at 500 kbps and at 500 kbps with a watermark.

Generalizing to several assets

Pairs plot for our dataset of 140 Youtube clips. Distance metrics (cosine, euclidean and Hamming) are fairly linearly correlated, whereas SSIM and PSNR show some logarithmic / exponential relationship with each other. VMAF and MS-SSIM also have some degree of linear correlation to each other. MS-SSIM appears as the one with the most compact distribution.

Spearman correlation table for all seven metrics used in our analysis

Frame from one of the outliers. The video presents a high amount of motion and high detail hard to deal with for the codec in a reasonable compression rate.

Conclusions and further work

References

Livepeer
Livepeer has 30 repositories available. Follow their code on GitHub.
github.com
epiclabs-io/YT8M
(Machine) Learning from YouTube8M dataset . Contribute to epiclabs-io/YT8M development by creating an account on…
github.com
Toward A Practical Perceptual Video Quality Metric
measuring video quality accurately at scale
medium.com
Video Quality Assessment
In Eyevinn’s initiative to share our knowledge around quality we continue with addressing video quality assessment…
medium.com
Human visual system model — Wikipedia
needs additional citations for verification .improve this article by adding citations to reliable sources. Unsourced…
en.wikipedia.org

About the authors

III Foro EL ESPAÑOL – Blockchain y Criptomonedas

Epic Labs participó en el III Foro EL ESPAÑOL Blockchain y Criptomonedas: Así cambiarán los modelos de negocio.

El pasado 18 de junio se celebró el III Foro El Español Blockchain y Criptomonedas: Así cambiarán los modelos de negocio. El evento contó con la presencia del CEO y Fundador de Epic Labs Alfonso Peletier que apuntó: “Podemos definir una comunidad como un grupo de personas y empresas que se agrupan por un bien común. Blockchain va a ayudar a definir la consecución de fines comunes de las comunidades del futuro”.

El evento, respaldado por eToro, Banco Sabadell, Ethereum Madrid, KPMG, Universidad CEU San Pablo e Innsomnia, contó como maestro de ceremonias con Arturo Criado, redactor jefe de la sección de Empresas y Medios de El Español.

La primera mesa abordó la visión general del mercado, así como las perspectivas futuras y en ella participaron Luis Olmedo de Cáceres, Senior Manager de Global Strategy de KPMG; Javier Molina, Presentor en España de eToro, Antonio Gonzalo, Cofundador del think-tank Ethereum Madrid; Javier Domínguez, del Nodo de programación de Blockchain España y Gabriel Montalto, Broker de Derivados Financieros.

Olmedo de Cáceres fue el encargado de romper el hielo de la mesa con una revisión del posicionamiento regulatorio actual. “En Europa, en 2017 decidimos que había llegado el momento de estudiar en serio Blockchain y sus aplicaciones. En España, para empezar, estamos presentes en todas las iniciativas de la Unión Europea. Además, la CNMV está mandado notas aclaratorias regularmente. Por el momento llevan dos: una advertencia y una guía para las ICOS. Luego estaría Suiza, que es el ejemplo a seguir. Su iniciativa Cripto Valley, en una zona cerca de Zurich, es una gran apuesta“.

Al ser preguntado por la iniciativa de Facebook, el manager de Global Strategy de KPMG explicó que, antes de salir, ya está teniendo efectos positivos el en resto de criptomonedas. “Venimos de un año muy bueno. Desde comienzo de año Bitcoin ha multiplicado su valor casi por tres. La salida de Libra va a ayudar a que esto aún mejore. La apuesta que han hecho es muy importante, han fichado a parte de su equipo de Paypal y Coinbase. Aunque lo de Facebook no sea una cripto como tal va a permitir que la gente use un nuevo medio de pago y eso va a ser muy beneficioso para el resto“.

Por su parte, Javier Molina comenzó su intervención incidiendo en que la iniciativa de Facebook no puede ser considerada una criptomoneda como tal. “Lo de Facebook no va a ser una criptomoneda porque no está descentralizada“.

El Presentor en España de eToro explicó que considera a este tipo de activos una oportunidad de inversión pero que tienen un nivel muy alto de riesgo. “Hay que estar en estos productos pero tienen que representar el 1% o el 2% en un portafolio. Las perspectivas son muy buenas. El problema no es el activo, es el uso que se da. Podríamos estar ante el oro digital“.

Por su parte, Antonio Gonzalo hizo hincapié en los importantes pasos que ha dado el sector recientemente. “En el pasado año vivimos un periodo muy bajista en términos de valor. En cambio, en lo que tiene que ver con la infraestructura ha sido un año muy bueno para el trabajo en escalabilidad“.

El cofundador de Ethereum Madrid también valoró el nacimiento de Libra muy positivamente. “Ahora, con la entrada de la red social en el sector, las perspectivas son buenísimas. El efecto red de Facebook va a venir muy bien para todo el ecosistema“.

Montalto resaltó que actualmente sólo una minoría de ciudadanos conocen y entienden el significado de Blockchain. “La gran mayoría de las personas siguen sin saber de qué hablamos. Cuando la gente entienda cripto al mismo nivel que las acciones de bolsa vamos a ver una revolución. En una década los chicos que hoy tienen 13 años van a estar pagando su Coca-Cola o su entrada de cine con criptomonedas en Madrid y en Pekín“.

Para concluir la mesa, este broker especializado en derivados financieros dio a conocer alguna actividad menos conocida en base a criptomonedas. “Ya hay empresas de compra de viviendas en Bitcoins. El dinero en efectivo como tal va a desaparecer. Se están retirando billetes de gran valor y se impide un pago en efectivo por encima de ciertas cantidades. No descarto que estaremos pagando muy pronto con visas basadas en cripto“.

Una visión del futuro

La segunda mesa se centró en intentar dar una visión de cómo se remodelarán los negocios gracias a estas nuevas iniciativas. En ella participaron Carlos Trevijano, Socio Responsable de Fintech y Pagos en KPMG España; Roger Olivet, Blockchain Director de Banco Sabadell; Francisco Estevan Vitores, CEO de Innsomnia; Ricardo J. Palomo, Catedrático de la Universidad CEU San Pablo; Jesús Pérez, Director de CryptoPlaza de Finnovating y Alfonso Peletier, CEO de Epic Labs.

Trevijano comenzó su intervención contestando a una pregunta del público que solicitaba una definición para Blockchain. “Es una base de datos descentralizada basada en una cadena de bloques. En Blockchain la propia red valída cada operación. Una de las innovaciones más interesantes que ha traído son los Smart-contracts, que permiten automatizar los eventos que rigen el contrato cuando se cumplen las condiciones“.

Respecto a las claves del futuro, el responsable de Fintech y Pagos en KPMG España, señaló que la principal dificultad que va a tener Blockchain son los incentivos de participación. “Los incentivos van a jugar un papel fundamental en la adopción de esta tecnología entre el gran público“.

En su intervención, Roger Olivet analizó los efectos futuros que va a tener la nueva iniciativa de Facebook. “La noticia de hoy es positiva en muchos aspectos. Va a dar acceso a este activo a mucha gente y va a permitir conocer el resto del ecosistema. Además, a las entidades financieras nos va a ayudar a ponernos las pilas. En este entorno, los bancos tenemos una ventaja: somos entidades confiables y tenemos que aprovecharlo. La colaboración va a ser muy importante. Esto no va de islas, va de archipiélagos y puentes“.

El responsable de Blockchain de Banco Sabadell tuvo la oportunidad de dar detalles sobre la iniciativa en la que participa su compañía. “Empresas de distintos sectores nos hemos puesto de acuerdo para identificar y acreditar a nuestros proveedores. Cuando una empresa colaboradora y quiere trabajar con una compañía como la nuestra pierde mucho tiempo. Ahora, con la iniciativa que hemos presentado hoy, si se valida una vez se valida para todos los componentes“.

Estevan Vitores aprovechó su intervención para aportar su propia definición de Blockchain. “Cuando se lo he intentado explicar a mi hijo, al final he llegado a la conclusión de que Blockchain es la tecnología de la verdad. Hay que poner a todo el mundo de acuerdo para que el sistema mienta. Es una gran oportunidad para hacer las cosas distintas. Blockchain es mucho más que Bitcoin. Yo, si fuera notario, estaría preocupado e intentando subirme a esta tecnología“.

El CEO de Innsomnia quiso poner en valor el papel de los emprendedores. “Estamos ante un momento apasionante. Queda aún mucha fluctuación y tenemos que seguir aprendiendo. Los emprendedores van a jugar un papel fundamental en el desarrollo de esta industria“.

Entre las distintas visiones profesionales, Ricardo J. Palomo aporto la experiencia que se está teniendo de las instituciones educativas del fenómeno Blockchain. “Esta revolución está causando gran fascinación entre los alumnos. Estas tecnologías y la inteligencia artificial están generando mucha ilusión por los cambios. Estamos en un cambio de paradigma en el que vamos a estar decidiendo si se usa o si no se usa esta tecnología. La iniciativa de Facebook va a popularizar aún más todo lo referente con esta nueva industria“.

En cuanto a las oportunidades futuras, el catedrático de Universidad CEU San Pablo apostó por que veremos cada vez más iniciativas que aporten valor usando el Blockchain o las criptomonedas. “Estamos pasando de una fase teórica a una en la que ya empezamos a ver casos de uso. Cada vez más empresas van a apoyarse en esta tecnología usándola para más soluciones. Esto requiere tiempo, formación, receptividad e ilusión. El mundo necesita cada cierto tiempo novedades y esta es una muy grande“.

Ante una mayoría de opiniones que ensalzaron más las oportunidades de Blockchain, Jesús Pérez quiso romper una lanza en favor de las criptomonedas. “Blockchain es una base de datos con una serie de atributos. En cambio, Bitcoin está generando mucho más valor ya. Cuando se abordan estrategias sólo con Blockchain se pierden oportunidades de negocio. Venezuela transacciona más Bitcoins que Dólares. Ya hay empresas con 600 millones de beneficio. Estamos hablando de un negocio real“.

Alfonso Peletier, puso el acento en el potencial colaborativo de esta tecnología. “Podemos definir una comunidad como un grupo de personas y empresas que se agrupan por un bien común. Blockchain va a ayudar a definir la consecución de fines comunes de las comunidades del futuro. Blockchain ha llegado para quedarse. Con el tiempo la tecnología va a evolucionar porque ahora mismo es muy inmadura. No tenemos el sistema operativo terminado totalmente y queremos poner apps encima“.

El CEO de Epic Labs concluyó destacando lo excepcional del momento que estamos viviendo. “Esta tecnología aún requiere tiempo e inversión. La inversión ha ido a un ritmo muy bueno pero estamos en un momento de inmadurez. Tenemos entre las manos algo especial. Con Internet vimos la revolución de la información, ahora veremos la revolución de la confianza“.

Una confianza que todos los participantes en el foro mostraron de cara a un futuro en el que Blockchain y las criptomonedas jugarán un papel central de la nueva economía.

 

El evento contó con la colaboración de BLOCKCHAIN España.

Fuente: El Español

Fotografías: Jesús Umbría – EL ESPAÑOL

Connecting Media 2019

Un año más se celebró el evento Connecting Media organizado por Epic Labs, InterXion, Colt Technologies y Google Cloud. El restaurante Espacio 33 ubicado el complejo Cuatro Torres de Madrid fue el lugar elegido para esta ocasión.

Desde las nueve de la mañana y a lo largo de 3 paneles de discusión, directivos y representantes de algunas de las empresas más relevantes del sector audiovisual debatieron abiertamente sobre cuestiones tecnológicas de especial importancia dentro de la industria del video y la televisión. El evento fue presentado y conducido por el Marketing Manager de Epic Labs, Jesús Carrillo, que anunció el 5 de junio de 2020 como fecha para la tercera edición.

Si no puedes ver el vídeo puedes acceder a él haciendo click aquí

“Cómo se mueve el contenido, el cambio de paradigma: desde la producción a la nube”

Tanto la televisión como el cine se han caracterizado por su alto componente artesanal y tecnologías dedicadas. Hoy en día, internet y la irrupción de tecnologías IT en la industria del entretenimiento audiovisual han cambiado este paradigma. Hoy, contar con buenos socios en el camino del contenido, desde la producción al consumidor, marca la diferencia.

Jesús Carrillo, EpicLabs

Joan Monrabá, Colt

Juanjo García Cabrera, Google

Raquel Figueruelo, Interxion

24:37 – “La inteligencia artificial en el sector de media: de la teoría a la realidad”

Mucho se habla de la inteligencia artificial y las bondades que puede aportar a la industria del entretenimiento, sin duda mucho más que los motores de recomendación.

José Tovar Cruz, CIO – Mediaset

Virginia Bazán-Gil, Gestión de Proyectos Fondo Documental – RTVE

Alejandro Bárcena, Operations Director – Deluxe Entertainment Services Group

Mª José Santiago Rayo, Responsable Proyectos Innovación – Mediapro

59:43 “El viaje de las televisiones hacia internet y 5G”

La televisión nació como un medio de difusión de masas, con unas reglas claras y estáticas. Con la irrupción de internet hace unos años y un 5G incipiente todo es diferente. Nos encontramos en un escenario multidispositivo y ubicuo, donde cada byte de información cuenta.

Vicente Molina, Senior Broadcast & Operations Manager de Fox Networks Group

José Mª Casaos, CTO de Telemadrid

Mario Reis, Director de Telecomunicaciones – Olympic Broadcasting Services

Pedro Llamas, Sales Director – Overon

También puedes descargarte las fotografías del evento aquí

Epic Labs has “open-sourced” a tool to compare quality of two sync videos

Epic Labs has “open-sourced” a tool to compare visual quality of two synchronized videos, a project lead by Adrián Caballero (@adripanico)

This comparator -a JavaScript library- is a small part of LightFlow video optimizer portal (www.lightflow.media).

Just follow this Epic link: https://github.com/epiclabs-io/epic-video-comparator

The comparator was developed to prove that videos processed through LightFlow, despite the remarkable decrease in bitrate and underlying savings, were not experiencing any quality drop. It enables two videos to be synchronously playbacked and compared frame by frame thanks to the PID controller mechanism over the playback rate of each video. For ABR videos, it is also possible to select the desire quality level to playback. This tool also provides some statistical data such as dropped frames or video start-up time.

Interview with Adrián Caballero, Epic Engineer.

Why did Epic Labs decide to open source this tool?

When LightFlow was introduced to the market there were many demonstrations to clients and partners. In that sessions we could notice that the comparator was very successful and both, prospective customers and partners, felt in love with this particular feature. That’s the reason why we decided to bring it out of the LightFlow ecosystem as a standalone component, and finally bring it to the open source community.

What does this mean to you?

It is really amazing to be part of a company that bet on open source and I feel so proud to be collaborating with the community. It’s giving back what we’ve taken from it. At the end of the day mostly all developers use pieces of software from here and there to build up much bigger and complex solutions. This is a full circle for me, as we have provided a great tool and I’m sure the community will provide useful feedback and improvements. This is not the end of the path, it is just the very beginning.

What will the person who chooses to use this comparator be able to measure?

As well as visual quality using a slider that can be moved from side to side, it also shows buffer length, video start-up time and dropped frames, providing also detailed data for each video in terms of resolution, bitrate, or codec. It’s remarkable that the user can incorporate any statistics considered relevant or not showing anything at all.

What has been the big challenge for you?

When programming for the community you have to bear in mind that any other user must understand your work. I focused in typing clean code and documentation and learning the best way to publish in GitHub and npm. I also learned on how to integrate it with CI platforms to ensure that each new commit is properly tested and deployed as a demo page.

There has been a creative process behind this?

During the development of LightFlow, in every final sprint demo, there were many feedback comments taken in mind when shaping-up this tool. There has been a lot of iterations up to this publication in GitHub. For sure it will change a lot in the future and that is precisely the magic behind software development.

Of course there has been creativity. There is a bit of each one of the people from Epic Labs in this tool and in every solution that we provide, and creativity is the one of the pillars of this company.

LightFlow broadens user-context scope to further improve efficiencies

Cost, quality of experience and smooth operation benefit by factoring extended codecs support, specific device optimization and network QoS.

These are the new features added:

  • Content preparation supporting VP9 codec, in addition to LightFlow current solution for H.264 and H.265. Thanks to this you can optimize each unique playback in any device with the most efficient version of your video assets using an intelligent multi-codec approach.

 

  • Smart bitrate management based on device, screen size, and watching distance. LightFlow is able to learn from your users’ habits and context, and apply optimizations accordingly.

 

  • Now LightFlow is able to apply optimizations considering the network conditions of your users base. Ensure your videos are always prepared to maximize quality of experience of your users while being cost effective.

 

Contact us for more information: sales@epiclabs.io

Epic Labs to exhibit at IBC 2018 introducing LightFlow by Epic Labs.

EPIC LABS TO EXHIBIT AT IBC 2018 INTRODUCING FIRST-IN-CLASS VIDEO STREAM OPTIMIZER FOR QUALITY OF EXPERIENCE (QoE): LIGHTFLOW by Epic Labs

Epic Labs will exhibit at IBC 2018 introducing LightFlow: a QoE enhancer leveraging advanced machine learning technologies, smart encoding algorithms and cognitive services for better user engagement. Visit us at Stand 14.A36 to learn about LightFlow Video Stream Optimizer for QoE

Madrid- 02/08/2018 – Epic Labs (www.epiclabs.io), proud member of the DASH Industry Forum and Digital Production Partnership (DPP), is pleased to announce its presence at IBC 2018 introducing a new QoE enhancer media platform known as LightFlow.

LightFlow is an easy-to-use platform that enables an enhanced user experience by leveraging advanced encoding techniques using machine learning techniques. LightFlow also introduces ultrafast (real-time) encoding and cognitive services to optimize video streams bringing the best quality of experience for customers. It works either for VoD (file-based) and live streams on DASH and HLS on any device player.

LightFlow improves media through proprietary Machine Learning algorithms that analyse content providing the best video quality at a lower bitrate generating an optimal ABR ladder and encoding profiles. Some of the benefits are: minimize rebuffering events, improve video start time (VST), exit before video starts (EBVS) and reduce video start failures (VSF) achieving a best-in-class stream that flows perfectly over any internet connection.

A more efficient use of video bandwidth means a lower cost for storage and improving CDN performance, while reducing transcoding costs.

LightFlow can be easily integrated on any OTT or live TV Channel workflow by consuming a light and intuitive API and an architecture that allows multiple deployment models (SaaS, on-prem, cloud, hybrid).

Customers will get an enhanced QoE, better user engagement and user retention by offering a TV-Like experience.

LightFlow main features:

– Per title smart encoding.
– Per scene smart encoding.
– Live smart encoding.
– Low-Latency smart encoding.
– Advanced media cognitive services: face recognition, auto-clipping, enriched archiving, contextual advertising and content moderation.

LightFlow can be deployed on any media workflow and any existing infrastructure either on-premises or on any cloud provider. Epic Labs can also provide the encoding, storage and delivery for any workflow. LightFlow enables a 100% out-of-the-box solution to fit on any workflow or requirement.

Alfonso Peletier, Epic Labs CEO and Founder: “We have identified a raising demand of OTT providers and broadcasters to improve viewers’ experience: a great image quality and a lighter stream that loads up fast, with no rebuffering events no matter the network condition or device brand. At Epic Labs, we have put an incredible Team of media software engineers, encoding and machine learning experts to create LightFlow with the mission to boost viewers QoE while keeping media workflows costs at bay. We are proud to be at IBC, the best place to be when launching a new product like LightFlow and stay in close touch with decision makers from all over the world.”.

In addition to offer attendees the chance for a hands-on demonstration and in-depth information about LightFlow, Alfonso Peletier, Epic Labs CEO & Founder, will be part of the panel “Artificial Intelligence and Machine Learning: Status update” that will be held on Saturday 15th at 15:30 in the Hall 14 Content Everywhere Hub.
Epic Labs will be at stand A36 in Hall 14 at Amsterdam RAI. To schedule a meeting with Epic Labs at IBC 2018, please send an email to: sales@epiclabs.io or visit www.epiclabs.io

Press and Media contact (Content and advertisement):
Jesús Carrillo
Marketing and Communications Manager
M.: +34 649 801 593
E.: jcarrillo@epiclabs.io
W.: www.epiclabs.io

Retrospectives in Agile methodologies. the base of improvements.

Retrospectives in Agile methodologies, the base of improvements.

Whitepaper by Juanjo Escribano.

Taking some time for analyzing ourselves, our status and also our internal processes, is a key factor for improvement either in software development or in our own lives. It is said that even the longest trip starts with a small first step, but knowing where we are is certainly important to go in the right direction. You need to know where you are in order to know how to get to your destination. But as we are all humans we all make mistakes. All the time. Everyday. So, even if you know where you are and the direction you must take to get to your destination, you can miss that step.

 

Download it for FREE!

Whitepaper

NLP for Computer Vision – Having breakfast with Terminator

In this video, we are talking about another tool of Machine Learning- Natural Language Processor- which could be used to enhance the accuracy and power of computer vision. Natural Language Processing or NLP is used to understand the meaning of human language by training an algorithm that looks for the relationship between words. One of these relationships could be “belongs to” or “contains”, and so we can relate several concrete terms (fruit, cereals, milk) with an abstract concept that contains all (breakfast, morning). We can use this feature to increase our accuracy in detecting concepts in a scene. We also propose this method for the use case “Contextual Advertising” to avoid wrong detections derived from the context of a video:

0:00 – Intro
0:37 – Object Detection
1:07 – NLP definition
1:16 – Context example 1: BREAKFAST
2:00 – Context expample 2: BASEBALL
2:23 – Contextual advertising USE CASE
3:00 – Recap