AWS референтно решение намалява latency при live субтитриране

AWS Live Multilingual Subtitling

Резюме

• AWS описа референтно решение за real-time многоезични субтитри за live събития, проектирано да избегне добавяне на latency при video streaming.
• Архитектурата разделя обработката на видео и субтитри в паралелни пътища и ги обединява на слоя за доставка на съдържание.
• Работният процес използва WebVTT субтитърни chunk-ове и стандартни streaming формати (HLS и DASH), като субтитърните сегменти се съхраняват и извличат чрез записи с времеви маркери.
• Предоставена е open source имплементация в GitHub, с насоки за внедряване и опции за персонализация.

Ключови индустриални развития

• Паралелизиран live работен процес за субтитри и видео
• Решението е организирано като два едновременни пътя за обработка: път за доставка на видео и път за доставка на субтитри, проектирани да се съберат на слоя за доставка на съдържание, а не вътре в live encoding pipeline-а.
• Видео пътят използва услуги AWS Elemental за live transport, encoding и packaging, включително AWS Elemental MediaConnect, AWS Elemental MediaLive и AWS Elemental MediaPackage, с доставка чрез Amazon CloudFront.
• Прихващане и модификация на WebVTT chunk-ове на edge
• Пътят за доставка на субтитри използва WebVTT (VTT) chunk-ове и прилага edge логика за прихващане и модифициране на тези chunk-ове преди да достигнат до зрителите.
• Lambda@Edge се използва като reverse proxy за вмъкване на време на създаване на chunk (timecode) във VTT chunk-ове, което позволява downstream синхронизация на база времеви метаданни.
• Съхранение на субтитърни сегменти с времеви маркери за синхронизация
• Преведените субтитърни сегменти се съхраняват в Amazon DynamoDB с прецизни времеви маркери, което поддържа real-time извличане и синхронизация спрямо времевата линия на live stream-а.
• Работният процес включва откриване на граници на изречения в транскрибирания текст преди превод, с заявената цел да се превеждат завършени мисли, а не фрагменти дума по дума.
• Разделяне на CloudFront дистрибуцията за медия спрямо обработка на субтитри
• Дизайнът създава две Amazon CloudFront дистрибуции: една, посветена на прихващане/модификация на VTT chunk-ове, и друга за традиционна доставка на медия, като отделя задачите по манипулация на субтитри от стандартната video distribution.

Реални случаи на употреба

• Live събития, изискващи многоезични субтитри
• Решението е насочено към live събития, при които зрителите се нуждаят от точни субтитри на множество езици, като се запазва синхронизацията с говоримия аудио сигнал.
• Превключването на език е предвидено да работи чрез стандартните контроли на video player, в съответствие с обичайните работни потоци за избор на subtitle track.
• Live спорт с бързи речеви модели
• При динамичен коментар работният процес може да използва AWS Elemental MediaConnect buffer delay, за да натрупва по-дълги сегменти за транскрипция, осигурявайки повече контекст за транскрипция и превод.
• Корпоративни, новинарски и развлекателни излъчвания
• Описаната аудитория включва оператори, които излъчват live спорт, корпоративни събития, новини и развлекателно съдържание, което показва приложимост в множество категории live програмиране.

Защо е важно

• Управление на latency чрез паралелна обработка
• Чрез отделяне на обработката на субтитри от основния път за доставка на видео и обединяване на CDN слоя, дизайнът цели да доставя многоезични субтитри без добавяне на latency при video streaming, като същевременно подравнява субтитрите към live stream-а.
• Оперативно ясни примитиви за синхронизация
• Съхраняването на преведени субтитърни сегменти в DynamoDB с прецизни времеви маркери предоставя конкретен механизъм за синхронизация: извличането на субтитри може да се ключира по времеви метаданни, вместо да разчита само на client-side евристики.
• Edge-базирана манипулация на субтитри за WebVTT
• Използването на Lambda@Edge като reverse proxy за прихващане и модифициране на VTT chunk-ове поставя трансформацията на субтитрите близо до зрителите и декуплира пренаписването на subtitle chunk-ове от origin услугите.
• Имплементация за повторна употреба
• Наличието на open source имплементация в GitHub предоставя отправна точка за екипи, които искат да внедрят и персонализират real-time работен процес за многоезично субтитриране, използвайки AWS-managed услуги.

Източници

• https://aws.amazon.com/blogs/media/scale-global-live-reach-with-aws-powered-real-time-webvtt-multilingual-subtitling/