YouTube внедрил выразительные субтитры для передачи эмоций и звуковых эффектов

Видеохостинг YouTube объявил о масштабном обновлении возможностей доступности, запустив функцию Expressive Captions для англоязычного контента на всех поддерживаемых устройствах. Это нововведение призвано изменить опыт просмотра для слабослышащих пользователей, предоставляя им гораздо больше контекстной информации, чем традиционные субтитры. Новая система не ограничивается простой транскрипцией диалогов, а визуально передает тон, громкость речи и окружающие звуки.

Вместо стандартного однообразного текста технология использует динамическое форматирование. Громкая или эмоциональная речь теперь отображается жирным шрифтом и заглавными буквами, тогда как шепот передается уменьшенными символами. Фоновые шумы, такие как раскаты грома, лай собаки или шум дождя, сопровождаются соответствующими подписями. Кроме того, система распознает человеческие звуки, несущие эмоциональную нагрузку, включая смех, вздохи или удивленные возгласы, помогая зрителям лучше улавливать настроение сцены без звука.

Работа функции обеспечивается алгоритмами искусственного интеллекта, которые анализируют аудиодорожку для определения изменений громкости и идентификации говорящих. Обработка данных во многих случаях происходит локально на устройстве пользователя. Весь контент на английском языке, загруженный на платформу с начала октября, уже получил поддержку новой технологии, а библиотека старых видео обновляется в фоновом режиме.

В настоящее время выразительные субтитры доступны для английского языка. Компания подтвердила, что поддержка испанского, французского и немецкого языков находится в активной разработке, а начало бета-тестирования для этих регионов запланировано на следующий год.