Починить 200 проблемных источников за неделю: кейс «КаменскТелекома»
Ошибки во входящих видеопотоках — головная боль всех ТВ-провайдеров и дистрибьюторов контента. По данным телеметрии Flussonic мы видим, что примерно треть источников страдает от сетевых сбоев и проблем, возникающих на транспортном уровне.
Это значит, что на каждом третьем канале зрители замечают помехи, задержки сигнала или рассинхронизацию звука и видео. Когда ошибок становится слишком много, абоненты начинают звонить в поддержку и требовать срочно разобраться. Провайдеру приходится связываться с поставщиками, чтобы понять, чья это вина: сети, источника или собственного оборудования. И только после этого — ждать, пока ошибку исправят.
Чем больше у провайдера источников, тем выше риск столкнуться с подобными проблемами. Чтобы хоть какое-то время поспать спокойно, нужно найти причину ошибок.
С такой задачей к нам обратился «КаменскТелеком» — оператор ТВ, интернета и видеонаблюдения в Каменске-Уральском. Благодаря новому решению Flussonic за одну неделю они устранили 99% ошибок.
Ниже расскажем подробнее, как помогли найти причины проблем.
Обнаружили ошибки в каждом втором источнике
«КаменскТелеком» наблюдал регулярные сбои в трансляции ТВ и камер видеонаблюдения. Через серверы Flussonic провайдер принимал несколько сотен входящих потоков. Почти в половине из них видео «рассыпалось», а звук и аудио не синхронизировались по времени.
В лог-файлах Media Server оператор видел многочисленные записи об ошибках, но это не помогало разобраться в причинах. Сами по себе логи фиксируют события, но не показывают системную картину: они предназначены только для технической поддержки и оценки качества работы сервера.
Чтобы понять, почему во входящих потоках возникали ошибки, необходимо было использовать анализатор качества входящих потоков с отслеживанием показаний в ретроспективе.
Создали отчет по параметрам TR 101 290
Исследовав логи, техподдержка Flussonic предложила оценить входящие потоки по параметрам TR 101 290. Создали метрики для отслеживания ошибок по ключевым показателям: транспортные ошибки, ошибки payload, проблемы с таймингами и десинхронизацией. А после представили клиенту полную картину происходящего в формате графиков и хит-мапов.
Пример отчета с ошибками
Обнаружили три основных вида проблем:
- Сетевые ошибки: на части источников каждые 30 минут происходил резкий рост потерь пакетов, что указывало на недостаточную пропускную способность сети.
- Ошибки в источниках: поставщики присылали потоки с некорректными таймстемпами (time stamps) или пометкой, что поток скремблированный, хотя по факту он не был таким.
- Склеенные данные: видео и аудио не совпадали по времени, так как шли из разных источников. Иногда аудио отсутствовало.
С нескольких сотен до 2 проблемных источников за неделю
Отчет позволил «КаменскТелекому» сразу взяться за работу и исправить ситуацию.
RTSP-потоки с камер видеонаблюдения сигнализировали о многочисленных транспортных ошибках. Камеры были заведены в Media Server через стороннюю платформу видеонаблюдения. Инженеры быстро поняли, что проблема именно в ней: после перезагрузки платформы ошибки пропали.
Ошибки внутри потоков встречались чаще всего в ТВ-каналах, которые «КаменскТелеком» получал от одного из дистрибьюторов. Чтобы решить вопрос, оператор показал поставщику отчет с описанием ошибок. Остальное партнер сделал на своей стороне: в течение недели проблемы были исправлены.
Таким образом, спустя неделю количество ошибок снизилось до минимума. Если раньше о проблемах сигнализировала половина источников, то после исправлений остались лишь два канала с детектированными ошибками.
Сделали мониторинг понятным каждому
Благодаря визуализации отчет позволяет оценить картину в целом, а также определить проблемы в конкретных потоках. Это экономит время на поиск причин ошибок и, что самое главное, поиск ответственных за их исправление.
Когда на руках конкретный перечень проблем, не получится списать все на «плохой интернет» или «сбой оборудования». Отчет даёт однозначную информацию о том, где и почему возникла ошибка. В результате поставщики контента, операторы и инженеры работают с фактами, а не догадками.
Перечислим только несколько частых причин ошибок в потоках из опыта техподдержки Flussonic:
- Битые ТВ-сигналы от партнера. Часто источник не замечает, что шлет потоки с ошибками внутри. При этом не все поставщики контента предлагают резервирование канала, и при серьезных инцидентах переключиться на другой источник невозможно.
- Плохо работающие придомовые камеры и низкое качество оборудования для видеонаблюдения в целом. Часто у провайдеров нет отдельного дежурного по камерам, и они не могут быстро заметить битую картинку.
- Сетевые ошибки. Важно видеть как пиковые перегрузки сети, так и отмечать сезонные колебания, например, вечером в пятницу.
Если хотите узнать, какие ошибки прямо сейчас присутствуют в ваших источниках, свяжитесь с менеджером Flussonic.
Наши эксперты расскажут, как получить подробный отчет, начать анализ и быстро перейти к решению проблем. Это не только сэкономит время и ресурсы, но и повысит качество обслуживания для ваших абонентов и партнеров.