Мухамадиев А.Ю., Шарков И.А., Коваленко С.А., Барашев М.В.

ОПТИМИЗАЦИЯ НИЗКОЛАТЕНТНОЙ ПОТОКОВОЙ ПЕРЕДАЧИ СТЕРЕОВИДЕО ДУБЛИРУЮЩЕЙ СИСТЕМЫ ВИДЕОКОНТРОЛЯ ДЛЯ ХИРУРГИЧЕСКОГО КОМПЛЕКСА «DA VINCI» НА ОСНОВЕ МУЛЬТИМЕДИЙНОГО ФРЕЙМВОРКА GSTREAMER

Резюме: Хирургический комплекс «da Vinci» предоставляет оперирующему хирургу уникальную систему 3D-визуализации, однако ассистенты и ординаторы ограничены стандартным 2D-обзором, что снижает эффективность командной работы и ограничивает образовательный процесс. Создание дублирующей системы видео-контроля, транслирующей стереоизображение с минимальной задержкой от события до глаза («event-to-glass», «end-to-end», «event-to-eye»), является актуальной задачей для решения этой проблемы. Данное исследование посвящено оптимизации параметров кодирования и потоковой передачи стереовидео по локальной сети. С использованием медиа фреймворка GStreamer на тестовом стенде (Intel i5 12500, Nvidia RTX 3050, Decklink Mini Recorder HD) проведено сравнение программного (x264enc) и аппаратных (nvh264enc, nvv4l2h264enc) кодировщиков H.264. Оценивалось влияние ключевых параметров на сквозную задержку, измеряемую методом «event-to-glass». Результаты показали, что минимальная измеренная задержка при передаче синхронизированного стереопотока составила 103 мс (при использовании x264enc), что находится на границе комфортного восприятия. Установлено, что значительный вклад вносит сама плата захвата (~25 мс), а чистая добавочная задержка на работу конвейера составляет 23–30 мс. Сформулированы технические рекомендации: для достижения низкой латентности необходимо агрессивно подавлять буферизацию и минимизировать число элементов конвейера (например, отказ от MPEG-TS экономит 25–50 мс), использовать как систему визуализации видеопотока решение на основе фреймворка gstreamer. Также аппаратный кодер nvv4l2h264enc рекомендуется как оптимальный компромисс, так как, незначительно уступая в задержке (~10 мс), он кардинально снижает нагрузку на CPU.

Ключевые слова: da Vinci, роботизированная хирургия, стереоскопическое зрение, обучение в хирургии, ассистент хирурга, GStreamer, H.264, низкая задержка, потоковая передача видео.

Mukhamadiev A.Y., Sharkov I.A., Kovalenko S.A., Barashev M.V

OPTIMIZATION OF LOW-LATENCY STEREOSCOPIC VIDEO STREAMING FOR A DUPLICATING VIDEO MONITORING SYSTEM FOR THE “DA VINCI”SURGICAL COMPLEX BASED ON THE GSTREAMER MULTIMEDIA FRAMEWORK

Summary: The “da Vinci” surgical complex provides the operating surgeon with a unique 3D visualization system; however, assistants and residents are limited to a standard 2D view, which reduces teamwork efficiency and hinders the educational process. Creating a duplicating video monitoring system that transmits a stereoscopic image with minimal “event-to-glass” (“end-to-end,” “event-to-eye”) delay is a relevant task to solve this problem. This study is dedicated to optimizing the encoding and streaming parameters for stereoscopic video over a local area network. Using the GStreamer media framework on a testbed (Intel i5 12500, Nvidia RTX 3050, Decklink Mini Recorder HD), a comparison of software (x264enc) and hardware (nvh264enc, nvv4l2h264enc) H.264 encoders was conducted. The influence of key parameters on end-to-end delay, measured by the “event- to-glass” method, was assessed. The results showed that the minimum measured delay for transmitting a synchronized stereo stream was 103 ms (when using x264enc), which is on the border of comfortable perception. It was established that the capture card itself makes a significant contribution (~25 ms), and the net added delay from the pipeline operation is 23–30 ms. Technical recommendations were formulated: to achieve low latency, it is necessary to aggressively suppress buffering and minimize the number of pipeline elements (e.g., avoiding MPEG-TS saves 25–50 ms), and to use a GStreamer framework-based solution for visualizing the video stream. The nvv4l2h264enc hardware encoder is also recommended as the optimal compromise, as it, while being slightly slower in terms of delay (~10 ms), drastically reduces the CPU load.

Keywords: da Vinci, robotic surgery, stereoscopic vision, training in surgery, surgeon’s assistant, GStreamer, H.264, low latency, video streaming.

DOI: 10.34219/2306-3645-2025-15-4-15-26