WebRTC ICE-соединение не удалось с ошибкой “Согласие на отправку истекло”

Question

Я работаю над проектом, где мне нужно установить соединение WebRTC между клиентом C# WPF (использующим .NET Core) и сервером Python FastAPI. Цель состоит в том, чтобы обеспечить односторонний видео поток от сервера к клиенту.

Сервер использует aiortc для потоковой передачи синтетического видео, а клиент построен с помощью SIPSorcery для получения потока. Однако после первоначального обмена кандидатами ICE и ответа SDP я постоянно вижу, что соединение завершается с сообщением “Согласие на отправку истекло” со стороны сервера, и клиент немедленно изменяет состояние соединения на неудачное.

Минимальные воспроизводимые примеры

Код клиента:

using Newtonsoft.Json;
using System.Collections.Concurrent;
using System.Net.Http;
using System.Text;
using System.Diagnostics;
using System.Net.WebSockets;
using System.Threading;
using System.Threading.Tasks;
using SIPSorcery.Net;
using SIPSorceryMedia.Encoders;
using SIPSorcery.Media;

namespace Iris.Services
{
    public class IPCameraService
    {
        private ClientWebSocket ws = new ClientWebSocket();  // WebSocket для коммуникации
        private RTCPeerConnection pc;
        private string wsUrl = "ws://your.websocket.url";  // Замените на фактический URL WebSocket
        private ConcurrentDictionary<int, ClientWebSocket> CameraWebsockets = new ConcurrentDictionary<int, ClientWebSocket>();

        public async Task Main(CancellationToken token)
        {
            Debug.WriteLine("Начинаю настройку соединения WebRTC.");
            await StartSocket(token);
            await EstablishConnection(token);
            await SendOfferWithCandidates(token);
            _ = Task.Run(() => ReceiveMessages(token));
            Debug.WriteLine("Установка соединения WebRTC завершена.");
        }

        public async Task StartSocket(CancellationToken token)
        {
            if (ws.State != WebSocketState.Open)
            {
                ws = new ClientWebSocket();
                await ws.ConnectAsync(new Uri(wsUrl), token);
                CameraWebsockets[0] = ws;
                Debug.WriteLine("WebSocket подключен.");
            }
        }

        public async Task EstablishConnection(CancellationToken token)
        {
            Debug.WriteLine("Устанавливаю PeerConnection.");
            pc = new RTCPeerConnection();

            // Лог изменений состояния соединения ICE
            pc.oniceconnectionstatechange += (state) =>
            {
                Debug.WriteLine($"Состояние соединения ICE изменилось на: {state}");
            };
            pc.onconnectionstatechange += (state) =>
            {
                Debug.WriteLine($"Состояние соединения изменилось на {state}");
            };

            // Инициализация фиктивного видеопотока
            var testPatternSource = new VideoTestPatternSource(new VpxVideoEncoder());
            MediaStreamTrack videoTrack = new MediaStreamTrack(testPatternSource.GetVideoSourceFormats(), MediaStreamStatusEnum.SendRecv);
            pc.addTrack(videoTrack);
            Debug.WriteLine("Видеотрек добавлен в PeerConnection.");
        }

        public async Task SendOfferWithCandidates(CancellationToken token)
        {
            Debug.WriteLine("Создаю предложение SDP.");
            var offer = pc.createOffer();
            await pc.setLocalDescription(offer);
            Debug.WriteLine($"Создано предложение SDP:\n{offer.sdp}");

            var offerMessage = new
            {
                sdp = offer.sdp,
                type = "offer"
            };
            await SendMessage(offerMessage, token);
            Debug.WriteLine("Предложение SDP отправлено на сервер.");

            pc.onicecandidate += async (RTCIceCandidate candidate) =>
            {
                if (candidate != null)
                {
                    Debug.WriteLine($"Собран кандидат ICE:\n{candidate}");
                    var candidateMessage = new { command = "Ice_Candidate", candidate };
                    await SendMessage(candidateMessage, token);
                    Debug.WriteLine("Кандидат ICE отправлен на сервер.");
                }
            };
        }

        private async Task SendMessage(object message, CancellationToken token)
        {
            var ws = CameraWebsockets[0];
            var messageJson = JsonConvert.SerializeObject(message);
            var messageBytes = Encoding.UTF8.GetBytes(messageJson);
            await ws.SendAsync(new ArraySegment<byte>(messageBytes), WebSocketMessageType.Text, true, token);
            Debug.WriteLine($"Сообщение отправлено: {messageJson}");
        }

        public async Task ReceiveMessages(CancellationToken token)
        {
            var ws = CameraWebsockets[0];
            var buffer = new ArraySegment<byte>(new byte[8192]);

            while (ws.State == WebSocketState.Open && !token.IsCancellationRequested)
            {
                var result = await ws.ReceiveAsync(buffer, token);
                string response = Encoding.UTF8.GetString(buffer.Array, 0, result.Count);
                var jsonResponse = JsonConvert.DeserializeObject<Dictionary<string, object>>(response);
                Debug.WriteLine($"Получено сообщение от сервера: {response}");

                // Обработка ответа SDP
                if (jsonResponse.ContainsKey("sdp"))
                {
                    var sdpAnswer = jsonResponse["sdp"].ToString();
                    var sdpType = jsonResponse["type"].ToString();
                    Debug.WriteLine($"Получен ответ SDP:\n{sdpAnswer}");
                    var sdp = SDP.ParseSDPDescription(sdpAnswer);
                    pc.SetRemoteDescription(sdpType == "answer" ? SdpType.answer : SdpType.offer, sdp);
                    Debug.WriteLine("Ответ SDP установлен на PeerConnection.");
                }
                // Обработка кандидатов ICE
                else if (jsonResponse.ContainsKey("candidate"))
                {
                    var candidate = jsonResponse["candidate"].ToString();
                    Debug.WriteLine($"Получен кандидат ICE:\n{candidate}");
                    var iceCandidate = new RTCIceCandidateInit { candidate = candidate };
                    pc.addIceCandidate(iceCandidate);
                    Debug.WriteLine("Кандидат ICE добавлен в PeerConnection.");
                }
            }
        }
    }
}

Код сервера:

from fastapi import APIRouter, WebSocket
import json
import asyncio
import logging
from starlette.websockets import WebSocketDisconnect
from aiortc import VideoStreamTrack, RTCPeerConnection, RTCSessionDescription, RTCIceCandidate
from aiortc.mediastreams import VideoFrame
from fractions import Fraction
import time
import numpy as np

logger = logging.getLogger("uvicorn")

class SyntheticVideoTrack(VideoStreamTrack):
    def __init__(self, fps=15, width=1280, height=720, color=(0, 255, 0)):
        super().__init__()
        self.width = width
        self.height = height
        self.fps = fps
        self.color = color  # RGB цвет для фона синтетического кадра
        self.frame_interval = 1.0 / fps
        self.start_time = time.time()  # Отслеживание времени начала для расчета PTS

    async def recv(self):
        """Генерировать синтетические кадры с постоянной частотой кадров."""
        await asyncio.sleep(self.frame_interval)

        # Создать однородный цветной кадр
        frame_data = np.full((self.height, self.width, 3), self.color, dtype=np.uint8)
        video_frame = VideoFrame.from_ndarray(frame_data, format="rgb24")

        # Установить метку времени презентации (PTS) и временной базу
        elapsed_time = time.time() - self.start_time
        video_frame.pts = int(elapsed_time * 90000)  # PTS в 90kHz
        video_frame.time_base = Fraction(1, 90000)

        return video_frame


class VideoProcessor:
    def __init__(self):
        self.pc = None  # Peer соединение

    async def websocket_control(self, websocket: WebSocket):
        logger.info("WebSocket сервер запущен")

        while True:
            try:
                data = await websocket.receive_text()
                message = json.loads(data)
                logger.info(f"Получено сообщение: {message}")

                if message["command"] == "Start_Stream":
                    camera_url = message.get("camera_url")
                    if camera_url:
                        logger.info(f"Запуск WebRTC потока с URL камеры: {camera_url}")
                        await self.start_webrtc_stream(websocket, camera_url)
                    else:
                        logger.error("Не указан URL камеры. Невозможно запустить поток.")
                elif message["command"] == "Ice_Candidate":  # Обработка кандидатов ICE
                    logger.info("Получен кандидат ICE от клиента")
                    if self.pc is not None:  # Убедитесь, что pc инициализирован
                        # Извлечь полный объект кандидата из полученного сообщения
                        candidate_data = message.get("candidate")
                        logger.info(candidate_data)
                        ice_candidate = RTCIceCandidate(
                            foundation=candidate_data.get('foundation'),
                            component=candidate_data.get('component'),
                            priority=candidate_data.get('priority'),
                            ip=candidate_data.get('address'),
                            port=candidate_data.get('port'),
                            type=candidate_data.get('type'),
                            protocol=candidate_data.get('protocol'),
                            sdpMid=candidate_data.get('sdpMid'),
                            sdpMLineIndex=candidate_data.get('sdpMLineIndex')
                        )

                        # Добавить кандидат ICE в Peer соединение
                        await self.pc.addIceCandidate(ice_candidate)
                        logger.info(f"Кандидат ICE добавлен: {ice_candidate}")
                    else:
                        logger.error("Peer соединение не инициализировано; невозможно добавить кандидат ICE.")

            except WebSocketDisconnect as e:
                logger.info(f"WebSocket отключен: {e}")
                break

    async def start_webrtc_stream(self, websocket, camera_url):
        logger.info("Инициализация WebRTC потока")
        
        # Получить предложение от клиента
        offer = await websocket.receive_text()
        logger.info(f"Получено сырое предложение от клиента: {offer}")

        # Разобрать предложение
        offer = json.loads(offer)

        # Продолжить настройку WebRTC
        self.pc = RTCPeerConnection()

        @self.pc.on("icegatheringstatechange")
        async def on_icegatheringstatechange():
            logger.info(f"Состояние сбора ICE: {self.pc.iceGatheringState}")

        @self.pc.on("iceconnectionstatechange")
        async def on_iceconnectionstatechange():
            logger.info(f"Состояние соединения ICE: {self.pc.iceConnectionState}")
            
        # Настроить видеотрек с использованием URL камеры
        player = SyntheticVideoTrack(fps=15, width=1280, height=720, color=(0, 0, 255))  # Синие кадры
        logger.info(f"Добавление видеотрека камеры в Peer соединение: {camera_url}")
        self.pc.addTrack(player)

        # Установить удаленное описание с использованием предложения SDP клиента
        offer_sdp = RTCSessionDescription(sdp=offer["sdp"], type=offer["type"])
        await self.pc.setRemoteDescription(offer_sdp)

        # Создать ответ и установить локальное описание
        answer = await self.pc.createAnswer()
        await self.pc.setLocalDescription(answer)
        logger.info(f"Ответ SDP от сервера:\n{self.pc.localDescription.sdp}")
        
        # Отправить ответ SDP обратно клиенту
        await websocket.send_text(json.dumps({
            "sdp": self.pc.localDescription.sdp,
            "type": self.pc.localDescription.type
        }))
        logger.info("Ответ SDP успешно отправлен клиенту.");

    async def shutdown_webrtc(self):
        if self.pc:
            await self.pc.close()
            self.pc = None
        logger.info("Соединение WebRTC закрыто");

# Настройка маршрутизатора FastAPI
ip_camera_route = APIRouter()
processor = VideoProcessor();

@ip_camera_route.websocket("/ws")
async def websocket_endpoint(websocket: WebSocket):
    await websocket.accept()
    await asyncio.create_task(processor.websocket_control(websocket));

Детали проблемы

Сервер получает предложение SDP и кандидатов ICE от клиента, отвечает предложением SDP и кандидатами ICE.
Клиент обрабатывает ответ SDP и показывает, что состояние соединения ICE изменяется на соединенное.
Вскоре после этого состояние соединения клиента изменяется на закрытое, а затем на неудачное.
На стороне сервера регистрируется “Согласие на отправку истекло” после отображения состояния соединения ICE “завершено”.

Воспроизведенные выводы и журналы

Журналы сервера:

INFO:     Добавление видеотрека камеры в Peer соединение: http://129.125.136.20/axis-cgi/mjpg/video.cgi?camera=1
INFO:     Состояние сбора ICE: сбор
INFO:     Состояние сбора ICE: завершено
INFO:     Ответ SDP от сервера:
v=0
o=- 3938952277 3938952277 IN IP4 0.0.0.0
s=-
t=0 0
a=group:BUNDLE 0
a=msid-semantic:WMS *
m=video 58160 UDP/TLS/RTP/SAVPF 96 100
c=IN IP4 172.18.0.2
a=sendrecv
a=mid:0
a=msid:20030b46-dcd7-402e-91a9-61acc96fc861 0526e15c-fb87-49ec-a372-9d752dbe5f46
a=rtcp:9 IN IP4 0.0.0.0
a=rtcp-mux
a=ssrc:2884284437 cname:f6435a48-f40f-4fbc-8ac2-5833d73158f4
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 goog-remb
a=rtpmap:100 H264/90000
a=rtcp-fb:100 goog-remb
a=fmtp:100 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f
a=candidate:2042d42f166ed704ca002a0751b390c3 1 udp 2130706431 172.18.0.2 58160 typ host
a=candidate:b0d9b1b22e9ac473e83e963403e57c55 1 udp 1694498815 37.228.203.142 27206 typ srflx raddr 172.18.0.2 rport 58160
a=end-of-candidates
a=ice-ufrag:9GzX
a=ice-pwd:6ErYyxnwubAqbQOsEEf8np
a=fingerprint:sha-256 D6:D6:BE:00:51:1E:B4:DB:90:4C:EC:63:BC:00:E0:27:3E:97:1F:A2:61:10:8D:AB:5C:7D:CE:4D:8A:5A:03:79
a=setup:active
INFO:     Ответ SDP отправлен клиенту успешно.
INFO:     Получено сообщение: {'command': 'Ice_Candidate', 'candidate': {'IceServer': None, 'candidate': '3168018052 1 udp 2113937663 192.168.0.82 53352 typ host generation 0', 'sdpMid': None, 'sdpMLineIndex': 0, 'foundation': '3168018052', 'component': 1, 'priority': 2113937663, 'address': '192.168.0.82', 'protocol': 0, 'port': 53352, 'type': 0, 'tcpType': 0, 'relatedAddress': None, 'relatedPort': 0, 'usernameFragment': 'RRVM', 'DestinationEndPoint': None}}
INFO:     Получен кандидат ICE от клиента
INFO:     {'IceServer': None, 'candidate': '3168018052 1 udp 2113937663 192.168.0.82 53352 typ host generation 0', 'sdpMid': None, 'sdpMLineIndex': 0, 'foundation': '3168018052', 'component': 1, 'priority': 2113937663, 'address': '192.168.0.82', 'protocol': 0, 'port': 53352, 'type': 0, 'tcpType': 0, 'relatedAddress': None, 'relatedPort': 0, 'usernameFragment': 'RRVM', 'DestinationEndPoint': None}
INFO:     Кандидат ICE добавлен: RTCIceCandidate(component=1, foundation='3168018052', ip='192.168.0.82', port=53352, priority=2113937663, protocol=0, type=0, relatedAddress=None, relatedPort=None, sdpMid=None, sdpMLineIndex=0, tcpType=None)
INFO:     Connection(3) Проверка CandidatePair(('172.18.0.2', 58160) -> ('192.168.0.82', 53352)) State.FROZEN -> State.WAITING
INFO:     Состояние соединения ICE: проверка
INFO:     Connection(3) Проверка CandidatePair(('172.18.0.2', 58160) -> ('192.168.0.82', 53352)) State.WAITING -> State.IN_PROGRESS
INFO:     Connection(3) Проверка CandidatePair(('172.18.0.2', 58160) -> ('192.168.0.82', 53352)) State.IN_PROGRESS -> State.SUCCEEDED
INFO:     Connection(3) ICE завершено
INFO:     Состояние соединения ICE: завершено
INFO:     Согласие на отправку истекло
INFO:     Состояние соединения ICE: неудачно

Журналы клиента:

Видеотрек добавлен в PeerConnection.
Создаю предложение SDP.
Создано предложение SDP:
v=0
o=- 42541 0 IN IP4 127.0.0.1
s=sipsorcery
t=0 0
a=group:BUNDLE 0
m=video 9 UDP/TLS/RTP/SAVP 96 100
c=IN IP4 0.0.0.0
a=ice-ufrag:RRVM
a=ice-pwd:LJSKIMKDKLTSBQVKWDUMSJFN
a=fingerprint:sha-256 1A:78:0D:CD:C2:A3:9F:C0:75:0D:87:D4:F9:09:07:66:91:85:E9:C5:06:AB:F1:2F:39:78:F1:DD:BD:6D:75:24
a=setup:actpass
a=candidate:3168018052 1 udp 2113937663 192.168.0.82 53352 typ host generation 0
a=ice-options:ice2,trickle
a=mid:0
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 goog-remb
a=rtpmap:100 H264/90000
a=rtcp-fb:100 goog-remb
a=fmtp:100 packetization-mode=1
a=rtcp-mux
a=rtcp:9 IN IP4 0.0.0.0
a=end-of-candidates
a=sendrecv
a=ssrc:449817168 cname:841fc310-157d-4732-9ab4-39f2f6249f20

Сообщение отправлено: {"sdp":"v=0\r\no=- 42541 0 IN IP4 127.0.0.1\r\ns=sipsorcery\r\nt=0 0\r\na=group:BUNDLE 0\r\nm=video 9 UDP/TLS/RTP/SAVP 96 100\r\nc=IN IP4 0.0.0.0\r\na=ice-ufrag:RRVM\r\na=ice-pwd:LJSKIMKDKLTSBQVKWDUMSJFN\r\na=fingerprint:sha-256 1A:78:0D:CD:C2:A3:9F:C0:75:0D:87:D4:F9:09:07:66:91:85:E9:C5:06:AB:F1:2F:39:78:F1:DD:BD:6D:75:24\r\na=setup:actpass\r\na=candidate:3168018052 1 udp 2113937663 192.168.0.82 53352 typ host generation 0\r\na=ice-options:ice2,trickle\r\na=mid:0\r\na=rtpmap:96 VP8/90000\r\na=rtcp-fb:96 goog-remb\r\na=rtpmap:100 H264/90000\r\na=rtcp-fb:100 goog-remb\r\na=fmtp:100 packetization-mode=1\r\na=rtcp-mux\r\na=rtcp:9 IN IP4 0.0.0.0\r\na=end-of-candidates\r\na=sendrecv\r\na=ssrc:449817168 cname:841fc310-157d-4732-9ab4-39f2f6249f20\r\n","type":"offer"}
Предложение SDP отправлено на сервер.
Собран кандидат ICE:
3168018052 1 udp 2113937663 192.168.0.82 53352 typ host generation 0
Сообщение отправлено: {"command":"Ice_Candidate","candidate":{"IceServer":null,"candidate":"3168018052 1 udp 2113937663 192.168.0.82 53352 typ host generation 0","sdpMid":null,"sdpMLineIndex":0,"foundation":"3168018052","component":1,"priority":2113937663,"address":"192.168.0.82","protocol":0,"port":53352,"type":0,"tcpType":0,"relatedAddress":null,"relatedPort":0,"usernameFragment":"RRVM","DestinationEndPoint":null}}
Кандидат ICE отправлен на сервер.
Настройка соединения WebRTC завершена.
Получено сообщение от сервера: {"sdp": "v=0\r\no=- 3938952277 3938952277 IN IP4 0.0.0.0\r\ns=-\r\nt=0 0\r\na=group:BUNDLE 0\r\na=msid-semantic:WMS *\r\nm=video 58160 UDP/TLS/RTP/SAVPF 96 100\r\nc=IN IP4 172.18.0.2\r\na=sendrecv\r\na=mid:0\r\na=msid:20030b46-dcd7-402e-91a9-61acc96fc861 0526e15c-fb87-49ec-a372-9d752dbe5f46\r\na=rtcp:9 IN IP4 0.0.0.0\r\na=rtcp-mux\r\na=ssrc:2884284437 cname:f6435a48-f40f-4fbc-8ac2-5833d73158f4\r\na=rtpmap:96 VP8/90000\r\na=rtcp-fb:96 goog-remb\r\na=rtpmap:100 H264/90000\r\na=rtcp-fb:100 goog-remb\r\na=fmtp:100 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f\r\na=candidate:2042d42f166ed704ca002a0751b390c3 1 udp 2130706431 172.18.0.2 58160 typ host\r\na=candidate:b0d9b1b22e9ac473e83e963403e57c55 1 udp 1694498815 37.228.203.142 27206 typ srflx raddr 172.18.0.2 rport 58160\r\na=end-of-candidates\r\na=ice-ufrag:9GzX\r\na=ice-pwd:6ErYyxnwubAqbQOsEEf8np\r\na=fingerprint:sha-256 D6:D6:BE:00:51:1E:B4:DB:90:4C:EC:63:BC:00:E0:27:3E:97:1F:A2:61:10:8D:AB:5C:7D:CE:4D:8A:5A:03:79\r\na=setup:active\r\n", "type": "answer"}
Получен ответ SDP:
v=0
o=- 3938952277 3938952277 IN IP4 0.0.0.0
s=-
t=0 0
a=group:BUNDLE 0
a=msid-semantic:WMS *
m=video 58160 UDP/TLS/RTP/SAVPF 96 100
c=IN IP4 172.18.0.2
a=sendrecv
a=mid:0
a=msid:20030b46-dcd7-402e-91a9-61acc96fc861 0526e15c-fb87-49ec-a372-9d752dbe5f46
a=rtcp:9 IN IP4 0.0.0.0
a=rtcp-mux
a=ssrc:2884284437 cname:f6435a48-f40f-4fbc-8ac2-5833d73158f4
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 goog-remb
a=rtpmap:100 H264/90000
a=rtcp-fb:100 goog-remb
a=fmtp:100 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f
a=candidate:2042d42f166ed704ca002a0751b390c3 1 udp 2130706431 172.18.0.2 58160 typ host
a=candidate:b0d9b1b22e9ac473e83e963403e57c55 1 udp 1694498815 37.228.203.142 27206 typ srflx raddr 172.18.0.2 rport 58160
a=end-of-candidates
a=ice-ufrag:9GzX
a=ice-pwd:6ErYyxnwubAqbQOsEEf8np
a=fingerprint:sha-256 D6:D6:BE:00:51:1E:B4:DB:90:4C:EC:63:BC:00:E0:27:3E:97:1F:A2:61:10:8D:AB:5C:7D:CE:4D:8A:5A:03:79
a=setup:active

Состояние соединения ICE изменилось на: проверка
Ответ SDP установлен на PeerConnection.
Состояние соединения ICE изменилось на: соединенное
Состояние соединения изменилось на соединяющее
Состояние соединения изменилось на закрытое
Состояние соединения изменилось на неудачное

Обмен кандидатами ICE и SDP, похоже, является успешным. Однако состояние соединения клиента изменяется на неудачное вскоре после переключения на соединенное.
Сервер регистрирует “Согласие на отправку истекло” сразу после сообщения о состоянии соединения ICE: завершено.

Есть ли шаг, который мы пропустили, чтобы поддерживать соединение, или проблема с конфигурацией ICE? Любые советы были бы очень полезны!

WebRTC ICE-соединение не удалось с ошибкой “Согласие на отправку истекло”

Вопрос или проблема

Минимальные воспроизводимые примеры

Код клиента:

Код сервера:

Детали проблемы

Воспроизведенные выводы и журналы

Ответ или решение

Причины возникновения ошибки

Анализ кода

Возможные решения

Заключение

WebRTC ICE-соединение не удалось с ошибкой “Согласие на отправку истекло”

Вопрос или проблема

Минимальные воспроизводимые примеры

Код клиента:

Код сервера:

Детали проблемы

Воспроизведенные выводы и журналы

Ответ или решение

Решение проблемы с WebRTC: ошибка "Consent to send expired"

Причины возникновения ошибки

Анализ кода

Возможные решения

Заключение