voip – 使用gstreamer和ffmpeg进行H.264解码

2023年10月12日 487次阅读

我有一个voip应用程序我正在使用OPAL voip SIP堆栈.

我正在重写一个名为OpalLocalEndpoint的类,并在我的gstreamer管道中读取/写入编码数据.为了阅读,我从appink中获取rtp加载的数据,并且为了写入,我将加载的数据推送到appsrc.

我从wireshark捕获了SDP文件.

这是App的客户端.

v=0
o=- 1319058426 1 IN IP4 192.168.0.71
s=Opal SIP Session
c=IN IP4 192.168.0.71
t=0 0
m=audio 5086 RTP/AVP 125 0 8 124 101
a=sendrecv
a=rtpmap:125 Speex/16000/1
a=fmtp:125 sr=16000,mode=any
a=rtpmap:0 PCMU/8000/1
a=rtpmap:8 PCMA/8000/1
a=rtpmap:124 Speex/8000/1
a=fmtp:124 sr=8000,mode=any
a=rtpmap:101 telephone-event/8000
a=fmtp:101 0-16,32,36
m=video 5088 RTP/AVP 109 108 34 114
b=AS:4096
b=TIAS:4096000
a=sendrecv
a=rtpmap:109 h264/90000
a=fmtp:109 packetization-mode=1;profile-level-id=42C01E
a=rtpmap:108 h263-1998/90000
a=fmtp:108 D=1;F=1;I=1;J=1;CIF=1;CIF4=1;QCIF=1;CUSTOM=320,240,1;CUSTOM=640,480,1
a=rtpmap:34 h263/90000
a=fmtp:34 F=1;CIF=1;CIF4=1;QCIF=1
a=rtpmap:114 MP4V-ES/90000
a=fmtp:114 profile-level-id=5

这是服务器回复客户端

v=0
o=- 1319058099 1 IN IP4 192.168.0.215
s=HHP Video Codec/1.0
c=IN IP4 192.168.0.215
t=0 0
m=audio 5006 RTP/AVP 125 0 8 124
a=inactive
a=rtpmap:125 Speex/16000/1
a=rtpmap:0 PCMU/8000/1
a=rtpmap:8 PCMA/8000/1
a=rtpmap:124 Speex/8000/1
a=maxptime:20
m=video 5004 RTP/AVP 109
b=AS:2048
b=TIAS:2048000
a=sendrecv
a=rtpmap:109 h264/90000
a=fmtp:109 packetization-mode=1;profile-level-id=42c01e

我用以下数据编码数据：

 v4l2src name=videoSrc ! video/x-raw-yuv, format=(fourcc)I420, width=352, height=288, framerate=(fraction)30/1 ! videobalance name=VideoBalance ! textoverlay name=chanNameFilter ! textoverlay name=osdMessageFilter ! textoverlay name=sessionTimerOverlay ! x264enc byte-stream=true bframes=0 b-adapt=0 tune=0x4 speed-preset=3 bitrate=256 sliced-threads=false profile=0 ! rtph264pay mtu=1412 ! appsink name=videoAppSink sync=false

并尝试解码传入的数据

appsrc is-live=true do-timestamp=false typefind=true name=videoAppSrc ! application/x-rtp, media=video, payload=109, clock-rate=90000, encoding-type=H264, byte-stream=true, access-unit=true ! rtph264depay ! ffdec_h264 !  xvimagesink name=videoOutputSink

然而,虽然编码数据显示在客户端上(它最初没有,我必须添加所有这些属性,直到它最终正确显示),我无法使解码端工作.

它显示了一个灰色的大屏幕,有粉红色,黄色和绿色.有时我会得到更多正确的颜色,大部分时间只是灰色.

如果我使用这个完全相同的管道与VLC交互,它工作正常.我的猜测是我在某个地方搞砸了帽子.任何人都可以就我应该寻找什么提出任何想法吗？

我和我的其他编码器也有同样的麻烦,即theora,h263等……虽然每个都以不同的方式.

最佳答案 结果是VOIP堆栈,否则它是一个优秀的堆栈,要么有错误,要么我不理解它打包和传输RTP数据包的方式.我绕过它并通过gstreamer udpsink和udpsrc发送数据,它工作正常.现在我唯一剩下的问题将被引导到堆栈的开发团队.谢谢你的帮助.

点赞