ijkplayer和ffplay在播放ts流时起播慢的原因分析

• 1.前言
• 2.排查过程
• • 2.1 avformat_find_stream_info函数
  • 2.1 mpegts.c文件分析

1.前言

在优化ijkplayer起播时间的过程中，发现设置probesize和analyzeduration可以减少起播时间，在播放4k ts流时，发现需要将probesize和analyzeduration设置的很大才能找到音视频信息(通过av_dump_format)并播放，并且发现设置的很大的时候播放1080P的时候就变得很慢，发是在avformat_find_stream_info函数中很耗时，probesize和analyzeduration这两个值是用于探测数据里面的音视频流信息，一个做了大小限制一个做了时间限制，只要其中一个超出，则退出avformat_find_stream_info中的一个循环，我就在想，按照ffmpeg的逻辑，找到了音视频信息就会退出，那么probesize和analyzeduration这两个值应该和起播时间没有关系才对，为什么这两个值设置过大会导致起播时间延长呢？

2.排查过程

2.1 avformat_find_stream_info函数

先看一下avformat_find_stream_info函数中最主要的一个循环(精简了一下)：

for (;;) {int analyzed_all_streams;/* check if one codec still needs to be handled */for (i = 0; i < ic->nb_streams; i++) {int fps_analyze_framecount = 20;st = ic->streams[i];char *errmsg = NULL; if (!has_codec_parameters(st, errmsg)) {av_log(ic, AV_LOG_INFO, "stream_index:%d %s\n", errmsg);break;}analyzed_all_streams = 0;if (i == ic->nb_streams) {analyzed_all_streams = 1;/* NOTE: If the format has no header, then we need to read some* packets to get most of the streams, so we cannot stop here. */if (!(ic->ctx_flags & AVFMTCTX_NOHEADER)) {/* If we found the info for all the codecs, we can stop. */ret = count;av_log(ic, AV_LOG_DEBUG, "All info found\n");flush_codecs = 0;break;}}/* We did not get all the codec info, but we read too much data. */if (read_size >= probesize) {ret = count;av_log(ic, AV_LOG_DEBUG,"Probe buffer size limit of %"PRId64" bytes reached\n", probesize);for (i = 0; i < ic->nb_streams; i++)if (!ic->streams[i]->r_frame_rate.num &&ic->streams[i]->info->duration_count <= 1 &&ic->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO &&strcmp(ic->iformat->name, "image2"))av_log(ic, AV_LOG_WARNING,"Stream #%d: not enough frames to estimate rate; ""consider increasing probesize\n", i);break;}/* NOTE: A new stream can be added there if no header in file* (AVFMTCTX_NOHEADER). */ret = read_frame_internal(ic, &pkt1);if (ret == AVERROR(EAGAIN))continue;if (ret < 0) {/* EOF or error*/eof_reached = 1;break;}pkt = &pkt1;st = ic->streams[pkt->stream_index];if (!(st->disposition & AV_DISPOSITION_ATTACHED_PIC))read_size += pkt->size;}if (st->codec_info_nb_frames>1) {int64_t t = 0;int64_t limit;if (st->time_base.den > 0)t = av_rescale_q(st->info->codec_info_duration, st->time_base, AV_TIME_BASE_Q);if (st->avg_frame_rate.num > 0)t = FFMAX(t, av_rescale_q(st->codec_info_nb_frames, av_inv_q(st->avg_frame_rate), AV_TIME_BASE_Q));if (   t == 0&& st->codec_info_nb_frames>30&& st->info->fps_first_dts != AV_NOPTS_VALUE&& st->info->fps_last_dts  != AV_NOPTS_VALUE)t = FFMAX(t, av_rescale_q(st->info->fps_last_dts - st->info->fps_first_dts, st->time_base, AV_TIME_BASE_Q));if (analyzed_all_streams)                                limit = max_analyze_duration;else if (avctx->codec_type == AVMEDIA_TYPE_SUBTITLE) limit = max_subtitle_analyze_duration;else                                                     limit = max_stream_analyze_duration;if (t >= limit) {av_log(ic, AV_LOG_VERBOSE, "max_analyze_duration %"PRId64" reached at %"PRId64" microseconds st:%d\n",limit,t, pkt->stream_index);if (ic->flags & AVFMT_FLAG_NOBUFFER)av_packet_unref(pkt);break;}if (pkt->duration) {if (avctx->codec_type == AVMEDIA_TYPE_SUBTITLE && pkt->pts != AV_NOPTS_VALUE && pkt->pts >= st->start_time) {st->info->codec_info_duration = FFMIN(pkt->pts - st->start_time, st->info->codec_info_duration + pkt->duration);} elsest->info->codec_info_duration += pkt->duration;st->info->codec_info_duration_fields += st->parser && st->need_parsing && avctx->ticks_per_frame ==2 ? st->parser->repeat_pict + 1 : 2;}}/* If still no information, we try to open the codec and to* decompress the frame. We try to avoid that in most cases as* it takes longer and uses more memory. For MPEG-4, we need to* decompress for QuickTime.** If AV_CODEC_CAP_CHANNEL_CONF is set this will force decoding of at* least one frame of codec data, this makes sure the codec initializes* the channel configuration and does not only trust the values from* the container. */try_decode_frame(ic, st, pkt,(options && i < orig_nb_streams) ? &options[i] : NULL);if (ic->flags & AVFMT_FLAG_NOBUFFER)av_packet_unref(pkt);st->codec_info_nb_frames++;count++;}

要跳出最外层的for循环，三个条件满足一个即可：
① i == ic->nb_streams 并且 !(ic->ctx_flags & AVFMTCTX_NOHEADER)
② read_size >= probesize
③ t >= limit
2和3就是上面说的一个大小和一个时间限制，然后查看之前的起播日志，发现都是在2或者3条件满足下跳出循环的，也就是说每次都是大小超出或者时间超出才退出循环的。就感觉很奇怪，为什么每次都要超时才能退出循环呢？查看条件1下有条注释和日志输出：

analyzed_all_streams = 1;
/* NOTE: If the format has no header, then we need to read some* packets to get most of the streams, so we cannot stop here. */
if (!(ic->ctx_flags & AVFMTCTX_NOHEADER)) {/* If we found the info for all the codecs, we can stop. */ret = count;av_log(ic, AV_LOG_DEBUG, "All info found\n");flush_codecs = 0;break;
}

看这个意思就是如果流是没有header的，就会继续读更多的包，然后加日志发现，i == ic->nb_streams这个条件在解码几帧视频后满足，但是ic->ctx_flags这个值一直都为1，导致这里永远不会走到break，看下i == ic->nb_streams这个条件是如何满足的：

for (i = 0; i < ic->nb_streams; i++) {int fps_analyze_framecount = 20;st = ic->streams[i];char *errmsg = NULL; if (!has_codec_parameters(st, errmsg)) {av_log(ic, AV_LOG_INFO, "stream_index:%d %s\n", errmsg);break;
}

上面的日志是我加的，原生ffmpeg没有这个日志，这里主要判断每一路流，有没有相应的解码信息，这个函数定义如下：

static int has_codec_parameters(AVStream *st, const char **errmsg_ptr)
{AVCodecContext *avctx = st->internal->avctx;#define FAIL(errmsg) do {                                         \if (errmsg_ptr)                                           \*errmsg_ptr = errmsg;                                 \return 0;                                                 \} while (0)if (   avctx->codec_id == AV_CODEC_ID_NONE&& avctx->codec_type != AVMEDIA_TYPE_DATA)FAIL("unknown codec");switch (avctx->codec_type) {case AVMEDIA_TYPE_AUDIO:if (!avctx->frame_size && determinable_frame_size(avctx))FAIL("unspecified frame size");if (st->info->found_decoder >= 0 &&avctx->sample_fmt == AV_SAMPLE_FMT_NONE)FAIL("unspecified sample format");if (!avctx->sample_rate)FAIL("unspecified sample rate");if (!avctx->channels)FAIL("unspecified number of channels");if (st->info->found_decoder >= 0 && !st->nb_decoded_frames && avctx->codec_id == AV_CODEC_ID_DTS)FAIL("no decodable DTS frames");break;case AVMEDIA_TYPE_VIDEO:if (!avctx->width)FAIL("unspecified size");if (st->info->found_decoder >= 0 && avctx->pix_fmt == AV_PIX_FMT_NONE)FAIL("unspecified pixel format");if (st->codecpar->codec_id == AV_CODEC_ID_RV30 || st->codecpar->codec_id == AV_CODEC_ID_RV40)if (!st->sample_aspect_ratio.num && !st->codecpar->sample_aspect_ratio.num && !st->codec_info_nb_frames)FAIL("no frame in rv30/40 and no sar");break;case AVMEDIA_TYPE_SUBTITLE:if (avctx->codec_id == AV_CODEC_ID_HDMV_PGS_SUBTITLE && !avctx->width)FAIL("unspecified size");break;case AVMEDIA_TYPE_DATA:if (avctx->codec_id == AV_CODEC_ID_NONE) return 1;}return 1;
}

可以看到该函数就是检查音视频的一些参数，视频检查宽高，像素格式，音频检查帧大小，采样率采样格式等，只要有一项不满足，就返回0，就跳出该for循环，i就不会等于ic->nb_streams，就会继续解码音视频帧直到获取到上面这些参数，i就等于ic->nb_streams了，这里的含义清楚了，只要音视频的以上参数有了就会跳出循环，但是ic->ctx_flags一直为1，所以需要找到为什么ic->ctx_flags一直为1即可。

2.1 mpegts.c文件分析

在该文件中搜索ic->ctx_flags，发现有两个地方对其赋值，一个是mpegts_read_header中将其赋值为1：

if (s->iformat == &ff_mpegts_demuxer) {/* normal demux *//* first do a scan to get all the services */seek_back(s, pb, pos);mpegts_open_section_filter(ts, SDT_PID, sdt_cb, ts, 1);mpegts_open_section_filter(ts, PAT_PID, pat_cb, ts, 1);handle_packets(ts, probesize / ts->raw_packet_size);/* if could not find service, enable auto_guess */ts->auto_guess = 1;av_log(ts->stream, AV_LOG_TRACE, "tuning done\n");s->ctx_flags |= AVFMTCTX_NOHEADER;
}

该函数会在avformat_open_input中被调用(在找到相应的AVInpuFormat后)：

 if (!(s->flags&AVFMT_FLAG_PRIV_OPT) && s->iformat->read_header)if ((ret = s->iformat->read_header(s)) < 0)goto fail;

还有一个是在handle_packet函数中对其赋值：

if (ts->stream->ctx_flags & AVFMTCTX_NOHEADER && ts->scan_all_pmts <= 0) {int i;for (i = 0; i < ts->nb_prg; i++) {if (!ts->prg[i].pmt_found)break;}if (i == ts->nb_prg && ts->nb_prg > 0) {int types = 0;for (i = 0; i < ts->stream->nb_streams; i++) {AVStream *st = ts->stream->streams[i];if (st->codecpar->codec_type >= 0)types |= 1<<st->codecpar->codec_type;}if ((types & (1<<AVMEDIA_TYPE_AUDIO) && types & (1<<AVMEDIA_TYPE_VIDEO)) || pos > 100000) {av_log(ts->stream, AV_LOG_DEBUG, "All programs have pmt, headers found\n");ts->stream->ctx_flags &= ~AVFMTCTX_NOHEADER;}}
}

于是添加打印发现ts->scan_all_pmts为1，永远不会走进来，最终发现在ijkplayer中的read_thread函数中有一段代码(查看原生ffplay中也有该语句):

if (!av_dict_get(ffp->format_opts, "scan_all_pmts", NULL, AV_DICT_MATCH_CASE)) {av_dict_set(&ffp->format_opts, "scan_all_pmts", "1", AV_DICT_DONT_OVERWRITE);scan_all_pmts_set = 1;
}

这里将scan_all_pmts设置为了1，最终在avformat_open_input中设置到了mpegts里面MpegTSContext中的scan_all_pmts 变量中：

/* Allocate private data. */
if (s->iformat->priv_data_size > 0) {if (!(s->priv_data = av_mallocz(s->iformat->priv_data_size))) {ret = AVERROR(ENOMEM);goto fail;}if (s->iformat->priv_class) {*(const AVClass **) s->priv_data = s->iformat->priv_class;av_opt_set_defaults(s->priv_data);if ((ret = av_opt_set_dict(s->priv_data, &tmp)) < 0)goto fail;}
}

上面的av_opt_set_dict会将tmp字典中的"scan_all_pmts"对应字段的值设置到MpegTSContext中去，这是ffmpeg的AVClass结构和功能，很nice。
上面说到了scan_all_pmts这个值为1，导致ic->ctx_flags一直为1，一直没有跳出avformat_find_stream_info函数，导致起播变慢，将其改为0，起播时间果然变快了，但是为什么ijkplayer和ffplay要将其设置为1呢，分析了下mpegts.c，发现如果scan_all_pmts为1，会分析并合并ts流中所有的pmt，但是在直播中，ts会一直传输，并且其中隔段时间就会有pat和pmt，所以一直不会分析完，导致起播变慢。
如果scan_all_pmts为0的话，上面就会检查pat中的pmt是否都收到，并且音视频格式都有的话，就会赋值ic->ctx_flags为0，最终就会退出avformat_find_stream_info中的循环了。
经过以上分析，猜测一下代码作者加入scan_all_pmts变量的想法应该跟以前的dvb那种ts流有关，那个时候ts流中有很多节目表(pmt)，这个时候设置scan_all_pmts为1，就可以找到这个流中的所有节目信息，而现在网络播放中，ts流一般就一个节目，所以需要设置scan_all_pmts为0，找到一个pat后，解析其中的pmt，后面收到该pmt后就退出了。

结论：
将scan_all_pmts设置为0后，在mpegts.c里面的pat_cb回调中，会检查pat中pmt表中的数量，并记录每个pmt对应的pid，在pmt_cb回调中，会设置对应Program中的pmt_found字段，在handle_packet中会检查如果pmt的pmt_found都置1了，并且stream中音视频已经找到，就会将ic->ctx_flags置为1，从而影响到avformat_find_stream_info中的循环。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！