ffmpeg在iOS的使用 - iFrameExtractor源码解析

iFrameExtractor地址: https://github.com/lajos/iFrameExtractor

ffmpeg的简介

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

"FFmpeg"这个单词中的"FF"指的是"Fast Forward"。

ffmpeg支持的格式

• ASF

• AVI

• BFI

• FLV

• GXF, General eXchange Format, SMPTE 360M

• IFF

• RL2

• ISO base media file format（包括QuickTime, 3GP和MP4）

• Matroska（包括WebM）

• Maxis XA

• MPEG program stream

• MPEG transport stream（including AVCHD）

• MXF, Material eXchange Format, SMPTE 377M

• MSN Webcam stream

• Ogg

• OMA

• TXD

• WTV

ffmpeg支持的协议

• IETF标准：TCP, UDP, Gopher, HTTP, RTP, RTSP和SDP

• 苹果公司的相关标准：HTTP Live Streaming

• RealMedia的相关标准：RealMedia RTSP/RDT

• Adobe的相关标准：RTMP, RTMPT（由librtmp实现），RTMPE（由librtmp实现），RTMPTE（由librtmp）和RTMPS（由librtmp实现）

• 微软的相关标准：MMS在TCP上和MMS在HTTP上

iFrameExtractor的使用

初始化

self.video = [[VideoFrameExtractor alloc] initWithVideo:[Utilities bundlePath:@"sophie.mov"]];     video.outputWidth = 426;     video.outputHeight = 320;

播放

 [video seekTime:0.0];  [NSTimer scheduledTimerWithTimeInterval:1.0/30           target:self            selector:@selector(displayNextFrame:)            userInfo:nil          repeats:YES]; -(void)displayNextFrame:(NSTimer *)timer {  if (![video stepFrame]) {   return;  }  imageView.image = video.currentImage; } 

VideoFrameExtractor类解析

initWithVideo:(NSString *)moviePath方法

VideoFrameExtractor的初始化，主要是配置三个全局的结构体变量。

AVFormatContext类型的pFormatCtx，AVFormatContext主要存储视音频封装格式中包含的信息；AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。

AVCodecContext类型的pCodecCtx ，每个AVStream存储一个视频/音频流的相关数据；每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

AVFrame类型的pFrame，视频的话，每个结构一般是存一帧，音频可能有好几帧。解码前数据是AVPacket，解码后数据是AVFrame。

FMPEG中结构体很多。最关键的结构体他们之间的对应关系如下所示：

图片来自: FFMPEG中最关键的结构体之间的关系

下面就是初始化的代码

-(id)initWithVideo:(NSString *)moviePath {  if (!(self=[super init])) return nil;  AVCodec   *pCodec;  // Register all formats and codecs  avcodec_register_all();  av_register_all();  // Open video file  if(avformat_open_input(&pFormatCtx, [moviePath cStringUsingEncoding:NSASCIIStringEncoding], NULL, NULL) != 0) {   av_log(NULL, AV_LOG_ERROR, "Couldn't open file/n");   goto initError;  }  // Retrieve stream information  if(avformat_find_stream_info(pFormatCtx,NULL) < 0) {   av_log(NULL, AV_LOG_ERROR, "Couldn't find stream information/n");   goto initError;  }  // Find the first video stream  if ((videoStream =  av_find_best_stream(pFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, &pCodec, 0)) < 0) {   av_log(NULL, AV_LOG_ERROR, "Cannot find a video stream in the input file/n");   goto initError;  }  // Get a pointer to the codec context for the video stream  pCodecCtx = pFormatCtx->streams[videoStream]->codec;  // Find the decoder for the video stream  pCodec = avcodec_find_decoder(pCodecCtx->codec_id);  if(pCodec == NULL) {   av_log(NULL, AV_LOG_ERROR, "Unsupported codec!/n");   goto initError;  }  // Open codec  if(avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {   av_log(NULL, AV_LOG_ERROR, "Cannot open video decoder/n");   goto initError;  }  // Allocate video frame  pFrame = avcodec_alloc_frame();  outputWidth = pCodecCtx->width;  self.outputHeight = pCodecCtx->height;  return self; initError:  [self release];  return nil; } 

sourceWidth和sourceHeight方法

获取屏幕的宽和高

-(int)sourceWidth {     return pCodecCtx->width; } -(int)sourceHeight {     return pCodecCtx->height; }

setupScaler方法

设置视频播放视图的尺寸

-(void)setupScaler {  // Release old picture and scaler  avpicture_free(&picture);  sws_freeContext(img_convert_ctx);     // Allocate RGB picture  avpicture_alloc(&picture, PIX_FMT_RGB24, outputWidth, outputHeight);  // Setup scaler  static int sws_flags =  SWS_FAST_BILINEAR;  img_convert_ctx = sws_getContext(pCodecCtx->width,            pCodecCtx->height,           pCodecCtx->pix_fmt,           outputWidth,            outputHeight,           PIX_FMT_RGB24,           sws_flags, NULL, NULL, NULL); } 

duration方法

获取音视频文件的总时间

-(double)duration {     return (double)pFormatCtx->duration / AV_TIME_BASE; }

currentTime方法

显示音视频当前播放的时间

-(double)currentTime {     AVRational timeBase = pFormatCtx->streams[videoStream]->time_base;     return packet.pts * (double)timeBase.num / timeBase.den; }

seekTime:(double)seconds方法

直接跳到音视频的第seconds秒进行播放，默认从第0.0秒开始

-(void)seekTime:(double)seconds {     AVRational timeBase = pFormatCtx->streams[videoStream]->time_base;     int64_t targetFrame = (int64_t)((double)timeBase.den / timeBase.num * seconds);     avformat_seek_file(pFormatCtx, videoStream, targetFrame, targetFrame, targetFrame, AVSEEK_FLAG_FRAME);     avcodec_flush_buffers(pCodecCtx); }

stepFrame方法

解码视频得到帧

-(BOOL)stepFrame {  // AVPacket packet;  int frameFinished=0;  while(!frameFinished && av_read_frame(pFormatCtx, &packet)>=0) {   // Is this a packet from the video stream?   if(packet.stream_index==videoStream) {    // Decode video frame    avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);   }  }  return frameFinished!=0; } 

currentImage方法

获取当前的UIImage对象，以呈现当前播放的画面

-(UIImage *)currentImage {     if (!pFrame->data[0]) return nil;     [self convertFrameToRGB];     return [self imageFromAVPicture:picture width:outputWidth height:outputHeight]; }

convertFrameToRGB

转换音视频帧到RGB

-(void)convertFrameToRGB {       sws_scale (img_convert_ctx, pFrame->data, pFrame->linesize,                0, pCodecCtx->height,                picture.data, picture.linesize);  }

(UIImage *)imageFromAVPicture:(AVPicture)pict width:(int)width height:(int)height方法

把AVPicture转换成UIImage把音视频画面显示出来

-(UIImage *)imageFromAVPicture:(AVPicture)pict width:(int)width height:(int)height {     CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;     CFDataRef data = CFDataCreateWithBytesNoCopy(kCFAllocatorDefault, pict.data[0], pict.linesize[0]*height,kCFAllocatorNull);     CGDataProviderRef provider = CGDataProviderCreateWithCFData(data);     CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();     CGImageRef cgImage = CGImageCreate(width,       height,       8,       24,       pict.linesize[0],       colorSpace,       bitmapInfo,       provider,       NULL,       NO,       kCGRenderingIntentDefault);     CGColorSpaceRelease(colorSpace);     UIImage *image = [UIImage imageWithCGImage:cgImage];     CGImageRelease(cgImage);     CGDataProviderRelease(provider);     CFRelease(data);     return image; } 

Reference

• ElevenPlayer : 这是我用ffmpeg写的iOS万能播放器。

• iOS配置FFmpeg框架

• FFmpeg-wikipedia

• Vitamio测试网络视频地址

• FFMPEG结构体分析-系列文章 :包括AVFrame、AVFormatContext、AVCodecContext、AVIOContext、AVCodec、AVStream、AVPacket

• FFmpeg开发和使用有关的文章的汇总

• ffmpeg 官网

• FFmpeg GitHub source code

• 作者 ： coderyi