在iPhone GPU上解码video帧

我正在寻找最快的方式来解码iPhone上的本地mpeg-4video帧。 我只是感兴趣的像素在每10帧的亮度值。 我不需要在任何地方渲染video。

我试过ffmpeg,AVAssetReader,ImageAssetGenerator,OpenCV和MPMoviePlayer,但它们都太慢了。 我能得到的最快速度是2倍(一分钟内扫描2分钟的video)。 我想要更接近10倍的东西。

假设我上面的尝试没有使用GPU,是否有任何方法来完成我的目标与GPU上运行的东西? OpenGL似乎主要是为渲染输出,但我已经看到它用作传入video的filter。 也许这是一个select?

提前致谢!

如果您愿意使用仅适用于iOS 5的解决scheme,请参阅AVCaputureSession上2011年WWDC会话中的示例应用程序ChromaKey。

该演示从内置摄像头捕获30 FPS的video,并将每帧作为纹理传递给OpenGL。 然后使用OpenGL来处理帧,并将结果写入输出video文件。

该代码使用一些严重的低级魔法,将AVCaptureSession的Core Video Pixel缓冲区绑定到OpenGL,以便在graphics硬件中共享内存。

将AVCaptureSession更改为使用电影文件作为input而不是相机input应该相当简单。

您可能可以设置会话以Y / UV格式而不是RGB格式传送帧,其中Y分量是亮度。 否则,写一个将每个像素的RGB值转换为亮度值的着色器将是非常简单的事情。

你应该可以在所有帧上做所有这些,而不是每10帧。

看起来vImage可能是合适的,假设你可以使用iOS 5.每一个第10帧似乎都是使用像vImage这样的框架的理由。 但是,任何types的实时实时处理几乎肯定会需要OpenGL。

假设应用程序的瓶颈在于将video帧转换为可显示格式(如RGB)的代码,您可能对我共享的代码感兴趣,该代码用于将一个.mp4帧(编码为YV12)转换为RGB QtOpenGL 。 这个应用程序将该帧上传到GPU并激活GLSL片段着色器来执行从YV12到RGB的转换,因此它可以显示在QImage

 static const char *p_s_fragment_shader = "#extension GL_ARB_texture_rectangle : enable\n" "uniform sampler2DRect tex;" "uniform float ImgHeight, chromaHeight_Half, chromaWidth;" "void main()" "{" " vec2 t = gl_TexCoord[0].xy;" // get texcoord from fixed-function pipeline " float CbY = ImgHeight + floor(ty / 4.0);" " float CrY = ImgHeight + chromaHeight_Half + floor(ty / 4.0);" " float CbCrX = floor(tx / 2.0) + chromaWidth * floor(mod(ty, 2.0));" " float Cb = texture2DRect(tex, vec2(CbCrX, CbY)).x - .5;" " float Cr = texture2DRect(tex, vec2(CbCrX, CrY)).x - .5;" " float y = texture2DRect(tex, t).x;" // redundant texture read optimized away by texture cache " float r = y + 1.28033 * Cr;" " float g = y - .21482 * Cb - .38059 * Cr;" " float b = y + 2.12798 * Cb;" " gl_FragColor = vec4(r, g, b, 1.0);" "}"