是否需要测量延迟和口形同步? 现在有一个应用程序!

如果您在某个时候从事任何类型的广播贡献路径或实时网络流工作,则将要同时检查延迟和口型同步。

在这种情况下, 延迟是指音频和视频经过压缩,编码,从发送端到接收端传输以及解码和解压缩后要花多长时间才能显示在屏幕,PC监视器或移动设备上。 有时称为“玻璃到玻璃延迟”,其中所讨论的玻璃是一端的相机镜头,另一端是您正在查看的显示器。

出于很多原因知道这一点很有用,但主要是这样,您可以准确地预测何时有人提示正在直播的节目。 这样一来,您就可以避免在开始实时捐款时出现长时间的停顿。

Lipsync正是您所期望的-当有人在视觉上讲话时,音频与视频同步吗? 他们的嘴唇在正确​​的时间运动吗? 观看口型同步何时结束是非常不受欢迎的,所以有一种简单的方法来检查它很有帮助。

有专门用于测量口型同步的专业广播产品。 它们工作得很好,但非常昂贵(一个链接的费用超过200英镑),因此它们的使用仅限于昂贵的广播设置,并且确保贡献链接结尾的每个人都拥有一个是不切实际的。

但是,请继续阅读,以了解仅使用iOS应用程序,如何以一种粗略而现成的方式(尽管在每秒精度的1/60之内)测量口型同步!

CAVEAT:这些技术比仅仅试图“盯上眼球”要好得多,但是,如果您实际上是为大型广播用途而这样做,那么它们并不能代替适当的专业工具。

有一个应用程序!

所以,这是应用程序:

CompuLabs的原子钟(Gorgy计时)

它的价格为2英镑,由MarkusGömmel开发

因此,首先,它是一个不错的时钟应用程序,可以模拟在世界各地的广播工作室和电视馆中发现的一些标志性时钟-您知道,带有数字和模拟扫描LED显示屏的时钟吗? 没有? 好。 继续…

其次,它使用NTP协议通过Internet同步到网络时间服务器,因此您知道该应用程序的所有正在运行的副本都已精确同步到某种荒谬的准确性水平。

这让我开始思考-如果该应用程序的所有副本都处于同步状态,那么这意味着在视频开始播放时(但在视频帧通过该帧时),文稿链接各端的副本都处于同步状态。链接将被冻结,并且过去的时间会非常短。 这就是我们要衡量的延迟。

最后,这款应用的价格仅为2英镑,其价格足够便宜,以至于每个可能位于捐款链接远端的人都可以默认将其安装在手机或平板电脑上,因此有机会找到有人将其举在相机前更高。

如何使用此应用测量延迟…

该应用程序已经非常适合使用我所谓的“两部iPhone和一个摄像头技术 ”来测量“玻璃到玻璃”延迟。

假定您已经具有类似于以下设置的内容:

  • 偏远地区的专业相机。
  • 一个IP编码器,能够将摄像机的视频和音频转换为数据,并将其流回到基础或云端。
  • 您要测量其延迟的广播路径或IP / Internet连接。
  • 合适的解码器和监视器,可以让您在解码后看到远程图像。

然后,您需要按以下方式部署智能手机(或平板电脑):

  • iPhone 1运行Atomic Clock应用程序,并且必须位于“远端”,并且您要使用的摄像头指向它的实时流。 在本机上,您应打开“显示1/60秒”。 设置中第二个“视觉时钟样式”选项。
  • iPhone 2还运行Atomic Clock应用程序,并位于显示iPhone 1远程图像的电视或PC监视器旁边。再次,您应打开“显示1/60秒”。 设置的“视觉时钟样式”部分中的“选项”。
  • 相机 (当然也可以是智能手机)只有一项工作-拍摄静态照片,其中包括监视器上智能手机1的图像和同一图像中智能手机2的实际屏幕。 您不一定非要这样,因为您可以盯着它看,但如果要精确,最好拍照。

拍摄照片时,它将显示捕获该视频帧的远端时间,以及接收,解码和显示该视频帧的近端时间。 通过从后者减去前者,您可以测量到延迟的1/60秒内。

当然,我跳过了有关世界不同地区不同帧率,可变延迟等的许多详细信息,因此您的确切结果可能会有所不同。 在确定结果之前,请记住这一点。

这是我捕获的一个示例:在这种情况下,我们使用的移动绑定编码器具有10秒的延迟设置(以使其能够恢复任何丢弃的数据包等),并且我们可以清楚地看到,远端恰好是11秒在本地端后面,因此两者之间有11秒的延迟。

现在,进行双向采访的时间很长,只有11秒,但这是我们在进行活动直播时设置的延迟时间的典型代表。

因此,在这种情况下,如果有人尝试在直播开始时提示,则他们必须从提示直播到看到结果之间要有11秒的延迟。

对于这样一个简单的设置,采用一种精确的方法来测量此延迟非常有用。

如何测量口型同步…

为了测量口形同步,您必须从可以保证完全同步的音频和视频信号开始。 Atomic Clock应用程序已经可以每秒播放一次声音,但是声音的选择并没有一个很好的开端,而且我不能保证它与点扫完全同步。

因此,我与Markus取得了联系,并建议他的应用程序已经可以完成我们需要的功能的98%,而这只是我要求的最后2%。

我很高兴地说他对这种新的应用程序非常开放,即使是很利基,他在几周内就在音频波形的开始和点的扫掠之间实现了更精确的关联,并且添加了440KHz的正弦波音频音调,使其突然启动。

再次强调一下,这是一个粗略而现成的方法,可以让您了解情况是否一切正常。 不要依靠它向制造商投诉其产品或测试高端广播设置。

但是,这是我们都听说过的有关智能手机相机的相同论点–不,它不是您可以拥有的最好的相机,但通常它始终是您唯一的相机!

正如我将解释的,这实际上是“一部iPhone和iPad”方法。

  • 第一个iPhone (或iPad)以与测量延迟完全相同的方式进入远程端,但是这次您打开秒蜂鸣声并选择“ 440KHz”选项。 您还必须打开iPhone上的声音,并确保它离相机足够近,以使麦克风拾取蜂鸣声。 提示音不是很大,因此如果有麦克风,您可能想在它旁边放一个麦克风。
  • iPad用于在接收端录制监视器的视频。 之所以是iPad,是因为iOS上的iMovie仅显示iPad版本而不是 iPhone版本的音频波形,这很烦人,但事实如此。 当然,您可以将剪辑记录在iPhone上,然后传输到iPad –没关系。 如果可以的话,您也可以在FCPX或Adobe Premiere或任何不错的NLE中实际应用相同的过程。

如果您使用的是较新的iPad,则需要弹出“设置…照片和相机…录制视频”,然后将其更改为以60fps录制1080p。 这将提供更准确的测量结果。

因此,您可以观看监视器的视频,其中显示了远程iPhone的时钟正在运行,并且声音每秒都在蜂鸣。 确保将与视频监视器一起使用的任何扬声器上的音量调高,并且ipad合理关闭并且可以拾取声音。

然后,您可以将该视频加载到iPad上的iMovie(或任何其他显示音频波形的NLE)中,将剪辑音量增大到最大,然后通过点击下面显示的小波形图标打开波形显示。

然后,您将希望看到波形上每个蜂鸣声的开始,并且应该与视频中的帧对齐,其中秒显示的数字在变化。

这是应有的示例(这是MacOS上的iMovie)

关键帧是点环已完成的帧,秒数正好从旧数字更改为新数字。 这就是音频声的开始与之同步的地方。

在下面的示例中,音频实际上是两个帧(假设我们以每秒25个的速度测量UK帧),或者比视觉落后5/60倍,这是不对的。 您可以看到,在音频蜂鸣声波形开始时,视线已经前进了5个点。

这是另一个在iPad上显示iMovie的示例。 在这种情况下,音频比视频领先5/60秒钟或一两帧(@ 25fps)…

所以你有它。 一款经过精心计划的低成本应用程序,可以使您测量延迟和口型同步达到“足够好”的准确性,以确认是否有需要更多注意解决的问题。

最好的部分是该应用程序非常便宜,您可以让所有工作人员下载该应用程序,以便在实时OB或Web流的远程端始终有可用的副本。

非常感谢Markus采纳我的建议并使之成为适用于我们所有广播类型的超级有用的应用程序。