Detecting Scene Changes in Audiovisual Content
文章的标题是“检测视听内容中的场景变化”，作者是 Netflix 的工程师。文章介绍了 Netflix 如何使用机器学习和计算机视觉来自动检测视频中的场景切换，以便提供更好的用户体验和内容分析。文章分为以下几个部分：当我们观看一部电影或一集电视节目时，我们体验到的是在我们面前展开的连贯性叙事，往往没有考虑到使这一切成为可能的基本结构。然而，电影和剧集并不是原子单位，而是由更小的元素组成，如帧、镜头、场景、序列和行为。了解这些元素以及它们之间的关系，对于视频总结和亮点检测、基于内容的视频检索、配音质量评估和视频编辑等任务至关重要。在Netflix，这样的工作流程每天由世界各地的许多团队执行数百次，因此围绕内容理解投资于算法辅助工具可以获得巨大的回报。虽然像帧和镜头边界这样更细化的单位的分割是微不足道的，或者主要依靠基于像素的信息，但更高阶的分割¹需要对内容有更细致的理解，如叙事或情感弧线。此外，一些线索可以从视频以外的其他模式中更好地推断出来，例如，剧本或音频和对话轨道。特别是场景边界检测，是识别场景之间的过渡的任务，其中场景被定义为发生在同一时间和地点的连续镜头序列（通常有一组相对固定的人物），并共享一个共同的动作或主题。在这篇博文中，我们介绍了两种互补的方法来检测视听内容中的场景边界。第一种方法，可以看作是一种弱监督的形式，通过将剧本文本与有时间的文本（闭合字幕、音频描述）对齐，并将时间戳分配给剧本的场景标题（又名sluglines），来利用剧本形式的辅助数据。在第二种方法中，我们表明，一个相对简单的、有监督的顺序模型（双向LSTM或GRU），使用丰富的、预先训练的镜头级嵌入，可以在我们的内部基准上超过目前最先进的基线。剧本是一部电影或节目的蓝图。它们以一种特定的方式被格式化，每个场景都以场景标题开始，表明诸如地点和时间等属性。这种一致的格式化使我们有可能将剧本解析成一种结构化的格式。同时，a）临时做出的改变（导演或演员的决定）或b）在后期制作和编辑中的改变很少反映在剧本中，也就是说，它没有被重写以反映这些改变。为了利用这个有噪音的数据源，我们需要将有时间戳的文本（如闭合字幕和音频描述）与剧本文本（对话和动作²线）对齐，同时考虑到：a）可能导致语义相似但不完全相同的线对的即时变化；b）拍摄后可能出现的更大的变化（重新排序、删除或插入整个场景）。为了解决第一个挑战，我们使用预先训练好的句子级嵌入，例如来自一个为转述识别而优化的嵌入模型，来表示两个来源中的文本。对于第二个挑战，我们使用动态时间扭曲（DTW），这是一种测量可能在时间或速度上有变化的两个序列之间相似性的方法。虽然DTW假设排列的单调性条件³在实践中经常被违反，但它足够强大，可以从局部错位中恢复，而且绝大多数突出的事件（如场景边界）都排列得很好。作为DTW的结果，场景头有时间戳，可以指示视频中可能的场景边界。对齐也可用于例如用剧本信息（如场景级嵌入）增强视听ML模型，或转移分配给视听内容的标签以训练剧本预测模型。上面的对齐方法是启动和运行场景变化任务的好方法，因为它结合了易于使用的预训练嵌入和著名的动态编程技术。然而，它的前提是要有高质量的电影剧本。我们接下来介绍的一个补充方法（事实上，它可以使用上述排列组合作为特征）是在注释的场景变化数据上训练一个序列模型。Netflix的某些工作流程捕获了这些信息，这就是我们的主要数据源；公开发布的数据集也是可用的。从架构的角度来看，这个模型相对简单--一个双向的GRU（biGRU），它在每一步都摄取镜头表征，并预测一个镜头是否处于场景的末端。⁴模型的丰富性来自于这些预训练的、多模态的镜头嵌入，鉴于难以获得标记的场景变化数据以及我们可以预训练各种镜头嵌入模型的相对较大的规模，在我们的环境中是一个可取的设计选择。对于视频嵌入，我们利用内部模型对与文本（上述 &#34;有时间戳的文本&#34;）配对的对齐视频片段进行预训练。对于音频嵌入，我们首先进行音源分离，试图将前景（语音）与背景（音乐、音效、噪音）分开，用wav2vec2分别嵌入每个分离的波形，然后将结果连接起来。我们探讨了早期和晚期的融合方法；在前者（图4a）中，音频和视频嵌入被串联起来并输入到一个单一的biGRU中，而在后者（图4b）中，每种输入模式都用自己的biGRU进行编码，之后在输出层之前将隐藏状态进行串联。我们的结果与最先进的技术相匹配，有时甚至超过了最先进的技术（仅使用视频模式和我们的评估数据进行基准测试）。我们使用F-1分数来评估正标签的输出，同时也放宽了评估范围，考虑 &#34;off-by-n &#34;的F-1，即如果模型预测的场景变化在地面真相的n个镜头之内。由于这些模型被部署在人在环形环境中，这对我们的用例来说是一个更现实的衡量标准。与以前的工作一样，增加音频特征可以提高10-15%的结果。性能变化的一个主要驱动因素是晚期融合与早期融合。晚期融合一直比早期融合好3-7%。直观地说，这个结果是有道理的--镜头之间的时间依赖性可能是特定的模式，应该单独编码。我们已经提出了两种互补的场景边界检测方法，它们利用了各种可用的模式--剧本、音频和视频。从逻辑上讲，接下来的步骤是：a）将这些方法结合起来，在一个统一的模型中使用剧本特征；b）在多个镜头级别的推理任务中泛化输出，例如镜头类型分类和难忘的时刻识别，因为我们假设这一途径对于训练较长形式内容的通用视频理解模型很有用。较长的内容还包含更复杂的叙事结构，我们设想这项工作是一系列项目中的第一个，目的是在我们的多模态机器学习模型中更好地整合叙事理解。