不用绿幕轻鬆后製!Google人工智慧技术在YouTube上

 

不用绿幕轻鬆后製!Google人工智慧技术在YouTube上

人工智慧运用在 YouTube 除了优化推荐和内容审核,为创作者提供更便利的影片工具也是他们重要的计画,日前 Google 宣布在 YouTube App 推出即时去背功能,利用神经网路影片分割就能即时更换背景。

一般创作者在影片拍摄时常需要租借绿幕摄影棚,后製时再手动进行背景更换,Google 最新的机器学习成果,不用额外的装置就能让人物及背景即时分层,创作者不需要专业设备也无须耗费时间,也能製作出具备个人风格背景的影音内容。

Google 工程师在官方部落格公布详细的技术内容,他们 利用机器学习来完成卷积神经网路的语义分割,设计适用于手机的网路架构和训练程式,在行动装置上需要以轻量级运作速度,至少要 比现有最先进照片分割模型快 10-30 倍,提供每秒 30 帧的推论结果。

目前此卷积神经网路在 iPhone 7 可播放每秒超过 100 个以上画面之速度,在 Pixel 2 上的也有 40+ FPS,精準度高达到 94.8%。

为了让机器学习提供高品质的数据,他们标记了成千上万个图像资料,这些来自图像捕捉前景姿势和背景画面。标记的元素包括的前景人物会出现的元素如头髮、眼镜、脖子、皮肤、嘴唇等,和一般的背景标籤相比达 98%的像素精确度。更多详细的内容已公开在 Google 研究部落格 。

不用绿幕轻鬆后製!Google人工智慧技术在YouTube上

在训练过程他们让每秒的画面更连惯,人像和背景间的交界更平滑,目前还在测试阶段,背景的样式并不多,早晨、黑夜、工作室灯光、霓虹等等场景,就像在其他社群软体即时动态更换滤镜ㄧ样简单的操作,Google 团队表示未来他们将分析更多资料,标记更多的数据,同时也计划将此技术整合到 Google 的 AR 功能上。

上一篇: 下一篇: