NVIDIA利用人工智能将标准视频转换为高清慢镜视频
云栖网:NVIDIA(NASDAQ:NVDA)的研究人员日前研发出一个基于深度学习的系统,能够将每秒30帧的视频转换为高清慢镜视频,其效果优于其它同类方法当前能够实现的最佳效果。
研究人员在其研究论文中写道,“生活中有许多难忘时刻单凭肉眼很难看清,这时你可能想要用慢镜头记录下来,例如婴儿第一次蹒跚学步、高难度的滑板技巧、爱犬成功接球等。”“虽然可以用手机拍摄每秒240帧视频,但用手机以高帧率完成所有拍摄的做法也并不实际,因为这需要很大的内存空间,而且功耗很大。”
而基于这项新的研发成果,用户则可以在拍摄视频后制作慢镜视频。
研究团队利用NVIDIATeslaV100GPU和cuDNN加速的PyTorch深度学习框架,基于1.1万多个日常和体育活动视频,以每秒240帧的速率对系统进行了训练。训练完成后,卷积神经网络便能对更多的视频帧进行预测。
团队采用了另一套数据集来验证系统的精确度。结果表明系统能够使以较低帧率拍摄的视频看起来更加流畅且清晰。
研究人员表示:“NVIDIA采用的方法能够生成多个时空连贯的中间帧。我们的多帧法始终优于当前最佳的单帧法。”
为展示研究成果,研究团队从著名的在线科技系列视频《TheSlowMoGuys》中截取了多个片段,并进一步放缓了视频速度。以每秒30帧的速率拍摄,之后转换为每秒240帧的视频。
欲了解视频显示效果,请前往以下地址观看
https://v.qq.com/x/page/p06946gx1kr.html
这种方法可用于记录日常生活中弥足珍贵的时刻,然后将其速度放缓,就像电影慢镜头场景一样,起到增添悬念、突出重点、更加引人入胜的效果。
HuaizuJiang、DeqingSun、VarunJampani、Ming-HsuanYang、ErikLearned-Mille和JanKautz等研究人员将于6月21日(星期四)下午2:50–4:30在犹他州盐湖城举办的年度计算机视觉与模式识别(CVPR)大会上展示其研究成果。