Adobe又逆天!不用机器学习,用13.5M软件把《长安十二时辰》变成水墨动画

大数据文摘出品

作者:曹培信

用过修图软件的同学们应该都知道,利用强大的GAN,已经可以实现一键转换照片风格的功能,比如将你拍的风景照转换成一副印象派的画作。

现在,轻松转换视频风格的软件也诞生了!

Secret Weapons发布了一款简单而又强大的软件EbSynth,由布拉格捷克技术大学和Adobe共同研发。这款只有13.5M的免费工具,轻松几步就可将视频素材转换为各种你想要的风格“动画”。

该软件将一个或多个手动生成的key帧的样式应用的视频的每一帧上,从而完成整个视频的风格迁移。

简单来说,就是从一段视频中选出几幅图,换成你想要的风格,录入程序,整个视频就能全部变成你想要的画风了。

像这样👇

想想看,各种特效制作、或者动画画师如果有了这一技术的加持,可以只挑选其中某个镜头进行特效处理,然后用这个软件瞬间获得大片视频,五毛也能做出酷炫特效!

Secret Weapons目前免费开放下载,文摘菌也亲自试了下这款神奇的软件,挑选了目前超火的视频《长安十二时辰》视频片段,看看能否把它变成更加中国风的水墨画。

先来看看最后的效果,非常不错👇

更有趣的是,Adobe这次的研究没有使用机器学习,到底如何操作?一起看看。

文摘菌实测,看水墨风《长安十二时辰》

第一步:下载、安装软件

软件下载链接:

https://ebsynth.com/

有Windows版本和IOS版本,会根据你的机型自行下载适配的软件。文摘菌用的是Windows系统。下载之后是个压缩包,解压即可。

第二步:准备素材

这个软件的使用需要一段视频,文摘菌决定使用现在大火的电视剧《长安十二时辰》里的一个片段。

视频下载后就要将素材转化为一帧一帧的图,这里文摘菌用的是Premiere来实现这一步,推荐转换成PNG格式。

生成帧图的教程可以查看链接:https://blog.csdn.net/qq_28372745/article/details/80743531

这样就得到了一系列的PNG图片,存放到一个文件夹中。

然后我们要将其中的某几张图改为参照的Key图,这里又要向大家安利一个免费网站——Fotor。

相关链接:

http://goart.fotor.com/

这个网站可以把本地的图片在线修改成你想要的风格,修改为水墨风的图片就是我们的key图啦~

第三步:开始渲染

我们运行ebsynth软件,界面如下:

在Keyframes中选择刚才制作的key图(至少一张),Video中选择刚才制作的一系列PNG图,下面的Stop填写开始图片序号和结束图片序号,Keyframe填写Key图的序号。

点击Run all,就开始渲染啦,渲染结束后就会自动输出一个文件夹Out,里面就是渲染好的所有PNG图,再将这些图用Premiere做成视频就OK了!

生成视频的教程可以查看链接:

https://zhidao.baidu.com/question/1574197317740227060.html

下面是文摘菌得到的结果,效果还不错!

https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_cover&vid=wxv_896112507058847744

为了让大家更清楚地了解Key图的作用,文摘菌在这里使用了两张Key图,可以看到视频中间风格的变化。

并非机器学习,Adobe参与研究

EbSynth是基于布拉格捷克技术大学和Adobe共同的研究,该项目由Secret Weapons创始人Ondřej Jamriška领导。

EbSynth网站显示了该团队最新论文“Stylizing Video by Example”的演示视频。

论文链接:

https://dcgi.fel.cvut.cz/publications/2019/jamriska-tog-ebsynth

视频链接:

https://www.youtube.com/watch?v=0RLtHuu5jV4

与该领域的其他研究不同,它不是基于机器学习,而是基于最近在风格迁移和纹理合成方面的研究,使用的是非参数纹理合成算法。

早在2013年,已经有人提出了关键帧程式化范式,艺术家在其中绘制一个或多个关键帧一个Key图,然后算法将绘制的样式同步到序列的其余部分。

EbSynth与上述方法主要区别在于,它不需要知晓目标场景的底层3D结构。相反,EbSynth通过获得输入视频的原始颜色信息和近似位置信息进行转换,再加上patch-based合成算法,EbSynth在保持艺术意图的同时,视觉效果也相当卓越了。

该算法主要由五个引导模块组成(如上图所示):

  • Color guide:捕捉外观变化,例如:面部表情、细微的布料变形、不同的光照等;
  • Mask guide:帮助算法区分对象的边界来处理遮挡。这个功能是可选的,当在视频中没有严重的遮挡或不需要精确地描绘对象边界可以选择不使用该模块;
  • Positional guide:帮助算法保持关键帧的结构,处理不同特征之间的模糊性相似;
  • Edge guide:突出了对象的边缘和突出特征,防止漏掉细节;
  • Positional guide:保持风格在时间上的一致性,避免与前帧有明显的变化。

尽管已经达到了这样的效果,作者在论文中还是说明了这种算法有一定的局限性,比如人物身上光照的变化可能会对Color guide引起误导,从而出现文摘菌在实测视频中出现的由于更换Key帧引起的结构变化,作者表示这是他们下一步努力的方向。

相关报道:

Image placeholder
carryphp
未设置
  30人点赞

没有讨论,发表一下自己的看法吧

推荐文章
看《长安十二时辰》可以了解哪些算法知识

最近,小吴在追一部古装剧—-《长安十二时辰》。故事讲得是在上元节前夕,长安城混入可疑人员,身陷囹圄的张小敬临危受命,与少年天才李必携手在十二时辰内破除隐患。该剧的一大亮点就在于 时间很紧迫,需要在二十

漫画 |《程序员十二时辰》,居然是这样的!内容过于真实 …

作者:纯洁的微笑漫画:法小四据说程序员的一天是这样渡过….7:00开始新的一天起床缓冲中,已经进行……6%回想昨晚不该又High到2点7:10闹钟响到第6次的时候,终于鼓起勇气起床。其实我也不想那么晚

甜过初恋!浙大博士用200个西瓜130页论文,教你用机器学习科学挑瓜

大数据文摘出品作者:易琬玉刚刚送走了最热七月,转眼就迎来了最热八月。2019年是人类有气象纪录以来最热的几个年份之一,虽然这个夏天还没结束,但气象学家们已经有十足把握做出这个判断。为了应付热,人们想出

从关系型数据库到分布式机器学习,揭秘腾讯大数据十年发展历程

大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今,大数据技术逐渐成熟,涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来,大数据技

5分钟带你了解浪潮商用机器FP5466G2服务器

海量数据时代,传统的存储架构已经难以满足大规模高并发下系统稳定性,存储设备的弹性扩展和异构存储资源整合等诸多挑战。浪潮商用机器正是针对复杂而多样化的应用需求和大数据、人工智能等新兴应用场景,全新推出企

浪潮商用机器FP5466G2服务器评测报告

海量数据时代,传统的存储架构已经难以满足大规模高并发下系统稳定性,存储设备的弹性扩展和异构存储资源整合等诸多挑战。浪潮商用机器正是针对复杂而多样化的应用需求和大数据、人工智能等新兴应用场景,全新推出企

Python 教程-机器学习

Python有着海量的可用于数据分析、统计以及机器学习的库,这使得Python成为很多数据科学家所选择的语言。 下面我们列出了一些被广泛使用的机器学习及其他数据科学应用的Python包。

制定机器学习训练数据策略的6个技巧

人工智能(AI)和机器学习(ML)如今已经十分常见。AI指的是机器模仿人类进行认知的概念,ML是一种用于构建AI的方法。如果AI是指计算机可以根据指令执行一组任务,那么ML就是机器从数据中摄取、解析和

2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

大数据文摘出品来源:thegradient编译:张大笔茹、曹培信、刘俊寰、牛婉扬、Andy2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch

TensorFlow技术主管Peter Wardan:机器学习的未来是小而美

大数据文摘授权转载自OReillyAIPeteWardan任谷歌TensorFlow移动和嵌入式团队的leader,在O’ReillyAIConference2019的Keynote演讲环节,他对机器

做机器学习项目数据不够?这里有5个不错的解决办法

许多开展人工智能项目的公司都具有出色的业务理念,但是当企业AI团队发现自己没有足够多的数据时,就会慢慢变得十分沮丧……不过,这个问题的解决方案还是有的。本文将简要介绍其中一些经笔者实践证明确实有效的办

为什么IoT需要机器学习才能蓬勃发展?

人们一直在热烈讨论大数据和人工智能等技术的机遇和威胁,并对它们的未来表示担忧。与此同时,公司希望通过安装越来越多的传感器,来提高效率降低成本。然而,InData实验室的机器学习顾问表示,如果没有适当的

如何使用TensorFlow机器学习对图像进行分类?

本文将介绍如何使用迁移学习使用TensorFlow机器学习平台对图像进行分类。在机器学习环境中,迁移学习是一种技术,使我们能够重用已经训练的模型并将其用于另一个任务。图像分类是将图像作为输入并为其分配

一份关于机器学习“模型再训练”的终极指南

机器学习模型的训练,通常是通过学习某一组输入特征与输出目标之间的映射来进行的。一般来说,对于映射的学习是通过优化某些成本函数,来使预测的误差最小化。在训练出最佳模型之后,将其正式发布上线,再根据未来生

机器学习在高德用户反馈信息处理中的实践

1.背景作为国内领先的出行大数据公司,高德地图拥有众多的用户和合作厂商,这为高德带来了海量的出行数据,同时通过各个渠道,这些用户也在主动地为我们提供大量的反馈信息,这些信息是需要我们深入挖掘并作用于产

机器学习——单变量线性回归

机器学习之单变量线性回归modelrepresentation模型表示引言 给定房屋面积和房屋价格的数据,然后以房屋面积为横坐标,房屋价格为纵坐标,绘制数据点。通过绘制曲线,获得房屋房价的模型,根据房

我的天!这是史上最烂的项目:苦撑12年,600多万行代码…

编译:欧剃来源:projectfailures.wordpress.com转载自:Java技术栈你见过最烂的项目,撑了多长时间才完蛋?六个月?一年?今天介绍的这个奇葩项目,不但一开始就烂得透透的,还硬

软件工程学习笔记(一):软件工程

1计算机软件1.1软件计算机软件是指计算机系统中的程序以及文档,程序是计算任务处理对象和处理规则的描述.1.2软件特点 一种逻辑实体. 维护工作量大. 维护软件过程中会引入副作用. 1.3软件分类1.

react学习之css样式和动画

推荐课程:前端开发工程师--学习猿地精品课程 事实上react官方并没有关于样式写法的统一说法,能在react中使用样式的方法有很多,下面分别来介绍以下几种:   一、内联样式   style接受一个

十年软件通胀率:从 2009 到 2019 年,软件越来越昂贵

过去十年,软件定价逐渐上升。在我们调查的一百个商业应用程序中,价格平均上涨了62%,其中包括一些比较便宜的应用程序。如果用户现在花钱购买一款应用程序,那么它很可能比十多年前的价格贵98%以上。

iOS 核心动画高级技巧 - 1

1.图层树图层的树状结构 巨妖有图层,洋葱也有图层,你有吗?我们都有图层--史莱克 CoreAnimation其实是一个令人误解的命名。你可能认为它只是用来做动画的,但实际上它是从一个叫做LayerK

CSS Flex –动画教程

如果一张图片胜过千言万语——那么动画呢?Flex无法通过文字或静态图像有效地完全解释。为了巩固你对flex的了解,我制作了这些动画演示。注意overflow:hidden行为类型是默认值,因为flex

css3中过渡和动画的区别是什么?

transition过渡让css变化平滑一些属性:属性描述transtion-property指定过渡的属性transtion-duration指定过渡所需时间transtion-timing-fun

CSS动画笔记

元素内容水平垂直居中padding:10pxoverflow设置水平和垂直方向的溢出显示父元素感知子元素存在:overflow父元素浮动z-index定位元素Z轴距离绝对定位:其他元素为参照物不会占用

CSS动画笔记-前缀

很多CSS4已经可以使用了,需要定义前缀,每个浏览器中的内容是不一样的。厂商前缀。 内核:Geckofirefox-moz-Webkitchrome-webkit-TridentIE-ms-Prest