原标题:视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV
2018

(一)获取数据(人脸)

AI换脸的飓风,正为网络安全带来挑战。

圆栗子 发自 凹非寺

需要准备图片数据:两个不同的人脸,各种表情,数量越多越好,约1万张以上会有比较好的替换效果。

新京报记者近日调查发现,随着AI技术走红以及门槛降低,售卖明星换脸的淫秽视频已经成为一门地下生意。百度贴吧中部分标榜“换脸+女明星姓名”的发帖者,售卖通过AI换脸技术合成的视频,价格可4元一部,也可158元打包购买700部视频。而多位知名女明星频被提及。

图片 1

一般采用的方法是从视频中截取,操作如下:

此外,新京报记者注意到,闲鱼上还有卖家提供“定制换脸”服务。买家提供明星或私人照片,卖家即可将淫秽视频中的主角“移花接木”。定制换脸视频1分钟20元-50元不等。

把一段视频里的面部动作,移植到另一段视频的主角脸上。

首先下载视频(本例用风行播放器下载)。

对此,联合国网络安全与网络犯罪问题高级顾问吴沈括对新京报记者表示,售卖AI换脸淫秽视频,本身已经是传播淫秽物品牟利罪,同时也侵犯了肖像权。而买家购买之后加以传播或者以传播牟利,则可能构成违法。

大家可能已经习惯这样的操作了。

图片 2

售卖

图片 3

剪切视频片段(本例用爱剪辑)。

女星频被“换脸”,35部视频打包69元

就算目标主角并不是人类,大概也算不上精彩。眼睛鼻子嘴,至少零件齐全

因为目的是为了截取人脸部,所以剪切的视频片段很讲究。

记者搜索发现,“换脸”、“Deepfake”以及“FakeApp”贴吧等都存在售卖AI换脸淫秽视频的帖子。发帖者多为无头像、简单英文字母名称的用户,而且发帖用词隐晦,包括“国内外81部,诚信第一”。

那么,怎样的迁移才可走出这个框框,让这个星球上的万物,都有机会领取视频改造的恩泽?

视频分辨率要高清(否则截取的人脸像素太低);片段中目的人脸比较大、突出、最好就是只有他自己一个人镜头特写的视频片段。

记者联系到一位名为阿长的卖家,其随后发来“80部明星合成视频列表”的压缩包,包含多部淫秽视频的列表截图,文件名上标注出多位大众熟知的女明星。

图片 4

图片 5

“低于15部算4元一部,超过15部算3元一部,80部全买只要68元。”阿长表示,视频文件将通过QQ文件发送,支持微信、支付宝、QQ红包等支付方式。记者4元随机购买了一个标题为某知名女明星的视频。视频中女主角脸部全部替换成了该女明星,尽管换脸效果粗糙,但仍能一眼识别出来。

按着你想要的节奏开花:中老年表情包利器

从视频中截取图片(本例用Ffmpeg软件)。

随后,阿长附赠了相关视频的剪辑版本,包含多个淫秽视频的部分内容,其中女主角的脸全被替换成了这一女星。

来自卡耐基梅隆大学的团队,开发了自动变身技巧,不论是花花草草,还是万千气象,都能自如转换。

此时得到有目的人脸的一张张图片。

另一位发帖的卖家林祥则是向记者发送了网盘链接,网盘中除了视频目录、截图、试看视频等文件,还包括一个单独被命名为某知名女明星目录的文件。

图片 6

然后,需要删除不需要的图片(如有非目的人脸的,这就是数据清洗)。

“打包价158元,700部视频,买打包送截图。”林祥提供的压缩文件显示,多位女明星被换脸成主角的频率最高。

云,也变得急切了

图片 7

“有30分钟、40分钟的,也有5分钟的,有像的也有不像的,所以单买价格不可能一样。”林祥称,单个视频根据时长和制作效果定价。

或许是怀着超越大前辈Cycle-GAN(来自朱俊彦团队)
的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

然后写几行代码检测图片中的人脸并截取(利用OpenCV)。

而上述某知名女明星目录文件中包含35部视频,打包价69元,单卖约5-10元一部。时长10分钟以上的视频为每部20-28元。

这位选手,入选了ECCV 2018

图片 8

记者询问阿长,其他售卖相关视频的卖家是否也是他时,他随即否认并拿出更新目录。“他肯定没这些,我这会更新”。他告诉记者,这些视频并非自己制作,均来自国内某网络平台,充值会员可以下载,然后再分销。

Recycle之道,时间知道

检测并截取的人脸(用于输入到神经网络中训练提取特征)。

不过,记者通过检索并未发现这类国内网络平台。

Recycle-GAN,是一只无监督学习的AI。

人脸替换的效果非常依赖于这些截取到的人脸图片的质量:

定制

不成对的二维图像数据,来训练视频重定向(Video Retargeting)
并不容易:

如果截取的人脸包含了过多的干扰部分,那么替换效果就很差。

提供照片或视频可移花接木,“照片越多越像”

一是,如果没有成对数据,那在视频变身的优化上,给的限制就不够,容易产生不良局部极小值
(Bad Local Minima) 而影响生成效果。

一直重复前面的步骤,直到获取足够多的人脸(两个需要互换的人脸)。

除了百度贴吧,二手闲置平台闲鱼同样存在相关售卖信息。记者在闲鱼上搜索“AI换脸”看到,“AI换脸明星最全精品”、“AI换脸,合集,都懂!”等信息,实则在售卖“嫁接”了女明星脸部的淫秽视频。

二是,只依靠二维图像的空间信息,要学习视频的风格就很困难。

图片 9

记者分别与4位卖家进行了沟通,其一般会提供标有女明星姓名的目录截图,并以100部打包的形式售卖,价格从10元-38元不等。卖家子君告诉记者,在他打包售卖的淫秽视频中,知名女性明星被恶意“嫁接”的最多。

图片 10

然后再写几行代码修改人脸图片的宽高为统一大小,如256×256;

此外,记者检索闲鱼发现,部分卖家还提供“定制换脸”服务,买家提供明星或私人照片,卖家可将照片中的脸“嫁接”到包括淫秽视频在内的任何视频之中,制作周期为1-2天,报价1分钟20元-50元不等。

你开花,我就开花

因为输入到神经网络中训练的图片宽高需要一致。

卖家高尔表示,视频素材和照片需要买家提供。“照片要多点,侧面等各个角度,至少需要提供二十张以上。照片越多越像,没照片发视频也行”。

针对这两个问题,CMU团队提出的方法,是利用时间信息(Temporal
Information) 来施加更多的限制,不良局部极小值的现象会减少。

图片 11

另一卖家要求,如果是“换脸”淫秽视频,3分钟起做。该卖家的定制价为一分钟50元、二分钟95元、三分钟135元,也就是说,买家至少要花费135元才能定制换脸淫秽视频。

另外,时间、空间信息的搭配食用,也能让AI更好地学到视频的风格特征

(二)进行模型训练

记者近日在闲鱼平台搜索“AI换脸”显示9个商品售出,包括“换脸软件”、“定制换脸”和“换脸教学”,有部分卖家在商品信息中注明,“本店仅负责服务配置环境和教授基础知识,不帮忙操作,请各位自觉遵守当地法律,否则后果自负”。

图片 12

接下来,开始进行漫长的训练:

记者调查过程中注意到,闲鱼平台已将部分淫秽视频售卖链接删除。

时间信息:进度条撑不住了 (误)

一般需要,一万张图片,训练100万次,才有比较好的替换效果;

此外,记者在淘宝搜索“AI换脸”,20多家店铺有相关售卖信息。记者随机询问7家店铺,其中4家店铺提供定制服务,但有卖家明确表明“不做黄、不办证”。该卖家还向记者默认曾有人要求他制售假证。

重要的是,视频里的时间信息唾手可得,无需寻觅。

我计算了一下时间,普通i7-PC,训练一次约44s,100万次需要运行约1.2万小时,约500天;玩不起(本例训练了1000次)。

然后,看一下Recycle-GAN,是怎样在两段视频的图像之间,建立映射的。

深度学习漫长的训练过程;

图片 13

本例代码是利用深度学习框架keras(backend is TensorFlow)构建CNN;

三位选手对比一下

训练完成之后,得到换脸模型;

Pix2Pix是有成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency)
;RecycleGAN用的是视频流的时间信息

图片 14

翻来覆去的,比CycleGAN的历程还要艰辛。好像终于感受到,Recycle-GAN这个名字是有道理的。

(三)进行视频人脸替换

对抗损失(Adversarial Loss) ,朱俊彦团队的循环损失(Cycle Loss)
反复损失(Recurrent Loss)
,以及CMU团队自己造的“再”循环损失(Recycle Loss)
都用上,才是强大的损失函数

•接下来进行视频人脸替换;

效果怎么样?

•通俗点说就是通过提取面部的特定结构,如眼睛、鼻子、嘴巴的位置,颧骨、下巴、脸颊的形状;

似乎只有和CycleGAN比一场,才知道时间信息好不好用。

•然后按照这些特征点做替换;

第一局,先来看看换脸的效果:

•前面训练的模型,已经有了两个不同的人脸的特征;

图片 15

•就目前了解的信息来说,通过深度学习替换人脸这一技术相对于工业使用的人脸表情提取技术,优势是大大降低了使用门槛,但是远远还做不到以假乱真的完美效果;

RecycleGAN用奥巴马生成的川川,除了嘴皮子,脸的角度也在跟着变化。而中间的CycleGAN,只有嘴的动作比较明显。

接下来,仍然使用爱剪辑工具,从一段视频,如电影中截取用于替换人脸的一个视频片段;

第二局,你见过蒲公英开花的样子么:

截取的视频片段也是需要精心挑选的:需要有利于检测到被替换的人脸。

图片 16

例如,截取的视频中同时出现在镜头中人脸太多、人脸太小等都不利于检测。

当RecycleGAN的蒲公英,学着菊花的动作,变成茂密的团子,CycleGAN还在慢慢地绽放。

图片 17

注意,团队是预先把两种花,从初开到完全凋谢的时间调成一致。

再利用ffmpeg工具,把需要被替换人脸的视频按原帧速截取成每一张图片;

除此之外,再看云卷云舒 (片头也出现过) :

注意:一定要按原帧速截取,否则后面替换人脸后再合成视频会失帧。

图片 18

图片 19

原本是悠然地移动。

接下来,利用神经网络进行人脸替换。

和喷气一般的云,学习了之后,就获得了急躁的节奏。

输入数据:上一步截取的每一帧图片;

图片 20

输出数据:人脸被替换后的每一帧图片;

这样一来,改变天气就不难了。团队说拍电影的成本,可以用这样的方法降下来。

图片 21

代码也快来了

简单点说,替换原理如下:

图片 22

1.从原图片中,检测到人脸(用OpenCV),截取人脸部分;

CMU的科学家们说,大家很快就可以看到代码了。

2.把截取的人脸部分(人脸图片)输入到神经网络进行替换,得到一个新的人脸(图片);

不过在那之前,我们还是有许多资源可以欣赏。

3.再把新人脸(图片)替换原图片中的人脸;

团队在项目主页里,提供了丰富的生成效果:

4.然后,进行图片“消边”、模糊等图片处理;因为原图人脸和新人脸,虽然尺寸一致,

但毕竟不是同一张图片,新图片(人脸)替换到原图片之后,会有明显的“边”,无法

论文请至这里观察:

完全融入到原图中,所以需要处理;这是数字图像处理技术了;

5.如此重复,知道每一张图片的人都替换完成;

最后吐个槽

图片 23

原本是日落:

从上面的人脸替换原理可以知道,换脸效果受到以下几个因素的影响:

图片 24

•1、从原图片截取的人脸(图片)不能有过多的干扰像素。最理想的是截取的仅仅只有面部。

看了黎明之前的视频,就跟着变了日出:

•2、训练的模型效果要非常好。这受到训练数据(图片)的质量、数量、尺寸大小(越大越好,但是会变慢)和训练次数(时间)的影响。

图片 25

•3、要有很好的数字图像处理技术。替换人脸后,新脸(图片)不能很好与原图背景(人物)融合的处理,包括“消边”、模糊、融合等处理。

可是,日落变日出这样的操作,直接倒放不好么?

•4、要有很好的人脸检测技术。因为OpenCV的人脸检测功能准确率并不是100%的,所以存在有某些帧(图片)没有检测到人脸,那么就不会替换人脸。

—返回搜狐,查看更多

(四)合成替换了人脸的视频

责任编辑:

•最后一步:把替换了人脸的每一张图片(每一帧)按原来视频的帧速合成视频(用ffmpeg工具)。

•这就是整个视频人脸替换的操作和原理。

图片 26

图片 27

(五)分析-总结.

•从整个替换人脸过程、原理可以知道,最终的效果极大的受到人脸检测技术、图像处理技术的影响。

•在理想情况下,单从AI替换人脸这个功能来说,有足够多的、高质量的人脸数据,足够多次的训练,基于深度学习的方法替换人脸确实取得了很不错的效果,如下图:

图片 28

图片 29

上图:特朗普基于原表情换成凯奇;下图:反之;

•在整个视频替换人脸应用来说,除了通过AI替换人脸之外,还要受到训练数据收集、人脸检测、后期图像处理的极大影响,所以仍无法做到通用、实用。

•但是,也可以知道,如果基于某个非常必要的目的,因为单纯的AI基于原表情换脸的效果还不错,可以花时间、精力并掌握了图像处理技术的话,理论上也是可以特定为某一段视频换脸的。

(六)写在最后

•突然发现,通用的视频换脸项目没有做成,却做了一个“视频打码器”。。。。。。

•在即将写完本文章的时候,因为本人的不放弃精神,发现了“新大陆”,更新的替换技术,很有可能会有更好的替换效果。接下来马上进行研究,如果更好的效果,再写一篇新文章,先定个题目:视频换脸原理(进阶)。

•最后,虽然吐槽不是很好的事情,但是偶尔轻微的吐槽一下就当是记录心情了:

•随着研究这东西越久,越感觉像蚍蜉撼树,大量高质量的数据、强大的算力、枯燥的算法。。。。。。都不好弄啊。

•三年来,电脑不堪压力第一次蓝屏了,太惨了。

图片 30

•完毕。