前回の記事では「FACESWITCH（フェイススイッチ）」がどのようなサービスかの説明と使い方を紹介しました。

この記事ではさまざまな顔写真で動画の生成を行い、顔の差し替えの精度などを検証していきたいと思います。

※当記事はNANYOテラエネルギー株式会社さまよりデモアカウントの提供を受けていますが、機能面での間違った記載などがなければ自由に書いてよしとのことなので、ありのままの結果を書いています。

動画生成にかかる時間

同じ動画を使用して８回の生成を行ったところ、平均して元動画の1.35倍の時間がかかりました。
AIによる動画生成としてはかなり高速だと思います。
極端に短い時間で生成が完了することがありましたが、連続した生成の一部で元動画の読み込みが省略された可能性があります。

動画に反映される顔写真の要素

さまざまな顔写真をもとに生成を行い、元動画との差異を比較しています。
顔写真はAIで生成したものを使用しています。

髪質・髪色・肌の色・唇の色・瞳の色

使用した顔写真

生成された動画

瞳の色は確認しづらいですが、若干緑がかった色になっているのが確認できます。

化粧

使用した顔写真

生成された動画

顔写真の紫のアイシャドウ・口紅は反映されていません。
唇の色が薄い場合は反映されることもあるので、紫という色が問題の可能性はあります。

そばかす・ほくろ・傷

使用した顔写真

生成された動画

そばかす・ほくろ・傷の全てがきれいに消えているのが確認できます。

メガネ・アクセサリ

使用した顔写真

生成された動画

メガネ・イヤリングともに反映されていません。
メガネはNGな顔写真の要素として挙げられていますが、動画の生成ができないわけではなくメガネなしの顔で生成されるようです。
逆にメガネをかけた顔写真しかないけれど、メガネをはずした顔が見たいという場合には使えそうです。

マスク類

使用した顔写真

生成された動画

顔を大きく覆う要素は取り除かれ、隠れている部分は補完生成されます。
場合によってはうまく補完されず、崩れた状態になるようです。

イラストからの動画生成

公式のNG例として実写でない・アニメの絵などが記載されていますが、実際にやってみたらどうなるのかを試してみました。

動画の生成が可能なケース

使用した顔写真

生成された動画

イラストの通りではあるのですが、極端に目が大きく生成されています。
元動画で目を伏せたシーンであっても、生成された動画ではがっつり開いたままだったのでかなり違和感がありました。

動画の生成ができないケース

使用した顔写真

ここまでデフォルメされていると、顔写真として登録ができませんでした。
顔写真の登録の際に画像を解析し、動画の生成が可能と判断される場合のみ登録が可能なようです。

まとめ