アグネアでタイムラプスしてみました。フレーム補間にRIFEを使っています。
— さーよん (@OctopathGallery) September 26, 2023
Timelapse movie of Agnea, in which RIFE is used for the interpolation.#オクトラ2 #OctopathTraveler2 #オクトラ芸術の覇者2023 pic.twitter.com/RhxyBPpHKH
Timelapse movie of Agnea
これはまた従来とは違ったイラストというか動画ですね
ちょっと遊び心というか、Deforumで何がどこまでできるかのFeasibilityを試してみたかったので試作がてら作ってみました。最初の試作は以前ご紹介したExに変身するトレサですが…
変身トレサはドラフト感が強かったですが、それに比べて今回はちゃんと？綺麗に仕上がってますね
今回はフレームごとに一枚ずつ手を加えているのでその分手間がかかっています。トレサはほぼ自動生成そのままで違和感もそのまま出しましたが、アグネアは頭につけている花が右側についたりとか、おさげの動きの連続性が合わなかったりしたので動的につながるように修正しました。とはいってもまだまだ手の動きとかは改善の余地ありですが…
そういう細かい調整は画像生成AIは苦手だと聞きましたが…
すごく苦手ですね…。具体的なキャラに紐づいてない「可愛く見えるキャラ」を出したりするのはいいんですが、この飾りは右じゃなくて左についてないといけないとか、髪の分け目は7:3ではなく6:4だとかの「特定のキャラ」に似せるための細かい指定は難しいです
Regional PrompterのようなExtensionを使えばできると聞きましたが
Regional Prompterは大まかに画面を2分割とか、縦横に分けるとかはいいんですが、特定の箇所、しかも四角形じゃない部分をピンポイントに指定するのは限界があります
プロンプトで細かく指定するとかはできないんですか
そもそもプロンプトに文字数制限があったり、いろいろ入れすぎると細かいものや後方のプロンプトは無視されたりするのでなんでもかんでも指示すれば全部ちゃんと聞いてくれるというわけでもないんです。逆に全部反映させるような設定にすると画質が崩壊したりで使い物にならなくなったり…
けっこう使い勝手が悪いんですね
すごい速さでアップデートが入っているのでこういったところも時間の問題で改善されていくのかと思います
動画ならではの難しさはありましたか
Deforumのカメラ指定をしてもStable Diffusion側が言うことを聞いてくれない場合ですね。例えばカメラをズームアウトするとしていても、ズームアウトされた分だけ大きく手前に再描画するので思い通りにズームアウトされたように見えないという。その結果カクカクその場でスタックしているような動きになったりします
動画でもズームが止まっている部分がありますよね
はい。カメラワークとしてはずっとズームインして、そのあとずっとズームアウトするようにしているので常に距離が動いてるはずなんですが、再描画で人物の大きさが調整されてしまって均一にズームが流れないようになってます。それでも他の試作バージョンに比べれば十分鑑賞に堪えうる状態になったのでこれで公開に踏み切りました
No comments :
Post a Comment