ついに、Adobe Photoshopに画像生成AI機能が標準で搭載されました。今のところPhotoshopのベータ版に搭載されたという段階ですが、Adobe Fireflyという画像生成AIの一部機能がプラグインなど必要なく使えるようになりました。その機能が「ジェネレーティブ塗りつぶし（Generative Fill⁠）⁠」です。

もともとAdobeはAdobe Senseiと呼ぶAI技術に力を入れていますが、最近話題のMidjourneyやStable Diffusionのような画像生成AIに対抗するものとして、先日Adobe Fireflyをベータ版としてリリースしていました。そして今回、Photoshopベータ版にAdobe Fireflyの機能が搭載されたわけです。

この記事では、クレイ＆フェルト作家はっとりみどりさんの羊毛フェルト作品をもとに、Photoshopベータ版の「ジェネレーティブ塗りつぶし」機能を使って要素の追加、拡張、削除を試してみました。実際にどのような形で使えるものなのか、見ていきましょう。

なお、Photoshopのベータ版はAdobe Creative CloudなどPhotoshopの契約ユーザーであれば、誰でもダウンロードして試すことができます。また、「⁠ジェネレーティブ塗りつぶし」を使うにはインターネットへの接続が必須となっています。

「裏側」の写真は学習データが少ない？ なかなか後ろを向いてくれないテレビ

ハリネズミ兄弟がテレビを見ている画像をAIで加工してみましょう。まず、テレビを薄型テレビに変えてみたいと思います。

選択ツールでテレビのまわりをざっくり選び、コンテキストタスクバーに表示される「ジェネレーティブ塗りつぶし」ボタンを押し、プロンプト（呪文）として生成したいものを言葉で入力します。

Adobe Fireflyはまだ英語にしか対応していないので、翻訳ツールを使いつつ「Large flat-screen TV」と指定して「生成」ボタンを押しました。

なお、コンテキストタスクバーは今回のPhotoshopベータ版で搭載された、次に行う作業にあわせて内容が変わるツールバーです。

見事にテレビが生成されました。まわりとのなじみもバッチリで違和感はありません。しかし、テレビの角度はいい感じですが、これではハリネズミ兄弟は画面を見ることができません。

テレビを後ろ向きにしたくていろんな言葉を入れてみましたが、なかなかうまくいきません。学習データとしている写真に写ったテレビも、前を向いたものが多いことも影響しているのかもしれません。

ただ、生成にかかる時間はほかの画像生成AIツールと比べても速いほうだと思います。1枚の作品を作るのではなく、小さいサイズでひとつの要素を生成しているだけという影響もありそうです。

最終的に、「⁠rear」という単語を入れることで、なんとかテレビの裏側っぽい画像を生成できました。

Adobeの説明によると、「⁠ジェネレーティブ塗りつぶし」は画像の周囲の領域を分析し、適切な影、反射、照明、遠近感を備えた新しいコンテンツを自動的に生成するとのことです。たしかに遠近感などは違和感なく生成されていると思います。

プロンプト不要でいらないものを消せるけど、別な要素が生成されるケースも

画像上の余計なものを消してしまうのは得意です。範囲を選択したあと「ジェネレーティブ塗りつぶし」を選び、プロンプトは空欄のまま生成するだけで、いらないものを削除できます。ここでは、先ほどまでのテレビを削除してみました。

しかしプロンプトなしで選択範囲に「ジェネレーティブ塗りつぶし」した場合、そこにあったものを削除するだけでなく、別なものが生成される場合もあります。椅子の上のハリネズミ兄弟を選んで「ジェネレーティブ塗りつぶし」すると、何かしら別なものが生成されました。ちょっとこわいです。

AIはありがちなそれっぽいものを作るのが得意

続けて、壁に絵を飾るのも得意そうだと予想して試してみました。シンプルなプロンプトでもいい感じに生成してくれました。

やかんの生成でなぜか苦戦する

次に、ストーブの上に乗ったやかんを別なものに変えようとしてみました。しかし、なぜか鉄瓶のようなものばかり生成されます。

プロンプトをただの「kettle」から「Retro Kettle」に変えると、やかんっぽくはなりました。

カラフルという言葉を追加してみたところ、現実の商品ではありえないような、やかんになってしまいました。

なお、画像の一部分を生成した画像で差し替えることは、ほかの画像生成AIでもできます。一般的に「インペインティング（Inpainting⁠）⁠」と呼ばれています。わたしもDALL-EやDreamStudio（Stable Diffusionの開発元が提供するツール）などで試したことがありますが、Photoshopの「ジェネレーティブ塗りつぶし」のほうが使い勝手が良いのはもちろん、クオリティも高いと感じました。

生成する要素のテイストは元画像と合わせてくれる

今度は、クマのキャラクターくまっこの写真をベースに加工していきます。

「Miniature Trees（ミニチュアの木⁠）⁠」というシンプルなプロンプトで、いい感じの木が生成できました。元画像の木を参考にしてるんだと思います。もともとあった木と同様に、すこしボケています。

ここまで説明していませんでしたが、「⁠ジェネレーティブ塗りつぶし」では、1度に3つのバリエーションが生成されます。ミニチュアの木はほかの2つもいい感じのものが生成されていました。

このバリエーションは後から採用するものを選び直せます。同じ選択範囲に同じプロンプトでさらに別バージョンを生成したり、プロンプトを変えたバージョンを生成することも可能です。

なんとなくの思いつきで「baobab tree（バオバブの木⁠）⁠」で生成しました。バオバブっぽさは足りない気がしますが、それより「ミニチュア」と入れなくても元画像の木と同じテイストの作り物っぽい木になっているのに感心しました。

単純なプロンプトでは、テイストが合わない画像が生成されることも

この画像の世界観に合わせた雲を生成しようとしたのですが、単純なプロンプトではうまく生成できませんでした。

プロンプトを「wool felt fluffy clouds（羊毛フェルトのふわふわした雲⁠）⁠」とすると、今度はいい感じの雲が生成できました。

次に、岩を生成することにしました。翻訳ツールに頼らずに、岩は「rock」だろうと思い生成したんですが、想像した岩とは違ったものが生成されました。

翻訳ツールに頼って「crag」という言葉を教えてもらい、これで生成するといい感じの岩ができました。このプロンプトでは、3つのバリエーション全ていい感じです。

靴も履かせられたら面白いよなと試してみると、結構いい感じに生成してくれました。くまっこの足がズボンをはいてるようになってしまっていますが、靴のテイストや角度などはほとんど違和感なく生成できているのに驚きました。

この靴の合成は、たまたま丁度いい角度の靴の写真がない限り、コラージュで行うのは難しい作業なはずです。「⁠ジェネレーティブ塗りつぶし」の可能性を感じる使用例だと思います。

キャンバスサイズを大きくして背景をでっちあげる

キャンバスサイズを大きくして、空白の部分を「ジェネレーティブ塗りつぶし」ででっち上げてもらいましょう。「⁠切り抜き」ツールでキャンバスサイズを大きくして、画像のない部分を選択ツールで選択します。そして「ジェネレーティブ塗りつぶし」を選び、プロンプトは空欄のまま生成ボタンを押します。

2本の木の欠けていた部分もいい感じに生成できました。

自転車をバイクに変えてみよう

別の画像を使ってみます。くまっこが自転車に乗った画像をもとに「ジェネレーティブ塗りつぶし」の実験をしてみましょう。

自転車をバイクに変えてみます。プロンプトは「Cool futuristic bike（かっこいい未来的なバイク⁠）⁠」で生成しました。バイクの角度やテイストはいい感じです。

いくつか生成させてみましたが、ハンドルをうまく握ったものが生成されないのが残念です。

そこで、くまっこの手の部分をもっと囲むように選択範囲を広げてみました。

選択範囲を広げたのがよかったようで、バイクのハンドルを握っているような画像が生成されました。なお、プロンプトは思いつきで「Motorcycle from Roman Holiday（ローマの休日のバイク⁠）⁠」に変えています。

選択範囲をちょっと変えただけですが、ほかの2つのバリエーションもちゃんとハンドルを握っていました。なお、後ろに座っているコリスの顔より下の部分はなにやら変なことになってしまっています。

コリスの顔より下のところを選択し、プロンプト「basket」でカゴを生成させるといい感じになりました。……と、作ったときには思ったんですが、見直してみるとくまっこが座る椅子がないことに違和感がありますね。

背景をAI生成させたけど元画像の影響が強すぎる

今度は、AI画像生成で背景を変更しましょう。これまで「ジェネレーティブ塗りつぶし」でいろいろな要素を追加しましたが、それらはジェネレーティブレイヤーと呼ぶレイヤーとして画像に重なっているので、すべて非表示にしました。

自転車はかなり複雑な形状ですが、今のPhotoshopなら「被写体を選択」機能でかなり精度高く選択できます。そして、背景部分を処理するために選択範囲を反転します。コンテキストタスクバーに次の作業を予測して出現するボタンを2回押すだけでこの作業は完了しました。

そして、「⁠Streets of Rome」というプロンプトで、背景をローマの休日っぽくローマの街並みにと思ったのですが……、全然違った感じのものしか生成されません。

建物や石畳を生成するようにいろいろなプロンプトを試しましたが、元の画像の緑一色の背景の影響が強いようで、とにかく緑多めの背景が生成されてしまいます。

「gray cobblestone pavement（灰色の石畳⁠）⁠」と色を指定しても、意地でも緑色要素を入れてくるAIくん（Fireflyくん？）です。

そもそも元画像の背景が緑一色で立体感がなかったので、うまく立体感、遠近感をもたせた画像を生成してくれなかったんだと推測します。立体感のある背景をいったんコラージュするとか、簡単な絵を描いてベースにするという手もあるのかもしれません。ともかく今回の実験はこの辺にしておきます。

「ジェネレーティブ塗りつぶし」は非破壊で編集できるのが便利

今回Photoshopベータ版に搭載された「ジェネレーティブ塗りつぶし」機能を使って感じたのは、やはり非破壊で編集できるのがとても便利だということです。元画像はそのままで、AI生成の画像は「ジェネレーティブレイヤー」というレイヤーで重なっていきます。いつでもバリエーションを選び直せたり、あとから同じレイヤー上に新たに生成できるのも、PhotoshopにAI画像生成機能が統合したことの大きなメリットになっています。

画像生成AIのPhotoshopプラグインとしてAlpaca、Stablility（Stable Diffusionの開発元が提供）を試したことがありますが、それらよりも断然使いやすいものでした（プラグインではなく標準機能として提供されているので当然ともいえるのですが⁠）⁠。

なお今回、作品の使用許可をいただいた、はっとりみどりさんの羊毛フェルト作品の数々はInstagram（@midorihattori）で見ることができます。そちらもチェックしてみてください！