Adobe、Premiere Proの生成AI機能を先行公開。SoraやRunway、PikaのAIモデルも利用可能に。

Adobe Premiere Proが2024年に予定している生成AIを活用した新機能が、先行公開されました。他社が動画の生成AIで多くのサービス・機能リリースを行う中、ついにクリエイティブツールの本命Adobe社の発表です。
発表の概要ですが、この生成AI新機能により、ビデオおよびオーディオ編集ワークフローを強化、ユーザーがシーン内のオブジェクトの追加や削除を可能に、また映像クリップの拡張を簡単に行えるようにするとのことです。
また、特に目をひいたのが、Adobe Fireflyのビデオモデルや、OpenAI、Pika Labs、RunwayといったサードパーティのAIモデルが利用可能という内容です。
具体的なAIモデルの使い分けの部分はサービスリリースを待たないといけませんが、それぞれの動画生成モデルと契約せざるを得ない現在のユーザーの状況を解決する動きになるかもしれません。以下で各機能について見ていきます。

Premiere Proに今後実装されるAI新機能の紹介動画

Adobe Premiere Proの生成AI新機能とは？

公開された動画内では、大きく３つの機能

「Generative Extend」(生成拡張)
「Object Addition & Remova
「Text to Video」（テキストから動画生成）l」(オブジェクトの追加と削除)

が紹介されています。以下で１つずつ見ていきます。

Premiere Proの生成AI でできること１「Generative Extend」(生成拡張)

すでにある映像を元に新たなフレームを生成して尺を伸ばす機能。動画編集の都合で「あと少しだけ長さが欲しい」時があると思いますが、そのようなニーズに応える機能になります。

Photoshopユーザーには、画像の生成拡張がイメージとしては近い感じですね。

以下でイメージを見ていきましょう。

※以下の画面キャプチャーはAdobe公開の動画内容からの引用です

生成拡張：つなげたいシーンを選んで

生成拡張していく

生成拡張：拡張箇所の動画が生成される

生成拡張：拡張された動画映像

Premiere Proの生成AI でできること２「Object Addition & Removal」(オブジェクトの追加と削除)

動画内に映っている不要な物体（オブジェクト）削除したり、また背景の一部を選択指定して、変更したりができるようになるようです。
公開映像内では、ケース内のダイヤモンドを増やしたり、不要な背景を削除している映像が公開されています。
また、役者の衣装の一部をプロンプトで変更することもできるようになりそうです。

オブジェクトの削除：オブジェクト選択で、削除したいオブジェクトを選択

オブジェクトの削除：映像内の不要なサインボードを削除

オブジェクトの削除：映像内の不要な物体を削除

オブジェクトの追加変更：変更したい箇所をペンツールで選択し、変更指示をプロンプトで入力（画像例では「ベルベット生地上のダイヤモンドの山」に変更指示）

オブジェクトの追加変更：動画内のオブジェクトが、生成指示した物体に変更

Premiere Proの生成AI でできること３「Text to Video」（テキストから動画生成）

他社の動画生成AIではお馴染みですが、Premiere Proでテキストや参照画像から動画を生成する機能のようです。

基本的な生成AIモデルは、Adebe社が開発中のFireflyモデルのようですが、今回公開された動画では、生成時にAIモデルを選択しOpenAI の Sora や Runway、Pika Labsなど他社のモデルを指定できるようになる予定のようです。

複数サービスで分かれているモデルを、AdobeのUI上で選択できる仕様になるのは、制作者視点で控えめにいっても神仕様！公開が待ち遠しい機能です。

pikaの場合

Pika:生成時にモデル選択でPikaを選択

Pikaの生成モデルを元に動画が生成される

Sora:OpenAI の場合（+プロンプトで生成）

Open AI Sora:生成時にモデル選択でOpenAIを選択

さらに、生成したい動画イメージのプロンプトを入力

生成された動画サムネイルからイメージに合うものを選択

生成された動画

Runway の場合（+プロンプトで生成）

生成時にモデル選択でRunwayを選択し、生成したいイメージのプロンプトを入力

生成された動画のサムネイルからイメージに合うものを選択

生成された、ドライバー視点での夜のドライブ映像

Adobe Premiere Proの生成AI新機能を使うことによる効果は？

ここからは、制作者視点での考察となりますが、新機能を使うことによる効果としては、現場のクリエイター目線で考えると
以下の３つが挙げられると思います。

ビデオ編集の作業効率が上がる
企画・構成などに時間を使うことができる
より多様な編集ができるようになり表現の幅を広げられる

以下詳しく見ていきます。

①ビデオ編集の作業効率が上がる

当然ながら、生成AI機能を利用することで、映像内の不要なオブジェクトの除去ができるようになると、撮影のやり直しが減らせたり動画修正作業が減らせるので、ビデオ編集の作業効率を劇的に上げることができるようになります。
また、映像の拡張などを使用することで、さらにクリエイティビティが大幅に向上できる可能性が広がりそうです。

②企画・構成などに時間を使うことができる

①の結果、どちらかというとクリエイティブでない単純な制作作業の工数を減らすことで、より企画・構成などに時間を使うことができるようになり、制作の自由度の向上やより動画の構成検討に時間を割けるようになり、動画品質の向上やプロジェクトの可能性を広げることが考えられます。

③より多様な編集ができるようになり表現の幅を広げられる

さらに、詳細は未定な部分があるものの、異なるAIモデルの長所を組み合わせることで、それぞれのAIの個性を生かした動画制作ができるようになり、より多様な編集ができるようになる可能性があります。

ここらへんは、筆者の推測込みの予想ですが、最近の生成AIの表現力を考えると、実現可能性は高いと思っています。

Adobe Premiere Proの生成AI新機能のリリース予定日は？

気になるこの生成AI機能のリリース日ですが、Adobe社によると、2024年内にこの生成AI新機能をリリースする予定とのことです。具体的な日付は発表されていませんが、年内のどこかのタイミングで一般に提供開始される見込みのようです。

Adobe Premiere Proでできることは？

主要機能の紹介

Adobe Premiere Proは、プロフェッショナルなビデオ編集のためのツールを提供しています。映像のカット、エフェクトの追加、オーディオミキシング、そしてアニメーションタイトルの作成などが行えます。特にAIを利用した機能が組み込まれており、作業の自動化と効率化が図れます

ユーザー層と利用シーン

Adobe Premiere Proは、個人のクリエイターから大規模な映像制作会社まで、幅広いユーザーに対応しています。ソーシャルメディアのコンテンツ制作、広告制作、映画やドキュメンタリーの編集など、多岐にわたるシーンで利用されています

その他のAI動画作成ツールは？

AI技術の進化により、動画制作のプロセスも大きく変化しています。Adobe Premiere Proだけでなく、多くのAI動画作成ツールが市場に登場しており、それぞれ異なる機能と特色を持っています。これらのツールは、テキストから動画を自動生成する能力や、画像を基に映像を作成する技術など、ユニークな機能を提供しており、クリエイターに新たな表現の可能性を開いています。次に、特に注目されているAI動画作成ツールをいくつか紹介します。