Stable Diffusion動畫版上線！支持文本圖像視頻多種輸入方式

Stable Diffusion也能生成視頻了！

你沒聽錯，Stability AI推出了一款新的文本生成動畫工具包Stable Animation SDK，可支持文本、文本+初始圖像、文本+視頻多種輸入方式。

使用者可以調用包括Stable Diffusion 2.0、Stable Diffusion XL在內的所有Stable Diffusion模型，來生成動畫。

Stable Animation SDK的強大功能一經展現，網友驚呼：

哇哦，等不及想試試了！

目前，Stability AI疑似還在對這個新工具進行技術優化，不久后將公開驅動動畫API的組件源代碼。

3D漫畫攝影風，不限時長自動生成

Stable Animation SDK可支持三種創建動畫的方式：

1、文本轉動畫：用戶輸入文prompt并調整各種參數以生成動畫（與Stable Diffusion相似）。

2、文本輸入+初始圖像輸入：用戶提供一個初始圖像，該圖像作為動畫的起點。圖像與文本prompt結合，生成最終的輸出動畫。

3、視頻輸入+文本輸入：用戶提供一個初始視頻作為動畫的基礎。通過調整各種參數，根據文本prompt生成最終的輸出動畫。

除此之外，Stable Animation SDK對生成視頻的時長沒有限制，但是長視頻將需要更長的時間來生成。

Stability AI發布了Stable Animation SDK后，有很多網友分享了自己測試效果，讓我們一起看下吧：

Stable Animation SDK可以設置許多參數，例如steps、sampler、scale、seed。

還有下面這么多的預設風格可選擇：

3D模型、仿真膠片、動漫、電影、漫畫書、數碼藝術、增強幻想藝術、等距投影、線稿、低多邊形、造型膠土、霓虹朋克、折紙、攝影、像素藝術。

目前，動畫功能API的使用是以積分計費的，10美元可抵1000積分。

使用Stable Diffusion v1.5模型，在默認設置值（512x512分辨率，30steps）下，生成100幀（大約8秒）視頻將消耗37.5積分。

默認情況下，每生成1幀，Cadence值設置為1個靜止圖像，可根據不同的動畫模式選擇較低或較高的Cadence值。Cadence值的上限是動畫中的總幀數，即至少生成一張靜止圖像。視頻轉視頻的Cadence必須為 1:1。

官方也給出了一個示例，可以看出生成100幀標準動畫的標準靜止圖像（512x512/768x768/1024x1024，30 steps）， 隨著Cadence值變化，積分的使用情況：

簡單來說，受參數、時長等各種因素的影響，生成視頻的費用并不固定。

效果和價格我們都了解了，那如何安裝并調用API呢？

要創建動畫并測試SDK的功能，只需要兩個步驟即可運行用戶界面：

在開發應用程序時，需要先設置一個Python虛擬環境，并在其中安裝Animation SDK：

具體使用說明書放在文末啦！

越發火熱的視頻生成

最近，視頻生成領域變得越來越熱鬧了。

比如，AI視頻生成新秀Gen-2內測作品流出，網友看完作品直呼：太不可思議了！

Gen-2的更新更是一口氣帶來了八大功能：

文生視頻、文本+參考圖像生視頻、靜態圖片轉視頻、視頻風格遷移、故事板（Storyboard）、Mask（比如把一只正在走路的小白狗變成斑點狗）、渲染和個性化（比如把甩頭小哥秒變海龜人）。

還有一位名叫Ammaar Reshi的灣區設計師用ChatGPT和MidJourney兩個生成AI模型，成功做出一部蝙蝠俠的動畫小電影，效果也是非常不錯。

自Stable Diffusion開源后，一些開發者通過Google Colab等形式分享了各種魔改后的功能，自動生成動畫功能一步步被開發出來。

像國外視頻特效團隊Corridor，他們基于Stable Diffusion，對AI進行訓練，最終能讓AI把真人視頻轉換為動畫版本……

大家在對新工具的出現興奮不已的同時，也有網友對Stable Animation SDK生成的視頻所展現出的效果發出質疑:

這與 deforum有什么區別？沒有時間線都不連貫，只有非常松散的一幀接一幀的圖像。

那么你玩過這些工具了嗎？感覺效果如何？

傳送門：https://platform.stability.ai/docs/features/animation/using（Stable Animation SDK使用說明書）