从零开始之AI视频制作篇

文章目录

从零开始之AI视频制作篇前言一、工具列表二、成片展示三、制作流程1、获取图片素材2、图片生成视频2.1 Runway操作流程

3、文本生成语音3.1 Fish Audio操作流程

4、视频剪辑4.1 音频素材4.2 字幕生成

四、Runway提示词参考：参考

前言

现在是2024年8月。虽然AI现在发展得很快，但离完全替代人类还是有部分的距离。AI作为提高效率的工具确实是不争的事实。本文将详细描述在这个时间节点上可达到的基于图片的AI视频制作的整个流程，适合小白食用。

一、工具列表

基于图片的AI视频制作需要准备的工具列表有：

图片素材

本文采用的图片素材来源（已获许可）：汐木桃ART的木桃日记

图片生成视频的平台

Runway Gen3传送门（本文采用）

Luma Dream Machine传送门

可灵AI传送门

即梦AI传送门

清影AI传送门

TTS工具

TTS工具用于根据文本内容生成语音。

Fish Audio传送门 (本文采用)

Cosy Voice传送门

ChatTTS的autodl云平台部署版传送门

视频剪辑工具

adobe premiere pro （本文采用）

剪映

二、成片展示

木桃日记

三、制作流程

1、获取图片素材

可通过国内各个文生图的平台生成，或者通过自己搭建webui/comfyui云平台服务进行创作生成。webui的autodl云一键部署传送门、comfyui的autodl云一键部署传送门，本文采用的图片素材来源（已获许可）：汐木桃ART的木桃日记。如果需要去水印，可用WPS等工具，或者用comfyui搭建一个去水印的工作流操作。comfyui去文字和水印的工作流可供参考：去水印和文字工作流传送门

2、图片生成视频

本文采用的是Runway平台，因此针对如何在Runway平台操作图片生成视频进行详解。

2.1 Runway操作流程

通过 Runway官网传送门 进入Runway后便可看到如下界面。

点击右上角的【Get Started】按钮后，便可进入登陆界面，此时需要一个账号才可使用，如果用 Gen2 可以自己注册个账号，有 免费试用额度。如果是用Gen3，就需要在某宝或某鱼上租用账号。

进入Runway官网后，便可看到如下的控制台，其中的【Assets】表示的是存放的你正在生成和已经生成的视频。【Tools】表示的是可以试用的工具。

我们需要使用的是【Tools】下的【Text/Image to Video】工具，点击进入即可。可以看到如下的工作台。

因为我们采用的是Gen3模型，所以我们的【模型】选择的是【Gen-3-Alpha】。因为我们是用的是租用的账号，所以经常会有同时几个人在线的情况，这时就要看【Generate】按钮是否可按，只要可按，不要犹豫， 立即按下 即可。

因为图片生成视频时，需要对生成的视频进行描述，从而让生成的视频符合我们的构想。所以需要填写提示词来让大模型进行参考。

最好将如下图片中的【guide】链接打开，里面有【运镜】、【特效】等的专业术语提示词可以让大模型更好的理解。Gen-3提示词官方指南

提示词指南中需要注意提示词的基本构造结构，如下图所示。

图中的案例部分：

<code>Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

其中【camera movement】 部分可参考【官方提示词指南】的【Camera Styles】部分。

部分提示词参考可见文章末尾。

写好提示词后，点击【Generate】，平台右面部分会有个视频生成的进度展示，生成后也会展示在右面。

视频生成后便按下图所示，点击下载按钮，进行下载。

如果生成视频不理想，同一个提示词可多生成几次，如果还是不理想就得调整提示词再试试。在此祝各位好运连连。

3、文本生成语音

本文采用的是Fish Audio传送门 ，这个每天有50次的免费生成次数，短视频基本够用。

3.1 Fish Audio操作流程

登录进入后，便可看到各个声音角色的列表，选择想使用的声音角色，点击【使用声音】即可。

进入对应的角色页面后，便可参考下图步骤将文本填入对应文本框中，点击【创建】即可生成。

生成后按下图所示步骤即可将生成的声音文件进行下载。

4、视频剪辑

视频素材和旁白的音频素材准备好了，就可以进行视频剪辑了。如果是视频剪辑小白，可参考b站up主【京译达雅】的【【pr教程】新版本全套56集学不会你找我】教程，可选择性学习。pr教程b站传送门。

4.1 音频素材

如果剪视频的时候需要相关的音频素材，比如本文的剪辑视频中需要的夏夜的蝉鸣声、森林的蝉鸣声的素材，可通过如下几个音频素材网站进行搜索下载使用：淘声网传送门、耳聆网传送门、爱给网传送门。

4.2 字幕生成

如果剪辑的时候需要生成对应的字幕，可参考b站up主【Leo叔叔爱摄影】的字幕生成教程，可选择性学习。职业博主快速制作视频字幕的最佳方案，PR2023字幕最详细攻略，语音自动识别，批量制作字幕效果【PR零基础新手指南65集】，另外PR 2023已经支持一键语音转字幕功能了。

四、Runway提示词参考：

<code>图片描述：A person in a crowd

提示词：Cinematic view of [a human subject with detailed descriptions of their appearance] walking through a blurry crowd. [Describe their action]. 30x speed, hyperspeed, fast motion. In the style of [describe style; ex. Moody colors, cinematic feel, dynamic motion, depth of field].

图片描述：Cinematic drone

提示词：First person view shot of a [subject]. hyper-speed fly, dynamic motion, dynamic blur, timelapse, 30x speed. In the style of [describe style; ex. cinematic, muted color palette].

图片描述：Close up

提示词：Telephoto close up: [subject].

图片描述：Close-up portrait

提示词：A crash zoom into a close-up portrait, shallow depth of field, bokeh. In the style of [describe style; ex. muted color palette, neutrals, magic hour, dull, dramatic, moody, film, 35mm].

图片描述：Dynamic motion

提示词：Dynamic motion, dynamic blur, 30x speed, unsharp edges.

图片描述：Establishing wide

提示词：Extreme wide angle establishing shot: [subject] in vast [scene].

图片描述：Fast motion

提示词：High speed, motion blur, chaotic, kinetic, hyperkinetic.

图片描述：Fast zoom

提示词：Hyperspeed shot: [scene]. Camera movement: fast zoom.

图片描述：First person view

提示词：First person view shot flying through [objects ex. canyons] of a [place ex. planet] toward a [object ex. moon].

图片描述：Handheld

提示词：Handheld tracking shot, following a [subject] in a [place].

图片描述：High angle

提示词：Aerial tracking shot: glide over [place]. Camera Movement: Start high, descend closer to [place].

图片描述：Low angle

提示词：Low angle shot: A [subject ex. car] drives down the center of a [place ex. city]. Tall [objects ex. buildings] loom on either side, their [objects ex. windows] blurred in the background.

图片描述：Macro cinematography

提示词：Macro cinematography: A large [object ex. water droplet] rests among [objects ex. succulent plants]. The [object] refracts and distorts the view of the surrounding environment. Camera Movement: Start with a close-up of the [object], then slowly pull back to reveal more of the surreal [plant life].

图片描述：Nightlight portrait

提示词：Close-up shot of [a human subject with detailed descriptions of their appearance], the neon lights of Tokyo's bustling streets reflecting in the eyes. The face has a pensive expression, hinting at an untold story. The vibrant colors of the city paint the facial features in a mesmerizing interplay of light and shadow.

图片描述：Orbiting scenery

提示词：We orbit around [a subject in a scenic environment; ex. a monument on a hill overlooking a forest], hyper dynamic movement in orbiting motion, shallow depth of field, subject in focus. In the style of [describe style; ex. dark muted natural color palette, cinematic]

图片描述：Over the shoulder

提示词：Over the shoulder shot: [subject doing X]. The camera trails behind them.

图片描述：Portal transition

提示词：Flying through [a place] into [another place]. Fast motion, motion blur. In the style of [describe style; ex. hyperlapse cinematography].

图片描述：Realistic documentary

提示词：An award winning documentary about [a subject; ex. a bunny, a tree, or coral reefs], wide angle shot showcasing the [subject], dynamic movement, this video is incredibly detailed and high resolution, the sharp focus and cinematic light is impressive, a masterpiece.

图片描述：Slow motion

提示词：Slow motion shot: [a subject in motion].

图片描述：Surreal levitation

提示词：An extreme wide angle establishing shot from low angle level looking up at into the sky at sunset hours. [A subject; ex. a plastic bag, a shiny orb, or a goat] is floating slowly in the sky above, defying gravity. Extreme perspective, 3x speed. In the style of [describe style; ex. cinematic, muted naturals coloring, documentary film]

图片描述：Titles

提示词：The scene starts in [location; ex. soup] and then suddenly [object; ex. noodles] appears and begins to [action; ex. transforms] to form the word "[single object, ex. SOUP]", centered, superb cinematic lighting.

参考

汐木桃ART的木桃日记