视频修复这个需求,我先直接说结论:有门槛,而且门槛还挺高,目前主要就是两个方案,
本地跑一些专门的软件和开源模型,可以免费处理,但是需要电脑配置高
使用在线服务,基本都需要钱,比较算力大,但是也有少部分可以免费使用的方案
本地修复,先看你的显卡
走本地方案,基本就只能用 Windows电脑 ,因为这类软件主要还是适配NVIDIA 的显卡,以及整合包和现成环境都多一些。
如果要给一条比较粗暴的线,我建议把8GB显存当成起步。低于8GB也有项目能跑,比如 Real-CUGAN,但想碰比较新的通用视频修复模型,8GB通常只能算勉强。12GB到16GB会实际很多,显存越大越省事。
目前比较常见的本地方案,我整理成了这张表。
| 方案 | 适合什么素材 | 显存要求 | 内存建议 | 大概速度 |
|---|---|---|---|---|
| Topaz Video AI | 真人、老视频和普通素材 | 官方最低6GB,建议8GB以上;部分新模型需要10GB到16GB | 最低16GB,建议32GB | 1080P放大2倍时,RTX 3060 12GB约5.8到6.4 FPS,RTX 4090约18到22 FPS |
| Real-CUGAN | 动漫、二维动画 | 官方最低约1.5GB,4GB以上更实用 | 8GB可尝试 | 比大型扩散模型轻很多,低显存模式会继续牺牲速度 |
| SeedVR2 | 通用视频修复、高清放大 | 8GB可用量化版硬跑,12GB到16GB更实际,24GB以上体验更完整 | 建议32GB起,长视频最好64GB | RTX 4090跑部分3B模型也只有约0.3到0.5 FPS,长视频真能跑一整天 |
表里的速度只能用来判断量级。原片分辨率、输出分辨率、模型和参数只要换一个,时间就会变很多。
Topaz Video AI
第一个是大名鼎鼎的 Topaz Video AI。
它的优点是简单。导入视频,选模型,设置分辨率,然后开始跑。图形界面已经做得很完整,不需要自己配 Python 环境,也不用研究一堆节点。
这个软件是付费的,而且不便宜,but!B站和一些论坛上有很多科学版,基本一搜一大把,这里我就不推荐,大家自行去B站搜索看看。
这Topaz 当前官方最低要求是6GB显存和16GB内存,推荐配置已经到了8GB显存、32GB内存和 RTX 30系以上显卡。部分 Starlight 模型需要10GB到16GB显存。官方配置要求可以在这里看。
Topaz 社区有一组比较直观的公开测试。同样输入1080P视频并放大2倍,RTX 3060 12GB跑常用模型大约是5.8到6.4 FPS,RTX 4070 12GB大约11到12 FPS,RTX 4090 24GB可以到18到22 FPS。
这里的 FPS 代表显卡每秒能处理多少帧画面。以30帧的1080P视频放大到4K为例,RTX 4070每秒大约能处理12帧,一分钟视频理论上要跑两分半钟左右。RTX 3060大概要跑五分钟,RTX 4090大约一分半钟。实际导出还要算上编码和模型加载,通常时间还要更长。
这个数据看着还行,实际处理长视频依然很磨人,如果再叠加降噪、补帧或者更重的模型,速度会继续往下掉。
笔记本基本就不要想了,除非是显卡比较顶的游戏本(那风扇嗡嗡也得叫一整天),轻薄本那样就不用想了。
Real-CUGAN
第二个是 Real-CUGAN,主要用来修动漫。
它是哔哩哔哩 AI Lab 在2022年开源的项目,支持2倍、3倍和4倍放大。时间虽然已经过去几年,在动漫修复这个小圈子里依然很出名。
Real-CUGAN 对配置的要求低不少。官方写的 NVIDIA 显卡最低显存只有约1.5GB,还提供了低显存模式。代价也很明确,显存占用越低,处理速度越慢。最低显存模式可能比默认模式多花一倍以上时间。项目说明和 Windows 版本都在官方仓库。
它主要麻烦在安装,需要配 CUDA 和 Python 环境,当然现在这件事可以直接交给通用 Agent,就直接把项目地址发给它,帮你看电脑能不能跑,需要什么环境直接让它安装就行了。
如果你的素材主要是动漫,电脑配置又一般,就直接选这个。
SeedVR2
第三个是 SeedVR2,可以算目前最强的一档开源视频修复模型,来自于字节。国内已经有不少人做过实测,修复效果确实不错。
它的使用门槛依旧很高,虽然市面上有 ComfyUI 节点和国内作者制作的图形化整合包,在使用上门槛降低了不少,但是但是核心还是显卡的问题
目前比较现实的配置分三档。8GB显存可以使用 GGUF 量化模型,再打开 BlockSwap 和 VAE 分块,能跑,但速度不要抱太大期待。12GB到16GB可以使用 FP8 模型,已经比较实用。24GB以上可以更舒服地跑 FP16,少做一些显存优化。
公开测试里,RTX 4090 24GB处理512×768到1080×1620的任务,部分3B模型只有大约0.3到0.5 FPS。十分钟30帧的视频有一万八千帧,按这个速度算,确实可能跑上十几个小时。
所以如果你的显存有12GB以上,内存也有32GB,我会比较推荐试 SeedVR2。16GB显存会舒服一些,24GB当然更好。
B站有up做了整合包,不想自己配环境,可以使用这个up做的整合包,在他视频评论区