AI 视频编辑革新:GEN-1 / GEN-2 引领新风潮

在早先的一篇文章中《AI 学习心得速览(3月)》,提到过一家AI视频公司RunWay,公司专注于 AI 视频处理,在二月份发布了第一个人工智能视频编辑模型 Gen-1,对视频素材进行转换成相应的风格。

bc4c0dacf38226c6fdb6878d069c66ef.png

RunwayML

今天来聊聊Runway推出的手机App——RunwayML,已经在App Store上架,iPhone用户可以下载体验,有免费版和标准付费版、专业付费版三个版本。免费版提供初始积分,使用完之后只能升级版本才能继续使用。

fed79966467381e362824e5b5cbfe6b1.jpeg

目前只有GEN-1版本可用,GEN-2视频及图片工具正在推进中,相信马上就可以面世使用;免费版对视频时长的要求是3秒钟,多余部分会被自动裁剪。14aa87dd013aab2f35b28aba273f7741.jpeg

对于要风格化的视频,内置了六种图像风格,同时也可以提供图片参考或文字描述,用于更加精确的图片处理(见下图)。

  • 粘土

  • 云景

  • 纸折纸

  • 水彩

  • 纸和墨

  • 木炭素描

33e20f61ed67843dee25c0cc83b7cd23.jpeg

处理之后的视频会存储在自己的Library里面,基于不同版本,存储的容量也不同,也可以保存在本地手机内存里面。

23ad0025bc4ef8470a5ae3993ae73027.jpeg

下面来看一看我用一段海浪生成的四段视频效果(中间是原视频):

GEN-1与GEN-2有何区别,官方给出的答案是:

  • GEN-1使用扩散模型的结构和内容来引导视频合成,也就是Vedio to Vedio,依赖原始视频素材

  • GEN-2使用文本驱动视频生成,即是Text to Vedio,摆脱原始视频素材依赖,直接由文字生成视频,工具性更强

911b4f7003232484d2a326fa1d01b36d.png[未来生成视频还会很复杂、繁琐吗?]

Runway 工具箱

39eb5e22a9b517e216005d07403252aa.pngRunway官方推出的27个工具集,主要功能集中于图片、视频的AI生成式处理,包括但不限于:

  • 图片擦除与替换

  • 图片蒙版

  • 视频慢动作

  • 图像扩展

  • 图像变体

  • 黑白图色彩化

  • 自动模糊视频中人脸

  • 自动模糊视频背景

  • 自动去除视频背景

  • 自动替换视频背景音乐

  • 从视频中删除物体或人物

54d80dd0246a004fe76f622220a3600f.jpeg

Runway 知名度虽然不如 Midjourney,但实力不凡,相信在 AI 视频领域,未来也是一个难以撼动的巨人。

39fad668de220f1b535d99acff844d4b.png


扩展阅读:

猜你喜欢

转载自blog.csdn.net/hero272285642/article/details/130518028
gen
今日推荐