您的位置首页 >要闻 > 人工智能 >

video‑skills‑toolkit 拆解基于 Remotion,六个 Skill 以字幕时间轴驱动 Agent 流水线生成代码化视频

video-skills-toolkit 是 GitHub 开源项目,把 AI 做视频拆成可被 Agent 调用的独立 Skill,不走一次性生成整条视频的路线,而是以字幕时间轴作为统一时间基准,所有画面、动画、音效都对齐字幕时间戳;底层依托 Remotion,用 React 组件逐帧渲染视频,解决普通 AI 成片容易音画错位、一改文案就要全片重做的痛点,适合批量产出科普、口播、文章转视频、数学可视化类内容。

它的核心范式和常规剪辑反过来:先文案、再 TTS 配音、再生成带时间戳字幕,字幕作为主时间轴驱动画面渲染。修改旁白时只需要局部重生成音频与字幕,后续动画自动跟着时间轴偏移,不用手动调所有关键帧。整套一共六个 Skill,其中五个是画面模板,一个是负责输出时间基准的字幕工具,既可单独调用,也可以串成完整流水线。

六个 Skill 清单

Skill 名称用途核心特点
talking-head-remotion口播演播视频16:9,带章节进度条、画中画,预留字幕安全区,自带音效、BGM 脚手架
wechat-article-remotion公众号文章转视频传入公众号链接,保留原图,不裁切,自动排版生成讲解视频
geometry-math-proof-remotion数学公式、几何证明动画SVG 绘制,公式逐行揭示,适合算法、数理科普
paper-cutout-remotion纸片分层动画四层图层分离,分层运动,适合历史、人物故事科普短片
sketch-story-remotion手绘火柴人叙事短片全部图形代码绘制,不依赖外部图片素材
audio-to-subtitles音频转字幕(核心基座)输出 SRT / VTT / JSON 带时间戳字幕,也支持 TTS 之后直接生成时间轴

标准流水线

  1. 撰写逐字稿;
  2. TTS 生成配音音频;
  3. audio-to-subtitles 输出字幕时间轴;
  4. 选用对应模板 Skill,按字幕时间戳驱动画面与动画;
  5. 叠加 BGM、音效;
  6. 先低清样片预览校对;
  7. 确认后高清渲染 MP4。

运行依赖与渲染逻辑

运行环境为 Node.js 18+、Python 3;配音默认对接 MiniMax,字幕工具需要对应的 API 密钥。Remotion 的本质是用 React 描述每一帧画面,动画写成和时间绑定的函数,最后浏览器截帧 + FFmpeg 编码输出视频。优势是文字、公式稳定,不容易出现生图里常见错字;缺点是偏矢量、版式动画,不擅长写实实拍、复杂连续角色动作。商用需要留意 Remotion 的许可协议,个人小团队免费,企业规模商用要购买授权。

适用与不适用场景

✅ 适合:课程系列、培训、公众号二次分发、数理可视化、高频改稿的批量内容、对文字准确性要求高的短片;

❌ 不适合:写实大片、复杂角色连续动作、只做一条短片(搭模板投入偏高)。

【相关 FAQ】

问题 1:video-skills-toolkit 拆解:用六个 Skill 让 AI 按字幕时间轴做视频,它的核心思路是什么?

回答 1:video-skills-toolkit 拆解里的核心思路,是不以画面作为基准,而是把字幕时间轴作为整条视频唯一的时间锚点;所有动画、镜头切换、音效都对齐字幕时间戳,改文案只需要局部更新字幕,画面自动适配,不用全片返工。

问题 2:video-skills-toolkit 拆解:用六个 Skill 让 AI 按字幕时间轴做视频,六个 Skill 里面哪一个是时间基准?

回答 2:video-skills-toolkit 的六个 Skill 中,audio-to-subtitles 是整套流水线的地基,它输出带时间戳的字幕文件,其他五个画面模板都读取这份时间轴,决定画面什么时候出现、动画什么时候触发。

问题 3:video-skills-toolkit 拆解:用六个 Skill 让 AI 按字幕时间轴做视频,底层靠什么渲染视频?

回答 3:video-skills-toolkit 底层使用 Remotion,也就是基于 React 的代码视频框架;Agent 写出 React 组件描述画面,框架逐帧渲染,再编码成 MP4,不是文生视频模型直接生成画面。

问题 4:video-skills-toolkit 拆解:用六个 Skill 让 AI 按字幕时间轴做视频,这种方案有什么短板?

回答 4:video-skills-toolkit 这套方案适合代码化矢量动画、版式讲解,很难产出写实实拍质感、流畅复杂人物动作;同时依赖前端环境,一次性做单条短片的成本偏高,并且 Remotion 商用有许可限制。

【参考资料】

[2026-11-07] 腾讯云开发者社区:video-skills-toolkit 拆解:用六个 Skill 让 AI 按字幕时间轴做视频

GitHub:liangdabiao/video-skills-toolkit(fork from bozhouDev/video-skills-toolkit)

【免责声明】

本文基于开源项目与技术拆解文章整理;项目为开源工程,API、渲染速度、成片效果取决于配套 TTS、字幕服务以及 Remotion 版本;商用前请仔细核对 Remotion 授权与项目仓库 LICENSE。

如果你想要,我可以把这套流水线改成适合 Claude Code / Codex 的调用提示词模板。