腾讯把 AI 放进片场，WorkRally 上手教程

腾讯最近的 AI 动作很密。

办公场景有 WorkBuddy，写代码有 CodeBuddy，模型层面有混元开源。今天这个 WorkRally，瞄准的是另一条线：视频内容生产，尤其是漫剧、短番、动画、 AI 仿真人剧。

从公开资料和官方页面看，WorkRally 更接近一个制作工作台：剧本、分镜、角色资产、关键帧、图生视频、配音、无限画布、项目管理，都被放进同一套系统里。

这类产品的价值不靠单次生成一段很炫的视频，而靠能不能把一整条制作链路稳定跑起来。

短剧和漫剧制作最麻烦的地方，从来不是“生成一张好看的图”。麻烦在后面：角色前后不一致；同一个人物换个镜头就变脸；分镜、素材、配音、动效到处散落；一个剧本要拆成几十个场次；每个场次都要有人追进度、改提示词、换参考图、返工。

WorkRally 想解决的就是这些活。

WorkRally 是什么

WorkRally 官网标题写得很直接：漫剧视频创作全流程，腾讯视频智能制作平台。

官方页面的描述里提到，它覆盖短番、短剧制作流程，提供 AI 工具链、定制控图工作流、关键帧绘图、动效制作、项目管理和跨端协同。

公开信息里，WorkRally 目前有几条线索：

• 官网入口：https://workrally.qq.com
• 影视工作台入口：https://workrally.qq.com/aivfx/index
• 旧入口 / 登录页相关：https://tvi.v.qq.com/login
• GitHub 开源了 Tencent/workrally
• npm 上有 workrally CLI，目前查到版本是 2.4.1
• GitHub README 写明：这是“面向 AI Agent 的 AIGC 漫剧视频创作全流程工具集”

这说明 WorkRally 同时在做两件事：一边给人用网页工作台，适合内容团队、导演、制片协作；一边给 Agent 和开发者留 CLI / API 入口，让自动化流程可以直接调用。

因为 AI 视频产品如果只停留在网页上，最多是“创意工具”。一旦 CLI 、 API 、 Agent Skill 出来，它就开始接近“生产系统”了。

它主要能做什么

按官方页面、前端信息和 GitHub 文档整理，WorkRally 的能力大致可以拆成几块。

1. 剧本到场次

WorkRally 里有“项目、剧集、场次”这套结构。

一个项目下面可以有剧集，一集下面可以拆出多个场次。每个场次可以写两类提示词：

• 图片提示词：决定关键帧画面
• 视频提示词：决定动效、表演和运镜

这比普通 AI 视频工具更贴近真实制作流程。真实项目不会只有一句 prompt，而是一组场景、一组角色、一批资产、一套可追踪的生产状态。

2. 角色和资产管理

漫剧最怕角色崩。

WorkRally 里有资产库和媒资库。公开 CLI 文档里把两者分得很清楚：

• 媒资库：项目级文件池，上传的图片、视频、音频都要先入库
• 资产库：树形目录，用来管理人物、道具、场景、文件夹

你可以把角色参考图、道具图、场景图都放进项目，再让后续分镜和视频生成围绕这些资产走。

这比“每次重新上传一张参考图”更适合连续剧。

3. AI 生图和关键帧

WorkRally 支持 AI 生图，GitHub 文档里提到 Kontext 模型、多参考图、宽高比、分辨率、生成数量等参数。

在实际制作里，关键帧比“一键生成完整视频”更重要。

先把每个镜头的画面定下来，再做动效，返工成本会低很多。否则视频一口气生成出来，角色、构图、动作全混在一起，哪里错了都不好改。

4. AI 生视频

CLI 文档里列出几种视频驱动模式：

• 纯文本生成视频
• 单图驱动视频
• 首尾帧生成视频
• 参考主体生成视频
• 序列帧、视频驱动、视频高清化、视频连镜等能力也能在前端信息里看到

对漫剧来说，最实用的路径是：先定角色，再定关键帧，再让角色在对应场景里动起来，最后检查连贯性。

这套逻辑更像影视制作，不像短视频滤镜。

5. 无限画布

WorkRally 还有无限画布。

这个功能很适合做视觉项目管理：把剧本片段、角色参考、分镜图、生成结果、修改意见放在一张画布上。

GitHub 文档里提到，画布基于 Yjs 协同编辑，CLI 写入内容后可以实时同步到前端。画布节点类型包括图片、视频、音频、文本、画板、生成器节点等。

对团队来说，这比“文件夹 + 微信群 + 飞书文档”舒服很多。

6. AI Agent / CLI 工作流

这次更值得注意的是 GitHub 上的 workrally CLI 。

安装方式很简单：

npm install -g workrally
workrally auth login
workrally auth status

CLI 支持项目、剧集、场次、素材、画布、 AI 生图、 AI 生视频、任务查询等命令。

这意味着以后可以让一个 Agent 直接做这些事：创建项目、拆剧本、创建场次、写图片提示词和视频提示词、调用生图模型、调用生视频模型、查询生成结果、把素材放进画布、下载成品素材。

这才是 WorkRally 和普通网页生成器拉开距离的地方。

普通团队怎么上手

如果只是想试产品，先看网页端。要让 AI Agent 自动干活，再看 CLI 。

第一步：打开入口

访问：

https://workrally.qq.com

如果跳转到登录或申请页面，按页面提示操作。部分能力可能需要开通权限，具体以页面显示为准。

进入后，先准备一段足够短的剧本。

建议新手用这种长度：

时长：30 秒到 60 秒
场次：3 到 5 个
角色：1 到 2 个
场景：1 到 2 个
风格：明确一种，比如国漫、赛博、写实短剧、Q版动画

先别丢一部长篇小说。 AI 视频制作最怕需求太大、变量太多。

第二步：创建项目

进入工作台后，先创建一个项目。

项目名建议别写“测试 1”“测试 2”，后面素材多了会很乱。

可以这样命名：

AI漫剧测试_便利店夜班
古风短番_第一集
产品宣传片_猫粮广告

一个项目最好只放一个明确方向，别把无关素材混在一起。

第三步：准备角色资产

如果页面里有资产库、角色、人物、道具、场景等入口，先从这里开始。

建议准备：

• 主角正面图
• 主角半身图
• 重要服装或道具图
• 主要场景参考图

角色越稳定，后面的分镜越省事。

如果暂时没有角色图，也可以先用文字描述，但连续性会差一些。

角色描述要具体：

女主，25岁，黑色短发，白色外套，蓝色工牌，便利店夜班店员，表情疲惫但警觉，现代写实短剧风格

别写成：

一个好看的女生，很有故事感

这种描述生成结果会飘。

第四步：把剧本拆成场次

一个短片不要直接用一整段剧本生成。

可以拆成这样：

场次 1：便利店深夜，店员独自整理货架，窗外下雨。
场次 2：门铃响起，一个戴帽子的顾客进门，镜头切到店员警觉的表情。
场次 3：顾客把一张纸条推到柜台，店员低头看到上面写着“别回头”。
场次 4：灯光闪烁，货架尽头出现一个模糊人影。

每个场次再写两类提示词。

图片提示词负责画面：

深夜便利店内景，冷白灯，货架整齐，窗外大雨，女店员穿白色外套站在货架旁，电影感构图，16:9

视频提示词负责动作：

镜头缓慢从货架侧面推进，女店员抬头看向门口，动作克制，悬疑氛围

这样拆开后，后续修改会清楚很多。

第五步：先生成关键帧

不要先生成视频。

先把每个场次的关键帧跑出来。检查这几件事：

• 角色是否一致
• 服装是否一致
• 场景是否一致
• 镜头方向是否符合剧情
• 画面有没有多手、多脸、错字、穿帮物件

关键帧不满意，先改提示词或换参考图。视频阶段再改，成本更高。

第六步：再做图生视频

关键帧确认后，再进入图生视频或相关视频生产入口。

新手优先用：

• 单图生视频：适合简单动作
• 首尾帧生视频：适合明确起点和终点
• 参考主体生视频：适合想保持角色一致的场景

提示词尽量写动作，不要写剧情感想。

可用：

角色缓慢转身看向门口，镜头轻微推进，背景灯光闪烁，动作自然，保持角色面部一致

少用：

表现出她内心的恐惧和命运的无常

AI 不知道怎么直接拍“命运的无常”。它更擅长执行动作、镜头、光线、表情。

第七步：用无限画布整理结果

生成多了以后，素材会乱。

把这些东西放到无限画布里：剧本片段、角色参考图、每个场次关键帧、生成后的视频、需要修改的问题、最终保留版本。

画布的好处是能一眼看到项目状态。团队协作时，也方便导演、编剧、美术、剪辑对同一个镜头讨论。

第八步：配音和后期

如果项目里有后期配音入口，可以把台词和音色放进去。

配音不要太早做。画面和镜头还没定，台词节奏很容易返工。

短剧配音要按镜头节奏改句子。文字稿读起来顺，不代表配音贴到画面里也顺。

CLI 教程：让 Agent 调 WorkRally

如果你想让 AI Agent 直接操作 WorkRally，可以用官方开源的 CLI 。

1. 安装

npm install -g workrally

检查版本：

workrally --version

我查到 npm 当前版本是：

2.4.1

2. 登录

workrally auth login
workrally auth status

如果你已经拿到 API Key，也可以：

workrally auth login --token <YOUR_API_KEY>

API Key 入口在官方文档里指向：

https://workrally.qq.com/open-api

是否能开通，以页面实际权限为准。

3. 创建项目

workrally project create "便利店夜班_AI漫剧" -o json

列出项目：

workrally project list -o json

4. 创建剧集

workrally series create --project-id <project_id> --name "第一集" -o json

5. 创建场次

workrally shot create --series-id <series_id> --json-list '[
  {
    "image_prompt": "深夜便利店内景，冷白灯，窗外下雨，女店员站在货架旁，悬疑短剧风格，16:9",
    "animation_prompt": "镜头从货架侧面缓慢推进，女店员抬头看向门口"
  },
  {
    "image_prompt": "戴帽子的顾客推门进入便利店，门口铃铛晃动，女店员警觉地看过去",
    "animation_prompt": "门被推开，冷风吹进来，镜头切到店员表情"
  }
]'

6. 获取模型

官方 CLI 文档强调：模型 ID 不能硬编码，要动态获取。

图片模型：

workrally shot image-models -o json

视频模型：

workrally shot video-models -o json

7. 设置模型

workrally shot set-model --series-id <series_id> \
  --video-provider <provider_id> \
  --duration 5 \
  --aspect-ratio 16:9

图片模型也可以设置：

workrally shot set-model --series-id <series_id> \
  --image-model <image_model_name> \
  --aspect-ratio 16:9

8. 生成图片和视频

先拿到场次 ID：

workrally shot list --series-id <series_id> -o json

生成关键帧：

workrally shot generate-image --story-ids <story_id_1>,<story_id_2>

生成视频：

workrally shot generate-video --story-ids <story_id_1>,<story_id_2>

查询结果：

workrally shot get-result --story-id <story_id> --type image --watch
workrally shot get-result --story-id <story_id> --type video --watch

这里有个坑：场次生成和画布生成不是同一套进度查询方式。场次要用 shot get-result 查，不要拿画布任务接口硬查。

9. 上传素材

上传文件：

workrally upload ./character.png -o json

入媒资库：

workrally asset create --url <cdn_url> --project-id <project_id> -o json

如果要挂到人物、道具、场景资产库，再用：

workrally material add --json-list '[{
  "material_id": "<asset_id>",
  "material_name": "女主_白外套",
  "material_type": 2,
  "parent_id": "role_person",
  "material_detail": <asset_details_json>
}]' --project-ids <project_id>

官方文档里反复强调：上传后要入媒资库。只拿上传返回的 URL 到处用，后面很容易出问题。

适合谁用

WorkRally 最适合这几类团队：

第一类，短剧和漫剧团队。他们需要稳定产出，不是偶尔玩一张图。

第二类，小说 IP 、网文、漫画内容团队。这类团队手里有故事和角色，缺的是低成本视觉化流程。

第三类，AI 视频生产团队。单个视频工具很难管理长期项目，WorkRally 的项目、资产、场次结构更适合连续内容。

第四类，Agent 开发者。 CLI 和 GitHub Skill 出来后，可以把 WorkRally 接进自己的自动化工作流。

如果只是想随手生成一个 5 秒视频发朋友圈，用更轻量的 AI 视频工具可能更快。 WorkRally 的优势在项目化生产，启动成本会比玩具型工具高。

使用时最容易踩的坑

坑一：一上来就做长片

新手先做 30 秒。

场次控制在 3 到 5 个，角色控制在 1 到 2 个。跑通一遍，再扩展到 3 分钟、 5 分钟。

坑二：只写剧情，不写镜头

AI 视频更需要镜头语言。

要写：

镜头从中景缓慢推进到面部特写，角色低头看纸条，手指微微发抖

少写：

她感到命运正在逼近

后者适合文学，不适合生成。

坑三：角色资产太少

角色一致性不是靠祈祷。

主角至少准备 2 到 4 张参考图，最好覆盖正面、半身、表情、服装。道具和场景也要独立管理。

坑四：关键帧没过就做视频

关键帧错了，视频大概率更错。

先图，后动。先定帧，再定镜头。

坑五：项目和画布混在一起

CLI 文档里有一个很重要的区分：

• project 是项目，素材归属用
• canvas 是无限画布，排布节点用

两种 ID 不能混用。把项目 ID 当画布 ID 传进去，会出错。

我的判断

WorkRally 的看点并不是“腾讯也做了一个 AI 视频工具”。

更准确地说，腾讯在把视频内容生产拆成一套可管理、可协作、可被 Agent 调用的流程。

WorkBuddy 处理办公，CodeBuddy 处理代码，混元负责模型底座，WorkRally 处理内容生产。放在一起看，腾讯这轮 AI 产品正在往具体行业工作流里塞。

对普通内容团队来说，WorkRally 现在最值得试的是“短剧前 30 秒”。

拿一个小故事，拆成 5 个场次，先跑通角色、关键帧、图生视频、配音、画布管理。如果这条链路能稳定，后面才有批量生产的意义。

评论区可以聊聊：如果 AI 真把漫剧生产流程串起来，最先被改变的是小团队，还是传统动画公司？

来源链接:

• https://workrally.qq.com
• https://workrally.qq.com/aivfx/index
• https://tvi.v.qq.com/login
• https://github.com/Tencent/workrally
• https://www.npmjs.com/package/workrally

来源：https://workrally.qq.com