CozyClay

概览

GitHub

CozyClay 是一款运行在浏览器中的开源预演（previsualization）工作室，基于 Three.js 和 React Three Fiber 构建。它让用户在一个本地工作区内完成场景搭建、角色摆姿、时间轴上的镜头剪辑，并将生成的镜头直接作为首帧、参考片段或提示词输入到 AI 视频模型中。 ### 核心能力 - **场景搭建**：创建基础几何体与布景道具，通过变换控件进行移动、旋转和缩放。支持网格吸附、俯视图路径规划以及类似 Blender 的随机视口颜色功能，方便区分灰模方块。 - **镜头控制**：提供与主流 3D 编辑器一致的相机操作逻辑（WASD 移动、鼠标拖拽平移/环绕等）。可在时间轴上添加镜头、绘制推轨路径、设置速度与高度，并通过 Shot 监视器预览。 - **AI 视频导出**：一键导出关键帧包（包含首尾帧、视频片段、相机 JSON、提示词等 ZIP 文件）、MP4、深度与法线通道、故事板联系表及 OTIO 剪辑列表。导出的灰模片段可作为 Seedance 2.5、Kling、Veo、MiniMax H3、Wan 3.0 等模型的参考输入。 - **动作生成与捕捉**：可通过 Kimodo 桥接生成多阶段动作，支持稀疏 IK 修正；也可导入视频或照片，利用 GPU 端运行的 GVHMR 提取动作并重定向到角色上。 - **AI 导演控制**：内置 Agent 面板，支持通过 ChatGPT 账户、Claude 或任意 MCP 客户端以自然语言下达指令，完成角色放置、构图和动作生成。也支持通过终端命令 `cclay live` 驱动。 - **完整撤销历史**：所有场景变更均通过统一的历史存储管理，支持单步撤销。 ### 适合谁 面向需要在浏览器中进行虚拟制作预演、分镜设计，并希望将预演结果无缝衔接至 AI 视频生成流程的创作者与开发者。 ### 运行方式 需要 Node.js 22.19 及以上版本和 Chromium 内核浏览器。通过 `npx cozyclay` 即可启动，无需编译或安装依赖树。也可直接在线体验其七步相机教程。

Q&A

CozyClay 是什么？由 AI 生成

CozyClay 是一款基于浏览器的开源预演（previs）软件，使用 Three.js 和 React Three Fiber 构建。用户可以在其中搭建场景、为角色摆姿、剪辑镜头，并将结果导出给 AI 视频模型使用。

如何安装和启动 CozyClay？由 AI 生成

需要 Node.js 22.19 或更高版本以及 Chromium 内核浏览器。在终端运行 `npx cozyclay` 或 `bunx cozyclay` 即可下载并启动，默认访问地址为 http://127.0.0.1:5180/app/。无需编译或安装依赖树。

支持哪些 AI 视频模型？由 AI 生成

每个镜头可指定目标模型，包括 Seedance 2.5、Kling 2、Veo 3、自托管的 MiniMax-H3 等。导出的灰模视频片段可作为这些模型的首帧、参考视频或提示词输入。

可以导出哪些格式的文件？由 AI 生成

通过 Export 菜单可导出：包含首尾帧、视频片段、相机 JSON、提示词的 ZIP 关键帧包，镜头 MP4 视频，深度与法线通道图，故事板联系表，以及 OTIO 剪辑列表。

如何使用 AI 来控制场景？由 AI 生成

按 Cmd/Ctrl+B 打开 Agent 面板，登录 ChatGPT 账户后即可用自然语言描述所需镜头。也支持连接 Claude 或任意 MCP 客户端，或者通过终端运行 `cclay live` 来驱动。对话在页面重载后依然保留。

动作生成功能需要什么环境？由 AI 生成

生成新动作需要一台可通过 SSH 访问且运行 Kimodo 的机器。通过设置环境变量 `CCLAY_KIMODO_HOST` 指向该 GPU 机器，安装程序会自动检测系统架构并选择合适的后端（如 Apple Silicon 的 kimodo-mlx 或 NVIDIA 的 PyTorch）。

可以从视频或照片中提取动作吗？由 AI 生成

可以。将视频片段或静态图片拖入应用后，GPU 端会运行 GVHMR 进行动作提取，并将结果重定向到角色上，同时包含稳定处理、接触修正和质量过滤。

撤销功能是如何工作的？由 AI 生成

所有的场景变更都经过同一个历史记录存储。无论是拖拽、时间轴滑动、检查器编辑还是 AI 代理生成的相机关键帧，都会作为一个独立的撤销条目。按 Esc 可取消正在进行的拖拽并恢复原状。