Genie 4

概览

XGitHub

Genie 4 是 Google DeepMind 发布的新一代世界模型（world model），用于生成和探索可交互的虚拟世界。它在实时交互模拟和真实感方面进行了改进，并原生支持多模态输出。 ## 核心能力 Genie 4 在四个关键方向上提升了世界模拟的能力： - **实时交互控制**：用户可以使用标准键盘进行导航和镜头控制，同时通过自然语言文本提示在实时运行中修改模拟场景，例如改变天气、移动镜头或引入新的人物与物体。Gemini 模型会根据上下文调整提示词以匹配周围环境，并在用户未输入时持续监控和引导场景，保持世界的连贯性。 - **物理与动作真实感**：增强了照片级真实感（photorealism）和流畅的动作表现，包括自然的人体运动。 - **原生音频生成**：原生多模态架构使其能够在生成视觉世界的同时，同步生成音乐、环境噪音和交互式对话等音频内容。 - **复杂事件模拟**：借助 Gemini 系列模型的推理能力来维持模拟的一致性和连续性。用户可以设定一个初始事件，Genie 4 会模拟后续发展，包括世界如何响应、声音如何变化以及其中人物如何移动、反应和说话。 ## 技术基础 Genie 4 融合了 Gemini 系列模型的能力。其中 Gemini Omni 负责将模拟锚定在真实世界的外观和行为上，其他 Gemini 模型则提供复杂的推理支持。 ## 应用场景 理解和模拟世界是构建 AGI 的重要环节。Genie 4 可用于创建安全且高度可变的模拟环境，适用于为机器人和智能体开发训练环境，以及创造新的交互式体验。 ## 可用状态 Genie 4 目前作为研究预览版（research preview）向受信任的测试者推出，以收集反馈。后续计划面向消费者和开发者开放，首批对象包括 Project Genie 中的 Google AI Ultra 订阅者，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。用户可通过网页加入 waitlist。

Q&A

Genie 4 是什么？由 AI 生成

Genie 4 是 Google DeepMind 发布的新一代世界模型，用于生成和探索可交互的虚拟世界，支持实时模拟和原生音频生成。

如何控制 Genie 4 生成的世界？由 AI 生成

用户可以使用标准键盘控件进行导航和镜头控制，并通过自然语言文本提示在实时运行中修改场景，例如改变天气或引入新物体。

Genie 4 能生成声音吗？由 AI 生成

可以。Genie 4 是原生多模态的，能够在生成视觉世界的同时，同步生成类似音乐的音频、环境噪音和交互式对话。

Genie 4 现在可以公开使用吗？由 AI 生成

目前 Genie 4 仅作为研究预览版向受信任的测试者推出。后续将面向消费者和开发者开放，首批包括 Project Genie 的 Google AI Ultra 订阅者及 Gemini API 早期访问合作伙伴。

Genie 4 使用了哪些底层技术？由 AI 生成

Genie 4 结合了 Gemini 系列模型的能力。Gemini Omni 用于锚定真实世界的外观和行为，其他 Gemini 模型提供复杂推理以维持模拟的连贯性和连续性。

Genie 4 有哪些潜在用途？由 AI 生成

可用于创建安全且高度可变的模拟环境，帮助为机器人和智能体开发训练环境，以及创造新的交互式体验。