生成式 AI：从图像、声音到交互场景
生成式 AI 根据学习到的数据规律生成新内容。输入可以是文字、图片、声音或其他条件，输出也可以是不同模态：例如，按照文字描述生成一张图，或根据图像与操作生成连续的场景画面。
判断一个生成结果时，需要同时问两个问题：它是否满足创作或交互需求？它所表现的事实、结构与物理过程是否有独立依据？
生成模型的几条研究路线
生成模型的发展包含相互交叉的研究路线，并非依次替代：
- 变分自编码器（VAE）：通过概率潜变量表示数据，并利用解码器从潜变量生成样本。Kingma 与 Welling，2013 · Trackback 接口
- 生成对抗网络（GAN）：生成器与判别器共同训练，让生成样本逐渐接近训练数据的分布。Goodfellow 等，2014 · Trackback 接口
- 扩散模型：通过学习逐步去噪的过程生成样本。Ho 等，2020 · Trackback 接口
- 自回归模型：基于已有内容逐步预测后续内容，常用于文本生成，也可用于其他序列。
Transformer 是一种可用于生成系统的网络架构，扩散、自回归等则描述不同的生成或训练思路；具体模型可能组合多种方法。潜空间扩散模型先压缩图像表示，再在潜空间进行去噪，并可通过交叉注意力接收文本等条件。Rombach 等，2022 · Trackback 接口
不同模态的生成
图像与视频
文生图系统从文字条件生成图像，使用者通常通过修改提示词和选择结果来迭代。视频还需要处理镜头运动和跨帧一致性。OpenAI 在 2024 年介绍的 Sora 技术报告将图像和视频压缩到潜空间，并以时空块作为扩散 Transformer 的输入；报告同时指出它不能准确模拟许多基本物理交互。Sora 技术报告
交互世界与三维表示
交互世界模型根据用户或智能体的操作生成后续画面。Google DeepMind 对 Genie 2 的介绍中，用户以键盘和鼠标提供动作，模型预测下一个画面；其展示案例包括最长约一分钟的连续世界，多数案例为 10–20 秒。Genie 2 项目介绍
连续画面呈现出的空间感，和可直接编辑、测量的三维几何资产是两种不同交付物。需要三维模型时，应检查系统是否输出网格、点云等明确表示，以及多视角一致性、尺度和可编辑性是否满足用途。三维重建中的生成方法可参见AnyRecon。
声音
语音、音乐和环境音频可以由不同模型生成，也可以用文字、参考音频或时间信息控制。需要关注的指标随任务而变：例如语音的可懂度、声音与画面的同步，以及较长音频中的内容连贯性。
使用时如何判断可靠性
- 内容准确性：图像或视频的细节可能是模型补全的，并不自动构成对真实事件的记录。历史重建、医学或工程用途需要独立证据与专业校验。
- 一致性与控制：人物外观、物体状态、空间关系和动作可能在连续生成中变化；需要用目标任务和代表性样本评估。
- 隐私与权利：使用他人声音、肖像或受保护作品时，应检查授权、适用规则与平台政策；将输入发送至外部服务前，要确认数据处理条款。
- 安全与透明度：合成内容可能被用于误导或冒充，应结合来源标注、核验流程和具体场景管理风险。NIST AI 风险管理框架
生成结果可以作为草图、实验材料或创作素材；涉及事实和后果的判断，应由使用者根据证据与任务要求完成。