Human Avatar — 阿里云 AI 视频 & 语音生成

能力总览

快速选择指南

CODEBLOCK0

环境配置

CODEBLOCK1

CODEBLOCK2

⚠️ cn-beijing 和新加坡地域的 API Key 不互通，请确认使用正确地域的 Key。
OSS_ENDPOINT 支持带或不带 https:// 前缀，脚本自动规范化。

1. LivePortrait — 人像口播视频

适用场景：有人物照片 + 语音内容，快速生成人物说话视频。

流程：
CODEBLOCK3

图片要求：单人正面肖像，人脸清晰，无遮挡
音频要求：wav/mp3，< 15MB，1s ~ 3min
视频输入：自动提取音频（ffmpeg）

CODEBLOCK4

动作模板：

• - normal（默认，适中动作）
• INLINECODE16（平静，适合新闻播报/讲故事）
• INLINECODE17（活泼，适合演唱/活动主持）

2. Qwen TTS — 文字转语音

适用场景：需要从文字生成语音文件（配合 LivePortrait、EMO 等使用）。

默认模型：INLINECODE18

场景自动选模型

可用音色

CODEBLOCK5

3. T2I 文生图 — 万相2.x

适用场景：根据文字描述生成高质量图片（可后续接 I2V 生成视频）。

CODEBLOCK6

模型选型：

• - wan2.2-t2i-flash（默认，快速，适合测试）
• INLINECODE46（质量更高）
• INLINECODE47（最新，支持更宽高比，同步调用）

常用尺寸：1280*1280（1:1）/ 960*1696（9:16 竖版）/ 1696*960（16:9 横版）

4. I2V 图生视频 — 万相2.x

适用场景：将图片生成为动态视频，支持从文字一条龙到视频。

CODEBLOCK7

模型选型：

• - wan2.6-i2v-flash（默认，含音效，支持5/10s）
• INLINECODE52（高质量预览版）
• INLINECODE53（无声，较快）

5. AA AnimateAnyone — 全身动画

适用场景：有人物全身照 + 参考动作视频，生成人物跳舞/动作视频。

要求：

• - 图片：单人全身正面，头到脚完整，宽高比 0.5~2.0
• 视频：全身入镜，首帧开始即全身可见，mp4/avi/mov，fps≥24，2~60s

三步流程：
CODEBLOCK8

CODEBLOCK9

格式自动转换：视频 webm/mkv/flv → mp4；图片 webp/heic → jpg；fps<24 → 24fps

6. EMO — 人像口播（旧版）

注意：推荐优先使用 LivePortrait，EMO 适合对口型精度要求高的场景。

CODEBLOCK10

7. 灵眸数字人 — 企业级模板视频

适用场景：企业数字人播报、模板化新闻视频、上传人物图片并结合口播脚本生成模板播报视频。

新工作流（优先无 template_id）

• - 若用户给了 template_id：直接使用该模板生成
• 若用户没给 template_id：

• - 但要注意：公共模板复制成功后，复制出的模板不一定立刻就是“可直接生成视频”的成熟模板；有些复制结果仍是草稿，可能缺少有效片段、素材或变量绑定，需要在灵眸侧补完
• 若用户只给了图片和“做个口播视频”的要求，但没有明确脚本：先向用户确认口播文案，再继续生成

当前脚本能力

INLINECODE57 现在支持：

• - --list-templates：列出账号下已有模板
• INLINECODE59：列出公共模板（SDK 1.7.0+）
• INLINECODE60：复制最多 3 个公共模板（SDK 1.7.0+）
• 不传 --template-id：随机选择一个已有模板
• 当本地模板为空时：自动尝试复制公共模板作为兜底
• INLINECODE62：查看模板详情与可替换变量
• 自动把输入文案填入模板里的 text 变量（优先 text_content / test_text）
• 当公共模板复制后直接生成失败时，明确报错提示用户该模板仍需完善，而不是静默失败

CODEBLOCK11

对话式使用约定

当用户说：

• - “用这张图做一个口播视频”
• “帮我做个数字人口播”
• “上传图片，做个播报视频”

按下面流程执行：

1. 1. 判断用户是否已经给出可直接播报的文案/脚本
2. 如果没有，就先追问一句：“口播的具体文案是什么？你也可以只给我要点，我来帮你整理成适合播报的脚本。”
3. 拿到脚本后，调用灵眸流程：优先随机已有模板；无本地模板时再尝试公共模板复制
4. 如果用户上传了人物图片，但当前模板式灵眸接口并不需要该图片，明确告诉用户：这一路径主要依赖模板；若要强制使用用户图片做人像口播，应改走 LivePortrait / EMO

API 参考文档

• - LivePortrait: https://help.aliyun.com/zh/model-studio/liveportrait-api
• EMO (emo-detect + emo-v1): references/emo-api.md
• AA (Animate Anyone): references/aa-api.md
• T2I (文生图V2): https://help.aliyun.com/zh/model-studio/text-to-image-v2-api-reference
• I2V (图生视频): https://help.aliyun.com/zh/model-studio/image-to-video-api-reference/
• Qwen TTS: https://help.aliyun.com/zh/model-studio/qwen-tts-realtime
• 灵眸 (LingMou): references/lingmou-api.md
• OSS 上传: references/oss-upload.md