直接说结论：现在让 AI 给用户 "模拟一个真人"，在单段对话、标准话术、固定形象的场景里已经能做到以假乱真；但要做成一个长时间在线、形象不崩、动作自然、说话懂语境、记得住关系、情绪接得住的 "真人级" 对象，难度依然很高。难点不只是把脸做像，而是形象高保真、动作自然多样、语音语义协调、长时稳定与人格记忆这几件事要同时成立，再叠加实时推理成本、共情真实性和伦理隐私约束。公开评测显示，现有模型在长程人格一致性和历史轨迹记忆上仍不可靠，轨迹准确率平均只有 44.4%，用户状态回忆接近随机水平；也就是说，单看某一句回复很流畅，不等于它能一直像同一个真人。下面按技术链路把 "模拟真人" 要过的关卡、各自卡点和当前进度拆清楚。
一、先分清两种 "模拟真人"：长得像，还是想得像
行业里说的拟人化对象，大致分两条路线，难点也不一样：
| 类型 | 核心目标 | 主要技术栈 | 当前成熟度 |
|---|---|---|---|
| 形象型数字人 / 机器人 | 外观、表情、动作、声音接近真人，用于直播、讲解、接待、陪伴 | 3D 建模或神经渲染、动作生成、语音合成、唇形驱动、实时推流 | 标准化话术场景较成熟，实时互动和长时稳定仍在攻关 |
| 人格型 AI 分身 / 伴侣 | 记住用户、延续人格、在新情境下答得像本人 | 大语言模型、长期记忆、人格约束、偏好对齐、情感策略 | 短对话可用，长程人格保持、新情境预测和真实共情仍是短板 |
用户感知到 "像真人"，往往是两层叠加：一是屏幕里的人长得真、动得真；二是对话对象性格稳、记得住事、反应接得住。任何一层掉链子，都会立刻暴露机器感。
二、形象这一关：高保真与身份一致性
1. 面部像不像，先撞恐怖谷
面部僵硬、五官失调、皮肤质感塑料，是观众一眼识破数字人的最常见原因。皮肤有次表面散射，头发是精细几何加复杂光交互，布料和毛发各有各的物理模拟难度；静态特写靠硅胶皮肤、毛发植入等工艺可以短暂跨过恐怖谷，但一旦开口、转头、做表情，动态破绽就会出现。
2. 换装、换背景后身份不能变
商业化场景里经常需要换服装、换背景、切场景，这要求生成与编辑全链路同时保住两件事：高保真度和身份一致性。同一个人在不同镜头、不同服装下，脸型、五官比例、外观风格必须锁得住，否则就会出现跨镜头崩脸、漂移。
3. 硬件层面的自由度差距
实体仿生机器人还受机械结构限制。公开资料提到，人手约有 25～27 个自由度，行业高端灵巧手目前做到约 22 个；人体全身可独立运动关节约 200 个，部分消费级产品标称 88 个自由度，且更多向面部微表情倾斜，肢体精细操控相对弱化；力控、触觉、温度感知等多维交互能力也缺乏成熟支撑。
三、动作这一关：自然、多样、跟语义对上
1. 从 "木偶戏" 到 "真人感" 的两类难题
- 动作库循环：有限预设动作反复播放，观众很快疲劳、留存下降。
- 动态生成不稳：直接生成动作又容易出现关节扭曲、物理关系不合理、手部穿帮。
长时直播要求动作既有单个质量（流畅、自然、物理合理），又有长序列多样性和可控性，这两件事在同一个模型里同时满足并不容易。以美团智播团队的 MoTiGA 动作为例，它把大语言模型自回归范式引入人体动作生成，用因果卷积消除训练和推理不一致，重建 FID 从 0.114 降到 0.031；在 HumanML3D 数据集上 FID 为 0.041，较基线降低 82.3%，动作自然度接近真实人体分布。
2. 手势要跟语义绑定，不只是跟着节奏点头
真人主播说 "这款用料很足" 会张开双手比划，说 "请看右边链接" 会手指向右侧。现有技术早期主要做自发性手势（点头、摆手），缺少和语义内容深度绑定的协调性手势。流式共语动作生成需要把整段去噪重构为逐 chunk 渐进输出，做到 "边说边动"，延迟不随总时长增长，同时保证长序列手势不衰减、不漂移。
3. 眼神和次要行为决定 "活不活"
迪士尼研究院相关观点提到，只做视线追踪不够，还需要抬眉、短暂移开视线、呼吸引起的头部微颤、自然眨眼这些次要行为，人才会觉得对面是 "活的"。这类微动作数量多、概率低，恰恰是生成模型最容易省略的部分。
四、声音与对话这一关：音画一致、应答准确
1. 语音要贴合语义和情绪
合成语音已经从复刻相似音色，升级到匹配语义意图的情感表达：通过多模态预训练学习语言内容与声音表现的关系，做声纹对齐，再用强化学习优化韵律、停连、重音、语气和情绪变化。难点在于复杂情绪（悲伤、愤怒）的过渡仍显生硬，公开访谈中提到复杂情感对话的情绪识别准确率还有提升空间。
2. 唇形和语音必须毫秒级同步
早期机器人或数字人口型只能匹配有限预设片段，实时对话时口型语音延迟可达 200～300 毫秒；通过机械结构改造、中文发音数据微调、预计算机制等手段，部分方案已把延迟压到 50 毫秒以内，人眼难以察觉。多模态系统还要把语义理解、肢体规划、实时渲染、编解码传输、大模型推理整条链路并行联动，做到毫秒级同步。
3. 共情是话术技巧，不等于真的理解
研究显示，GPT-4 在 "认知共情" 和 "情感共情" 量表上的得分均显著低于人类平均水平。当前情感模型更多掌握了共情话术：用户说被上司骂了，AI 会接 "那你一定很委屈吧"，但并不真的觉得委屈。流畅交互本质仍是数据训练结果，缺少真实关系里不完美的生命力。
五、人格与记忆这一关：长程不崩，是最难的部分
1. 两种长程失败：人格崩塌与行为漂移
评测研究把长时陪伴失效分成两类：人格崩塌是角色、边界、价值观、风格直接丢失；行为漂移是这些属性缓慢或反复地被侵蚀。一项覆盖 2008 段对话、27 个人格、4 种模型的 Anchor 审计显示：没有被测模型和配置能同时稳定保住人格演绎和轨迹记忆；轨迹准确率平均仅 44.4%，用户状态回忆接近四选一随机水平（0.214～0.250），且没有哪种上下文或记忆设置能稳定解决这些问题。
2. 长期记忆会漂移、遗忘
Transformer 架构面对超长序列注意力会衰减，对久远信息容易遗忘、对近期内容印象更深；系统更新后还可能出现人格回退、丢失共同记忆和语气。业界用三层记忆建模、自我对齐、记忆摘要分层等方式缓解，但记忆写入、保留、检索和时序顺序任一环出错，就会出现 "忘了之前设定"" 记错先后顺序 " 这类出戏问题。
3. 聊得久，不等于新情境答得像你
麻省理工等机构的 HugAgent 研究覆盖 54 名参与者、1742 个评测项，测试多款主流模型：
| 任务表现（以 GPT-4o 为例） | 无本人访谈 | 加入完整访谈 |
|---|---|---|
| 推断当前信念（Belief State Inference） | 依赖人口统计信息 | 明显提升 |
| 新情境下态度更新（Belief Dynamics Update） | 39.83% | 63.11% |
补充结论更关键：访谈长度增加，当前信念推断会持续变好，但新情境预测并没有同步稳定提升；换到别人的访谈，准确率几乎跌回无个人信息水平。在医疗领域，模型一旦判断态度会变，对变化方向的判断准确率有 88.89%，但判断 "这个人究竟会不会变" 只有 49.36%—— 知道信息会往哪个方向推人，比判断人会不会被改变更容易。
4. 人格漂移需要持续约束
公开机器人研究观察到，大模型在长对话中容易退回助手口吻或默认免责声明，破坏角色感；轻量做法是每轮注入压缩后的人格提醒（角色、语气、行为边界），但提示词工程 alone 不够，还需要实时监测拦截出戏回复，并做自适应人格建模。
六、工程与成本这一关：实时、并发、稳定在线
- 长时稳定在线：7×24 小时运行要避免形象漂移、画面卡顿、误差累积，需要短期记忆锁相邻帧连贯、长期记忆锁人物样貌和场景基底，配合关键特征回溯和跨片段一致性约束。
- 画质与延迟平衡：视频扩散模型少步蒸馏容易失真、闪烁、动作僵硬，需要教师模型打分校准、历史时序复用、异构流水线优先出首帧、后续帧异步运算。
- 万路并发成本：数万家商家同时开播，若每路独占大量 GPU，推理成本线性膨胀；要靠视觉 token 渐进压缩、多智能体协同和推理加速，把单路开销压下来，数字人才能走向普惠。
- 部署门槛：高保真形象定制、全息硬件、线下终端和长期运维，对中小体量企业仍是不小负担；现有不少方案只能套固定话术机械讲解，遇到随机提问会反应延迟、音画错位。
七、伦理、隐私与合规边界
模拟真人越逼真，边界问题越突出：
| 维度 | 主要风险 | 现有约束方向 |
|---|---|---|
| 隐私采集 | 多模态设备在私密空间全时段感知语音、表情、行为习惯甚至生物特征，边界模糊 | 明确授权、数据最小化、加密存储、第三方安全审计 |
| 情感依赖 | 无条件接纳降低防备，老人、儿童等群体容易过度投射，损害真实人际关系 | 不得过度迎合、诱导沉迷，做情感边界引导和依赖风险预警 |
| 身份与标识 | 数字人可能被用于伪造名人言论或诈骗 | AIGC 内容标识，明确提示用户正在与 AI 而非自然人互动 |
| 责任界定 | 拟人化失误、错误建议、关系中断引发情绪伤害 | 保留更正、退出、申诉渠道，风险分级处置 |
国内《人工智能拟人化互动服务管理暂行办法》已于 2026 年 7 月 15 日起施行，要求具备隐私保护、过度依赖预警、情感边界引导、心理健康保护等安全能力，不得把替代社会交往、控制心理、诱导沉迷作为服务目标。
八、落地一个 "模拟真人" 对象的一般流程
结合公开技术方案，从需求到上线通常按下面的顺序推进，实际周期随场景和保真度要求调整：
- 定场景与边界：先明确是直播讲解、客服接待、陪伴对话还是分身复刻，划清能力边界和不能承诺的功能。
- 采集形象与语音数据：多视角照片或视频、语音样本、性格设定和对话语料；授权范围、用途和脱敏方案同步确认。
- 建形象与人格底座：完成面部 / 全身建模或数字人训练，固化角色卡（身份、性格、语气、价值观、行为边界）。
- 接入对话与记忆系统：大模型负责理解和生成，记忆分层存储用户信息与共同经历，人格约束每轮注入并做漂移监测。
- 动作声音协同：接入语音合成、唇形驱动、手势动作生成和眼神微行为，对齐语义与节拍。
- 长时压测与评测：跑长序列对话和多轮会话，核验身份一致性、轨迹回忆、音画同步、异常评分和崩溃恢复。
- 上线运维与回流优化：记录失败案例，回流到偏好优化和模型迭代，持续更新知识库和人格状态。
九、当前能做到什么，还差什么
现阶段已经比较成熟的部分：标准化话术讲解、固定形象的短视频生成、单轮流畅对话、主流语音合成、中端场景的实时驱动；在规则清晰、信息量可控的客服和导览场景，数字人可以稳定值守并输出规范内容。
短期内仍难做到的部分：长时间不崩的人格一致性、准确的历史轨迹回忆、复杂情绪下的真实共情、新情境下像本人一样做判断，以及实体层面有触觉、有温度、灵活做家务的仿生身体。行业普遍判断，"多模态感知 + 大语言模型 + 长期记忆 + 情感策略 + 动作生成" 这套软件栈还需要数年沉淀，硬件电机、材料和触觉反馈也需要突破性进展。
对普通用户来说，更务实的预期是：把当前 AI 当成有明确边界、可随时更正和退出的辅助对象，而不是一个能完整替代真实关系的真人；对做产品的团队来说，模拟真人的竞争已经从单点形象精致度，转向形象、动作、对话、记忆、风控和规模化交付的整套闭环能力。
【相关 FAQ】
问题 1：给用户模拟一个真人，技术上最难的是哪一部分，只是把数字人的脸做像吗？
回答 1：最难的不只是把脸做像。形象高保真只是第一道坎，后面还要过动作自然多样、手势与语义协调、音画毫秒级同步、长时形象不漂移，尤其是人格保持和长期记忆这一关；公开评测中长程轨迹准确率平均仅 44.4%，用户状态回忆接近随机水平，说明 "像真人" 的瓶颈更多在人格连续性和记忆，而不是单纯渲染画质。
问题 2：为什么模拟真人的 AI 聊久了会 "变人设"、忘记之前说过的事？
回答 2：这就是长程人格崩塌和行为漂移问题。大模型在超长对话中注意力会衰减，记忆容易遗忘或记错时序，系统更新也可能让角色退回通用助手口吻；加上人格约束、记忆写入和检索任一环出错，就会出现人设走样、忘记共同经历。目前需要人格提醒注入、分层记忆、实时漂移监测和反馈回流一起缓解，但还做不到完全稳定。
问题 3：现在的 AI 模拟真人能真正共情、理解用户情绪吗？
回答 3：还不能做到真正理解。现有情感模型更多是掌握了共情话术技巧，能根据情绪识别模板给出安慰式回应，但研究显示其认知共情和情感共情得分仍低于人类平均水平；复杂情绪过渡也偏生硬。它可以作为倾听和情绪疏导的辅助，但不应被当作能产生真实情感联结的真人替代。
问题 4：模拟一个真人需要采集哪些数据，隐私和合规上有什么要求？
回答 4：通常需要采集形象照片或视频、语音样本、性格设定、对话语料以及互动中形成的记忆信息；拟人化设备还可能感知表情、行为习惯等生物特征。合规上需要明确授权和用途、做数据脱敏与加密存储，履行 AIGC 内容标识义务，提示用户正在与 AI 交互，同时设置情感边界引导、过度依赖预警和心理健康保护，不得诱导用户沉迷或替代真实社交。
【参考资料】
- [2026-10-11]（麻省理工：靠访谈让 AI 模拟真人，这条路能走多远？）36 氪
- [2026-09-03]（美团智播 —— 数字人直播技术创新与实践）美团技术团队
- [2026-08-19]（瞭望・热点解析｜机器人能否实现 "完美" 陪伴）瞭望周刊社
- [2026-07-30]（讯飞首发实时生成技术！像真人主播一样临场应变，表情动作实时刷新）腾讯新闻
- [2026-07-01]（有风来丨 "赛博伴侣" 真的来了，谁会为此买单？）潮新闻
- [2026-06-29]（仿生伴侣，还是昂贵的玩偶？）中国新闻网
- [2026-07]（Best Friends, Not Forever: Evaluating Long-Horizon Persona Collapse and Behavioral Drift in AI Companions）arXiv
- [2026-05]（The Fragility of AI Companionship: Ontological, Structural, and Normative Uncertainty in Human-AI Relationships）arXiv
- [2025-06-05]（Designing Social Robots with LLMs for Engaging Human Interaction）Ghent University Academic Bibliography
【免责声明】
本文基于公开媒体报道、学术论文、厂商技术博客及行业访谈整理，所涉技术指标、评测数据、自由度参数、准确率与成本预测均来自对应来源的特定实验或场景，不同模型、硬件、部署环境和评测口径下结果会有差异；文中观点不构成产品选型、医疗心理建议或投资依据。数字人、AI 伴侣及仿生机器人相关功能以各厂商官方披露和实际交付为准，涉及真人复刻、情感陪伴和个人数据的使用，请遵守现行法律法规及平台规则。读者据此作出的判断或决策，需自行核实并承担相应风险。