AI产品经理：多模态方法与融合应用

任务	定义	方法与挑战
表征	获取多模态互补信息，剔除冗余，得到高维特征向量。	联合表征（相同特征空间）与协同表征（不同特征空间但互有关联）。
转换	将一种模态的信息转换为另一种模态，如语音合成、图片描述等。	异构数据转化过程开放且主观，如“看图说话”任务中的多种描述可能性。
对齐	将多模态信息间建立对应关系，如图片区域与文字描述的匹配。	缺乏标注数据集、模态相似性难以度量，不同模态的对应关系可能不存在。
融合	整合多模态信息实现分类、回归等任务。	方法包括早期融合（数据级）、晚期融合（模型级）、混合融合（结合早期和晚期）。
协同学习	利用资源充足模态辅助资源稀缺模态建立模型。	包括协同训练（生成更多标注数据）、迁移学习（迁移特征表示）。

应用	描述	特点与技术
视觉问答 (VQA)	在视觉理解基础上通过自然语言回答问题（“看图回答问题”）。	特征提取 + 多模态融合（图像特征与文本特征）。
视觉常识推理 (VCR)	结合图像和语言推理能力，需回答问题并给出理由。	不仅回答问题，还需选择答案的依据。吸引谷歌、微软等参与，学术成果丰富。
自动驾驶	多传感器融合（如激光雷达、摄像机）感知路况，实现驾驶决策。	对路侧信息的融合感知和决策安全性要求极高，典型的多模态数据融合应用。
机器人	识别语音和视觉信息，生成语音或执行动作。	高阶智能需融合语音和视觉，理解场景与需求。
虚拟数字人	数字化形象，依赖语音和视觉生成多模态内容（如情感语音与动作）。	涉及多模态内容生成，是通向通用AI的重要形态。