AI产品经理：深度学习知识

深度学习是近年来发展最快的机器学习分支。它是一类基于深度神经网络及其训练方法的统称。深度学习的核心思想在于通过深层网络的结构和训练，自动从数据中学习特征表示，从而优化模型的表现。

🥵 神经网络

生物神经元的基本结构与功能

组成部分：

树突：接收信号。
细胞体：处理信号。
轴突：传递信号。
突触：连接其他神经元。

工作机制：

神经元有两种状态：抑制状态与兴奋状态。
兴奋状态下，神经元会通过电信号将信息传递给下一个神经元。
信号流向：树突接收 → 细胞体处理 → 激活后通过轴突与突触输出信号。

人工神经元的结构与机制

组成部分：

输入：接收原始信号或前一神经元处理的信号。
处理：通过连接权重对输入信号加权处理（计算加权和）。
激活：激活函数判断是否满足条件。
输出：产生信号传递至下一层。

与生物神经元的相似性：

模仿生物神经元的信号传递与激活机制。
以多层人工神经元的连接与组合构建神经网络。

😆 感知机与多层感知机

感知机

感知机是最小可学习的神经网络，由一个人工神经元组成。

感知机能够对输入数据进行简单的线性分类。

多层感知机

多个感知机通过层级连接构成多层感知机（MLP, Multi-Layer Perceptron）。

结构包括：

输入层：接收原始数据。
隐藏层：对数据进行特征提取。
输出层：输出最终结果。

多层感知机中的各层之间为全连接层。

🥰 深度学习的优化

优化本质

深度学习是一种优化问题的方法，其效果取决于：

网络结构：网络的建模方式。

参数调整：通过数据训练得到的权重参数。

通过优化网络结构和参数，深度学习能够在不同场景中得到最优模型。

数学模型

深度学习可以看作是一个数学模型：

构建公式。

学习参数。

最终得到解决问题的表达式。

表征学习能力

深度学习的强大之处在于：

学习数据中的深层特征信息。

本质上是一种通用的信息处理算法，具备强大的表征学习能力。

😇 深度学习的发展与局限性

发展驱动因素

算力：云计算、大规模GPU/TPU等硬件的发展。

数据：海量数据的收集和管理。

算法：技术路线不断改良，出现两大方向：

“大”路线：大模型、大算力、大数据。
“小”路线：小模型、小算力、小样本。

发展的技术路线

维度	“大”路线	“小”路线
模型	超大规模预训练模型（如 GPT-3，基于 Transformer）	小型模型（如 MobileNet，针对端场景优化）
特点	强调表征能力，处理复杂任务	注重经济性，在低算力和存储情况下保持较高精度
算力	利用大规模算力实现分布式训练和推理	极限优化小算力的利用
数据	利用更多数据以提升泛化能力	研究小样本学习，通过少量数据实现模型训练
应用场景	云端计算：有丰富算力支持，集中解决中心化问题并突破问题边界	终端计算：算力和存储受限，注重经济性和快速响应

发展的局限性

局限性	描述	影响
数据贪婪性	依赖大量数据，数据收集、标注成本高，且存在长尾效应（未见过样本识别效果差）。	高数据成本、难以覆盖稀缺场景（如交通事故数据、制造缺陷数据）。
可解释性弱	神经网络为“黑箱”，难以追踪模型决策的具体来源。	在关键场景（如自动驾驶事故）中无法追根溯源，影响信任和使用安全性。
泛化能力弱	模型在相似场景中的性能下降，对扰动敏感（如特制眼镜干扰人脸识别）。	在安全场景（如自动驾驶、高精密检测）中可能造成灾难性后果。

未来可研究方向

研究方向	目标与意义
无监督学习	减少对标注数据的依赖，降低数据成本。
小样本学习	提升模型在稀缺数据场景下的学习能力，缓解数据贪婪性问题。
可解释AI	增强模型透明性和可控性，提高关键场景下的信任度和安全性。
隐私计算	保护数据隐私，解决数据共享中的敏感问题，为更多领域的数据使用创造条件。
大规模自监督预训练	构建通用化模型，进一步提升泛化能力，减少对场景切换的影响。

🥳 关系整理

从归属上看，深度学习是机器学习的子集，而机器学习是AI的子集。

机器学习又可分为监督学习、无监督学习、强化学习，而这三种算法与深度学习是一种交叉关系，也就是它们中有一部分属于深度学习。