深度学习作为人工智能领域的一个关键技术，通过模拟人类大脑的工作方式来处理数据和识别模式，已被广泛应用于自动驾驶、医疗诊断等多个领域。
深度学习简介
深度学习是一种使用神经网络通过模拟人类大脑处理数据和创建模式的算法技术。神经网络由多层的“神经元”组成，这些神经元可以学习输入数据中的复杂模式。
因此，深度学习即深度神经网络模型，一般指网络层数在三层或者三层以上的神经网络结构。所以，关于深度学习，其实就是在学习如果构建出一个高效可用的神经网络模型。
神经网络组成
神经网络的主要架构是由神经元、层和网络三个部分组成的。而整个神经网络是由一系列基本的神经元，通过权重相互连接组成的。
- 神经元：神经元是网络中的基本单元，负责接收输入并根据激活函数产生输出。
- 层：神经元按层组织，包括输入层、隐藏层和输出层。
- 输入层：直接从外部接收数据，不进行计算。
- 隐藏层：位于输入层和输出层之间，负责处理数据，执行计算。
- 输出层：产生最终结果，如分类或回归输出。
- 连接：层内的神经元通过权重连接，这些权重在训练过程中调整，以学习数据中的特征。
学习机制
学习过程基于调整连接权重。如果输出与预期一致，则权重保持不变；如果输出不正确，权重将根据误差调整，增强或减弱，以优化网络的预测能力。网络学习的目标是达到输出的收敛，即预测值与实际值尽可能接近。
神经网络类型
根据信号传递的方向和方式，可以将网络大致分为前馈神经网络（Feedforward Neural Networks）和反馈神经网络（Feedback Neural Networks）。
前馈神经网络（Feedforward Neural Networks, FNN）
前馈神经网络是最常见和广泛使用的神经网络类型之一。在这种网络结构中，信息仅在一个方向上流动——从输入层，通过隐藏层（一个或多个），最终到达输出层。这种结构的关键特点是网络中不存在任何循环或回路，即神经元的输出不会以任何方式反馈到自身。
常见的前馈神经网络类型：
- 多层感知机（Multilayer Perceptrons, MLP）：是最基本的前馈神经网络，通常包括一个输入层、多个隐藏层以及一个输出层。每个层都是全连接层，即每个神经元与前一层的每个神经元相连接。
- 卷积神经网络（Convolutional Neural Networks, CNNs）：特别适合处理具有明显空间结构的数据，如图像。CNNs利用卷积层来有效提取空间特征，通常还包括池化层（降低维度和处理量）、全连接层和规范化层。
- 深度残差网络（Deep Residual Networks, ResNets）：通过引入残差学习的概念来解决深层网络训练中的梯度消失问题。在这种网络中，通过跳跃连接（skip connections）将输入直接添加到更深层的输出上。
反馈神经网络（Feedback Neural Networks）
反馈神经网络是另一种类型的网络，在这种网络中，输出可以回馈到输入层或网络中的前层。这种反馈机制使网络能够具有记忆功能，处理与时间相关的动态行为。反馈神经网络通常用于处理序列数据，如语音、文字或时间序列数据。
常见的反馈神经网络类型：
- 循环神经网络（Recurrent Neural Networks, RNNs）：在这种网络中，连接形成一个定向循环。这使得网络能够维持一个内部状态，用来处理输入序列中的信息。RNNs在自然语言处理和其他序列任务中尤其有效。
- 长短期记忆网络（Long Short-Term Memory, LSTM）：是RNN的一种扩展，设计用来解决传统RNN在学习长序列数据时面临的梯度消失问题。LSTM通过引入三个门（输入门、遗忘门和输出门）来控制信息的流动，使网络能够学习到更长时间范围内的依赖性。
- 门控循环单元网络（Gated Recurrent Unit, GRU）：GRU是LSTM的简化版本，只有两个门（更新门和重置门）。它简化了模型结构，同时保持了类似LSTM的性能，使其在某些情况下更高效。
激活函数
激活函数在神经网络中扮演着至关重要的角色。它们决定了一个神经元是否应该被激活，帮助网络具有学习复杂数据模式的能力。激活函数为网络引入非线性因素，这是神经网络可以解决线性模型无法解决问题的关键因素之一。
大多数情况下，激活函数主要被用于将单元的较大输出转换成较小的值。
常见的激活函数
- Sigmoid或Logistic函数：
- 公式：
- 特点：将输入值压缩到0和1之间，通常用于输出层的二分类任务。然而，它容易导致梯度消失问题，因为输出的梯度非常小，特别是输入在较大或较小值时。
- Tanh（双曲正切函数）：
- 公式：
- 特点：输出范围是-1到1，比Sigmoid函数数据分布更均匀，更适合在隐藏层中使用。
- ReLU（线性整流函数）：
- 公式：
- 特点：对于正输入保持不变，对于负输入则输出0。它是最流行的激活函数之一，因为它在正区间内解决了梯度消失问题，计算效率高。
- Leaky ReLU：
- 公式：
- 特点：为负输入值提供一个非零的梯度 α，可以改善ReLU的死区问题。
- Softmax函数：
- 公式：在多类分类的输出层使用，计算每个类的概率，其公式为
- 特点：输出的总和为1，因此它们可以解释为概率分布。
损失函数
损失函数（或代价函数）是用来估量模型的预测值与真实值之间的不一致程度。它是训练过程中优化的关键，因为优化算法（如梯度下降）通过最小化这个函数来更新权重。
常见的损失函数
- 均方误差（MSE, Mean Squared Error）：
- 公式：
- 应用：广泛用于回归问题。
- 交叉熵损失（Cross-Entropy Loss）：
- 二分类交叉熵公式：
- 多类分类交叉熵公式：
- 应用：最常用于处理分类问题中的模型评估。
- Hinge Loss：
- 公式：
- 应用：主要用于“最大间隔”分类，特别是支持向量机。
- Huber Loss：
- 公式：结合了MSE和MAE（平均绝对误差），对异常值不那么敏感。
- 应用：在回归问题中，当数据包含异常值时使用。
参考\推荐
- Author:CoderWdd
- URL:https://www.wuinsights.top//article/01HZ1T700945B2X6XPBTDE97RE
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts
