乐乐论坛 - 激活函数
type: channel
link: https://bbs.leleweb.cn/tag/%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0/
items: 深度学习基础：零基础入门教程

深度学习基础：零基础入门教程
type: item
date: 2026-06-08T15:00:54+08:00
description: 深度学习基础：零基础入门教程引言在人工智能的浪潮中，深度学习无疑是最闪耀的明星之一。从语音助手到自动驾驶，从医学影像诊断到推荐算法，深度学习正在重塑我们的世界。然而，对于许多零基础的学习者来说，深度学习往往被视为一个高不可攀的领域——复杂的数学公式、晦涩的术语、庞大的代码库，似乎都在劝退初学者。但事实并非如此。深度学习的基础概念其实非常直观，只要掌握正确的学习路径，任何人都能理解其核心原理，并开始构建自己的模型。本文将为你提供一份从零开始的深度学习入门指南。我们将从最基本的神经元概念出发，逐步深入到神经网络的结构、训练过程以及实际应用。无论你是编程新手，还是希望拓宽知识面的技术爱好者，这篇文章都将为你奠定坚实的基础。让我们开始这段探索之旅吧！第一部分：从神经元到神经网络1.1 什么是神经元？深度学习的核心是人工神经网络，而神经网络的基本单元是“神经元”。这个灵感来源于生物神经元——人脑中约860亿个神经元通过电信号相互连接，形成复杂的网络。人工神经元则是对这一过程的数学抽象。一个简单的人工神经元包含以下部分：输入：接收来自其他神经元或外部数据的信号，通常用向量 ( x = [x_1, x_2, ..., x_n] ) 表示。权重：每个输入都有一个权重 ( w_i )，代表该输入的重要性。权重是模型学习的参数。偏置：一个额外的参数 ( b )，用于调整神经元的激活阈值。加权求和：神经元将输入与对应权重相乘后求和，再加上偏置：( z = \sum_{i=1}^{n} w_i x_i + b )。激活函数：对加权求和结果进行非线性变换，输出最终值 ( a = f(z) )。激活函数是深度学习的关键，它使网络能够学习复杂的模式。例如，一个最简单的神经元可以用于二分类问题：如果加权和大于某个阈值，输出1（正类）；否则输出0（负类）。这种结构被称为“感知器”（Perceptron），由Frank Rosenblatt在1958年提出。1.2 激活函数：让网络“活”起来如果没有激活函数，神经网络就只是一系列线性变换的叠加，无论层数多少，最终都等价于一个线性模型。激活函数引入非线性，使网络能够拟合任意复杂函数。以下是几种常见的激活函数：Sigmoid：输出范围在(0,1)之间，常用于二分类的输出层。公式：( \sigma(z) = \frac{1}{1 + e^{-z}} )。缺点是当输入绝对值很大时，梯度趋近于0，导致“梯度消失”问题。ReLU（Rectified Linear Unit）：当前最流行的激活函数，公式为 ( f(z) = \max(0, z) )。计算简单，能有效缓解梯度消失，但可能导致“神经元死亡”（输出始终为0）。Tanh：输出范围在(-1,1)之间，类似Sigmoid但中心对称，常用于隐藏层。选择激活函数时，通常隐藏层优先使用ReLU或其变体（如Leaky ReLU），输出层则根据任务选择（回归用线性函数，二分类用Sigmoid，多分类用Softmax）。1.3 构建神经网络：从单层到多层单个神经元的能力有限——它只能学习线性决策边界。要解决更复杂的问题，我们需要将多个神经元组合成层，并将多个层堆叠起来。这就是深度神经网络（Deep Neural Network, DNN）的基本思想。一个典型的神经网络包含三类层：输入层：接收原始数据，每个神经元对应一个特征。隐藏层：位于输入和输出之间，负责提取特征和模式。深度学习的“深度”就是指隐藏层的数量。输出层：产生最终预测结果。例如，一个用于手写数字识别（MNIST数据集）的网络可能包含：输入层（784个像素值）、两个隐藏层（每层128个神经元，使用ReLU）、输出层（10个神经元，对应0-9数字，使用Softmax函数输出概率分布）。第二部分：训练神经网络——学习的过程2.1 损失函数：衡量模型好坏训练神经网络的目标是让预测结果尽可能接近真实值。损失函数（Loss Function）就是衡量这种差距的工具。常见损失函数包括：均方误差（MSE）：用于回归问题，计算预测值与真实值差的平方和。交叉熵损失（Cross-Entropy Loss）：用于分类问题，衡量预测概率分布与真实分布之间的差异。例如，在猫狗分类任务中，如果真实标签是“猫”（1），而模型预测“猫”的概率为0.8，则交叉熵损失为 -log(0.8) ≈ 0.223。损失越小，模型越好。2.2 反向传播：让错误“倒流”有了损失函数，我们如何调整网络参数（权重和偏置）来减小损失？答案是反向传播（Backpropagation）。这是深度学习中最核心的算法之一。反向传播的基本思想是：从输出层开始，计算损失对每个参数的梯度（偏导数），然后沿着梯度相反的方向更新参数。这个过程依赖于链式法则——微积分中用于计算复合函数导数的方法。…