[具身智能-262]：全连接网络网络的组成与定义

全连接网络可以说是神经网络的“地基”了也是我们理解更复杂模型比如CNN、Transformer的起点。它其实就是最朴素、最标准的多层感知机其核心逻辑非常直观——就是让相邻的两层神经元“全员互联”。下面我就从定义、组成结构和核心特性这三个维度带你把全连接网络拆解清楚 定义什么是全连接全连接网络是指网络中相邻两层的神经元之间存在全互连关系。连接规则第 L 层的每一个神经元都与第 L1层的每一个神经元有一条连接边。数学本质这种连接方式在数学上对应的是矩阵乘法。如果输入是一个向量全连接层本质上就是对输入向量进行一次线性变换 yWxb 。 核心组成结构一个标准的全连接网络通常由以下三个部分按顺序堆叠而成输入层功能接收原始数据。形态通常是一个一维向量。如果是处理表格数据如房价预测输入就是特征向量面积、位置、房龄。如果是处理图像如MNIST手写数字需要将二维图片28x28像素“拉直”成一个长向量784维。隐藏层这是网络进行“特征提取”和“非线性变换”的核心区域。每一个隐藏层节点都包含两个计算步骤线性加权求和每个神经元接收来自上一层所有神经元的信号每个信号乘以对应的权重加上偏置然后求和。公式z∑(xi⋅wi)b文本- $ x_i $ 上一层的输出。 - $ w_i $ 连接权重代表该输入的重要性。 - $ b $ 偏置调节神经元的激活阈值。激活函数线性求和的结果 zz 会通过一个非线性激活函数如ReLU, Sigmoid产生该神经元的最终输出 aa 。公式aActivation(z)*正如你之前了解的这一步赋予了网络拟合复杂非线性问题的能力。*输出层功能输出最终的预测结果。形态节点的数量取决于任务需求。二分类1个节点输出概率如0.8表示80%是正类。多分类N个节点配合Softmax函数输出属于每一类的概率分布。回归1个或多个节点直接输出数值。️ 图解全连接网络想象一个三层网络1个输入层1个隐藏层1个输出层输入层有3个节点 x1,x2,x3。隐藏层有4个节点 h1,h2,h3,h4。连接 x1x1​ 会分别连接到 h1,h2,h3,h4 x2也会分别连接到 h1...h4 。参数量仅这两层之间就有 3×412 个权重参数。⚖️ 全连接网络的优缺点优点万能拟合器根据通用近似定理只要隐藏层节点足够多一个包含单隐藏层的全连接网络可以以任意精度逼近任何连续函数。结构简单逻辑清晰易于实现和理解是入门深度学习的首选。缺点参数量爆炸这是全连接层最大的痛点。因为“全连接”如果输入是 1000×1000的图片100万像素隐藏层有1000个节点那么仅这一层就有 10910亿个参数这会导致计算极慢且容易过拟合。空间信息丢失处理图像时必须把图片拉直成向量这破坏了图像的二维结构相邻像素的关系被切断。 总结全连接网络是神经网络的“基本骨架”。在处理表格数据时它依然是主力。在处理图像/语音时它通常不单独使用而是作为卷积神经网络或Transformer的最后几层负责将提取到的特征进行整合输出最终分类结果。