摘要
随着计算机对海量数据处理能力的提升,人脸识别技术得到了快速的提高,同时也成为众多研宄人员研宂的热门课题。人脸的性别和年龄无疑是人类身份识别的重要信息之一。并且人脸性别识别和年龄估计对于智能商业,人口普查,人口老龄化分析等众多领域有着很广泛的应用前景。因此,本文使用深度学习的方法对由志愿者使用智能手机拍摄上传的标记有性别数据集进行了性别识别和年龄段估计的研宄。本文主要完成的工作有::本文旨在研究基于深度学习的人脸性别识别方法。随着人工智能技术的飞速发展,人脸性别识别作为生物特征识别领域的一个重要分支,在智能监控、人机交互、个性化推荐等多个领域展现出广泛的应用前景。本文首先介绍了人脸性别识别的研究背景、目的与意义,以及国内外在该领域的研究现状。随后,详细阐述了深度学习的发展历程、常用的人脸数据库、深度学习与卷积神经网络中的基本概念和经典卷积网络模型,为后续的研究奠定了坚实的理论基础。在人脸检测阶段,本文采用了基于TensorFlow框架的两种主流目标检测算法:基于Resnet101的FasterR-CNN和基于Mobilenet的SSD。通过对这两种算法的设计与实现,本文实现了对人脸的快速准确检测,为后续的人脸性别识别提供了可靠的数据支持。在人脸性别识别实验部分,本文首先进行了实验环境的搭建和数据集的选择与预处理。通过对比不同模型在相同数据集上的表现,本文选择了合适的评价指标,并对模型进行了训练与优化。实验结果表明,本文所提出的方法在损失曲线、检测精度mAP、检测效果和检测速度等方面均取得了良好的表现。特别是在检测精度上,本文的方法达到了较高的水平,证明了深度学习在人脸性别识别领域的有效性。最后,本文对研究内容进行了总结,并对未来可能的研究方向进行了展望。本文的研究不仅为人脸性别识别提供了新的思路和方法,也为深度学习在生物特征识别领域的应用提供了新的参考。
关键词:深度学习;人脸性别识别;卷积神经网络;Faster R-CNN;SSD;TensorFlow
Abstract
With the improvement of computers’ ability to process massive amounts of data, facial recognition technology has rapidly advanced and become a hot topic for many researchers. The gender and age of a face are undoubtedly important information for human identity recognition. Moreover, facial gender recognition and age estimation have broad application prospects in many fields such as intelligent commerce, population census, and analysis of aging population. Therefore, this article uses deep learning methods to study gender recognition and age group estimation on a gender labeled dataset captured and uploaded by volunteers using smartphones. The main work completed in this article is: This article aims to study deep learning based facial gender recognition methods. With the rapid development of artificial intelligence technology, facial gender recognition, as an important branch of biometric recognition, has shown broad application prospects in multiple fields such as intelligent monitoring, human-computer interaction, and personalized recommendation. This article first introduces the research background, purpose, and significance of facial gender recognition, as well as the current research status in this field at home and abroad. Subsequently, the development history of deep learning, commonly used facial databases, basic concepts in deep learning and convolutional neural networks, and classical convolutional network models were elaborated in detail, laying a solid theoretical foundation for subsequent research. In the face detection stage, this article adopts two mainstream object detection algorithms based on TensorFlow framework: Faster R-CNN based on Resnet101 and SSD based on Mobilenet. Through the design and implementation of these two algorithms, this article has achieved fast and accurate detection of faces, providing reliable data support for subsequent facial gender recognition. In the experimental section of facial gender recognition, this article first constructed the experimental environment and selected and preprocessed the dataset. By comparing the performance of different models on the same dataset, this article selected appropriate evaluation metrics and trained and optimized the models. The experimental results show that the method proposed in this paper has achieved good performance in terms of loss curve, detection accuracy mAP, detection effect, and detection speed. Especially in terms of detection accuracy, the method proposed in this paper has achieved a high level, proving the effectiveness of deep learning in the field of facial gender recognition. Finally, this article summarizes the research content and looks forward to possible future research directions. This study not only provides new ideas and methods for facial gender recognition, but also provides new references for the application of deep learning in the field of biometric recognition.
Keywords: deep learning; Facial gender recognition; Convolutional neural network; Faster R-CNN; SSD; TensorFlow
目录
摘要 I
Abstract II
1 绪论 6
1.1 研究背景 6
1.2 研究目的与意义 6
1.3 国内外研究现状 7
1.4 主要内容 8
2 相关理论基础 8
2.1 深度学习的发展历程 8
2.2 常用的人脸数据库 9
2.3 深度学习与卷积神经网络中的基本概念 11
2.3.1 卷积神经网络的基本结构 12
2.3.2 深度学习中的训练与测试方法 15
2.4 经典卷积网络模型 18
2.4.1 VGG网络 18
2.4.2 GoogLeNet网络 18
2.4.3 dropout与批量归一化 20
2.3 本章小结 20
3 基于卷积神经网络的人脸检测 21
3.1 TensorFlow 介绍 21
3.2 模型设计 23
3.2.1 基于 Resnet 101 的 Faster R-CNN 23
3.2.2 基于 Mobilenet 的 SSD 25
3.3 本章小结 26
4 基于人脸性别识别实验流程及结果分析 27
4.1 实验环境搭建 27
4.2 数据集的选择和评价指标 27
4.2.1 数据集的选择和预处理 27
4.2.2 评价指标 28
4.3 模型训练 29
4.3.1 Dropout 技术 29
4.3.2 调整学习率 29
4.4 实验结果与分析 30
4.4.1 损失曲线 30
4.4.2 检测精度 mAP 31
4.4.3 检测效果 31
4.4.4 检测速度 33
第 5 章 总结与展望 34
5.1 总结 34
5.2 展望 35
致谢 36
参考文献 37
1 绪论
1.1 研究背景
在日常生活中,人的面部特征在一段时期内基本保持稳定,特别是在成年后,这种特征在一段时间内不会有太大的变化。利用这一特性,可以利用人的面部特征来作为确定一个人身份的重要依据。因此,人脸检测技术已经成为模式识别领域研究的热点课题之一。人脸不仅是众多生物特征中最为关键的一项,它蕴含了丰富的个人信息。通过人脸,不仅可以确定一个人的身份,还可以从其特征中推断出该人的性别、年龄和种族等多方面的特点。因此,研究如何提取和分析人脸图像所携带的个人相关特征就显得非常必要。性别被视为人类的基础生理属性,它拥有普适性、可度量性、独特性以及稳定性等独特属性。性别与人们生活息息相关,它既反映了人们之间的社会关系,也体现着人们对于自身属性认识的发展过程。区分人类的性别是人类最基础的分类方法之一,这种性别分类信息在多个领域都得到了广泛应用。在日常生活中,人们往往以自己的性别来判断别人是否属于同一类别或其他类型,这种判断通常称为性别判断。作为社会的一部分,人类的性别差异导致了他们在社会中的角色定位,而生物性别最终会转变为社会性别。性别识别与性别控制是现代科学技术发展下的产物,也是社会文明进步的重要标志之一。
在日常社会生活中,性别分类起到了关键作用:l)在某些特定的环境中,对性别有严格的权限限制,例如,在某些特定场所,如更衣室、卫生间、浴室等,都会对性别进行严格的权限审查;2)性别相关的信息对于商业服务的发展起到了推动作用,例如,购物系统在获取客户性别信息后,可以为客户提供基于性别的个性化推荐;3)在安全防护系统中,被通缉的罪犯可能只有有限的信息可供搜索,通过对J胜别的分类,可以显著缩小搜索范围,加速侦查进程。这使得性别识别研究在人类社会生活中具有巨大的实际价值。人脸性别识别技术是模式识别领域的一个核心课题,随着计算机人工智能领域的快速发展,它在人脸图像处理方面也取得了新的突破,特别是在计算机图像处理领域的应用,如人脸深度识别的研究,以及基于人的神经模型在人脸处理方面的研究。
1.2 研究目的与意义
人脸图像为基础的性别识别技术在多个行业中都得到了广泛应用,它为表情、年龄等识别提供了关键的基础数据,从而有助于提升人类身份特征的识别精度。随着计算机技术和图像处理技术的发展,计算机对人脸性别识别的能力得到很大的改善,并且取得较好效果。在实际生活中,人们可以依靠经验来识别他人的性别。对于计算机来说,获取人脸的二维图像是相对简单的,但要从大量的人脸信息中区分出性别仍然是一个挑战。因此,针对人脸图像的性别识别方法一直都受到国内外研究者们的重视,并且取得了很多研究成果和成果。至今,基于人脸图像的性别识别领域已经涌现出若干分类技术,并在人脸性别特征的提取上也取得了进展。在过去的20年中,人脸性别识别的研究持续取得突破,其识别准确性也在稳步上升。本研究旨在更精确和高效地识别人脸图像中的性别相关信息。
在众多的图像识别技术中,卷积神经网络在处理二维图像的结构上具有明显的优越性,并且它对于图像中的旋转、位移等形变的识别也展现出了出色的鲁棒性。因此,卷积神经网络应用于图像识别具有很大潜力和广阔前景。尽管卷积神经网络在图像识别领域的应用逐渐完善并提高了准确性,但传统的卷积神经网络在误差反传阶段使用梯度下降方法,这会导致网络收敛速度缓慢,从而浪费大量的计算资源。因此如何加快卷积神经网络在图像处理过程中的运算效率是必须要考虑的一个重要问题。在维持卷积神经网络在图像识别方面的优越性的基础上,为了解决收敛速度缓慢的问题,有必要对卷积神经网络进行更深入的研究。目前,关于如何加快卷积神经网络的运算速度的研究较多,但并没有取得令人满意的结果。本研究旨在利用卷积神经网络技术对人脸图像中的性别进行分类,并寻找一种优化的误差反传策略,以增强卷积神经网络在图像识别领域的表现和收敛速度,这正是本研究的核心价值。
1.3 国内外研究现状
国外研究:在国外,人脸识别技术起步早,发展较为成熟。随着深度学习算法的不断发展和优化,以及大数据、云计算等技术的支持,国外在基于深度学习的人脸性别识别方面也取得了显著进展。例如,通过构建多层次神经网络模拟人脑神经网络的工作机制,利用大量的训练数据集训练深度学习模型,可以自动提取图像中的特征信息,进而实现人脸的性别识别。
国内研究:在国内,基于深度学习的人脸性别识别技术已经取得了显著成果。目前,深度学习驱动的人脸识别已经成为主流技术,有助于推动人脸识别结合素在各行各业的健康发展。例如,在公共安全领域,该技术可以用于追踪犯罪嫌疑人,并辅助警方进行性别判断;在金融领域,该技术可用于远程身份认证,提高交易安全性。
主要内容、研究方法、技术路线
1.4 主要内容
利用OpenCV集成的深度学习框架实现的人脸特征识别应用,它能够识别出图像中人物的性别,要理解深度学习在性别识别中的作用。CNNs擅长从图像中提取特征,通过多层的计算和学习,它们能够识别出图像中的关键元素,如人脸的关键部位,如眼睛、鼻子和嘴巴的位置。在性别识别中,网络可能会学习到与男性或女性脸部特征相关的模式,例如面部轮廓、皮肤纹理和头发长度等。了解如何构建性别网络,这网络可能由多个卷积层、池化层、全连接层和激活函数组成。卷积层用于提取特征,池化层降低数据维度,全连接层则用于分类决策。激活函数,如ReLU,引入非线性,使得模型能学习更复杂的模式。在训练过程中,模型会根据预定义的损失函数(如交叉熵)调整权重,以最小化预测结果与实际标签之间的差异。用户可以将新的人脸图像输入到这个系统,经过预处理(如归一化、尺寸调整等),模型会输出对应的性别区间,从图像中提取人物的性别信息。
(1)研究方法:
数据驱动方法和实验验证方法。收集大量的人脸图像数据,利用深度学习技术进行模型训练和优化。设计合理的实验方案,对模型进行评估和验证。
(2)技术路线:
从IMDB-WIKI数据集中获取人脸图像数据并进行数据预处理(数据增强等)。选择基础的卷积神经网络(CNN)相关模型(ResNet)进行实验。将训练集的图像数据输入模型中计算损失函数值。通过优化器更新模型参数,不断重复此操作,直到性能不再提升。
2 相关理论基础
2.1 深度学习的发展历程
随着深度学习技术的巨大进步,这几年它已经变成了一个非常受关注的研究领域,尤其是在2015年,这对传统的自然语言处理研究产生了深远的影响。深度神经网络在语音识别、人脸识别、文本分类等方面取得了突破性进展,并逐渐被应用于各种场景下的智能信息处理中。深度学习已经替代了许多过去的人工智能成熟技术,吸引了如谷歌、微软、FACEBOOK等全球互联网大公司以及全球知名大学的人工智能实验室的关注。谷歌的最新成果就是将其应用到人工智能中,并取得了不错的效果。在2013年的3月,谷歌决定将由GeoffHinton这位深度学习领域的知名学者所创建的DNNresearch公司纳入其旗下,这一积极的研究氛围和学术环境吸引了众多人工智能领域的专家参与进来。
深度学习虽然是一个新兴且受到广泛关注的领域,但其历史实际上可以追溯到20世纪50年代。随着信息技术的飞速发展以及人工智能技术的兴起,深度学习也在不断地进步和创新,并且已经渗透到社会生活的方方面面,甚至影响到人们日常生活中的许多方面。深度学习经历了三个发展阶段,1958年,心理学家FrankRosenblat使用简洁的输入输出数学模型来模拟类似于大脑神经元的感知器的基础工作机制。此后人们又提出了许多关于深度学习的概念和模型。在这一阶段,深度学习被命名为cyberetics控制论。后来在计算机视觉、语音识别等领域得到了广泛应用,并取得了巨大成功。感知器的理论构成了深度学习中最核心的理论基石之一。
从1980年代至20世纪末,深度学习经历了其第二波的热潮。当时,研究者们对深度学习进行研究。1986年的Rumelhart与McCelland!在他们的文章中首次把人工神经网络引入到人工智能领域,并将其命名为“人工神经网络”.随后,许多研究者相继开始研究基于网络模型的智能系统。27等人提出了BP神经网络的概念。该模型是基于传统神经网络层数有限的假设而设计的一种新的网络结构,它可以通过增加更多的隐含节点来达到扩大网络规模,并使训练速度得到提升。它的核心思想是误差的反向传递。在网络中使用不同的隐含层单元对输入向量进行训练,使之达到一定的精度要求后,再根据此模型预测最终结果。BP神经网络的作用是将误差传达给前置神经元,从而调整各个神经元的权重,这有助于提升实际输出结果的准确性。在这一过程中,由于网络输入层和隐含层有大量数据需要训练。在这一阶段,从BP神经网络算法衍生出来的所有算法都属于浅层学习算法,这是因为这些算法仅有一层隐藏节点用于进行学习和思考。
10年前,Geoffrey Hinton和Ruslan Salakhutdinov首次提出了多隐层深度学习的概念,这一思想在手写、语音和物体识别等实际场景中展现出了比其他方法更为出色的性能。目前已有不少研究者将其运用于模式识别领域中,如人脸识别、文本分类和机器视觉等方面。这一现象吸引了大量学者的研究兴趣。随着图形处理器GPU的快速更新换代和计算机集群系统的广泛应用,深度学习在2006年至2016年期间经历了空前的研究和应用进展。
2.2 常用的人脸数据库
为了研究和实验人脸识别问题,需要创建多个数据库,这些数据库涵盖了各种典型的人脸特征。这些数据库中包括大量不同类型的人脸。近几年来,基于统计学的技术在人脸识别这一领域已经取得了主导地位,因此,一个方法的准确性和稳健性很可能会受到所使用的人脸数据库在模型训练中的影响。所以如何选取合适的人脸数据库对于人脸分析来说至关重要。为了构建一个优质的人脸模型,需要一个足够大的人脸数据库数据规模,并确保能够覆盖尽可能多的成像条件。目前,大多数关于人脸的研究和实验都是基于一个或多个人脸图像数据库库来进行的。这些人脸数据库库一般包含大量的训练样本,但是它们并不能满足大多数的应用需求。接下来,将探讨几种被广泛使用的人脸数据库,这些数据库在文献中也是经常被引用的。
1.AR人脸的图像资料库
AR人脸图像库是普渡大学机器人视觉研究中心所创建的。它能自动地对采集到的图像进行处理并生成一个可供计算机识别的虚拟人物面部模型。这个数据库汇集了70位男士和50位女士的超过4000张正面人脸图片,这些图片所示了各种光线、面部表情和遮挡物的变化。数据库中包括了所有与人脸有关的信息,例如性别、年龄、肤色、种族等,并将其存储于计算机存储器中。在两个不同的时间段里,每个人的照片都被捕捉下来,每个时间段都有13张。
2.FERET的面部图像资料库
FERET人脸图像库是由美国国防部主导创建的,旨在推动人脸识别技术的进一步研究和实际应用。这个库包含了14051张具有多种姿态和光照变化的灰度人脸图像,它也是人脸识别领域中应用最为广泛的数据库之一。该系统采用基于深度学习技术的卷积神经网络作为分类器来实现对人脸样本进行识别分类。其中,绝大部分是来自西方的人,现有的图像资料涵盖了从不同的摄影角度、各种表情、各种遮挡物到不同的光线等多种情境。
3.BioID人脸数据库
BioID的数据包括1521个人的灰度图像,每张图像的大小是384x286像素。本文通过对其进行处理得到一个完整的面部特征图。这些图片是在真实的环境中收集的,涵盖了各种光线、背景以及人脸的尺寸,非常适合在真实场景中进行测试。为了得到更准确的结果,对每个人的脸部进行标记,并使用机器学习算法自动确定其可能感兴趣区域,从而实现对这些目标区域的检测与跟踪。眼睛的具体位置已经通过手工方式进行了标记。
4.PE人脸图像库是卡耐基梅隆大学所创建的PIE人脸库,它汇集了68名志愿者的41368张图片,这些图片所示了4种独特的表情、13种独特的姿势和43种不同的光线条件。目前,PIE人脸库已逐步被视为人脸识别领域的关键测试工具。
5.CAS-PEAL人脸数据库
CAS-PEAL人脸数据库汇集了1040名志愿者的99594张照片,其中包括595名男性和445名女性志愿者。这些照片是根据每个人所佩戴的头盔,衣服,眼镜以及其他面部特征而拍摄得到的。这其中涵盖了各种不同的姿态、面部表情、装饰品以及光线条件。每个志愿者都有自己的脸部特征点信息和面部区域分布情况。对每名志愿者来说,有9台摄像机在水平半圆形的等间距位置同步捕获同一时刻不同姿态的图像。所有这些摄像头都是以一定角度倾斜地对准被拍摄人面部的某一特定区域进行成像。此外,还包括了18个志愿者抬头和低头观看的镜头。
6.ORL人脸图像资料库
ORL人脸库是由剑桥大学创建的,它汇集了40名个体的400张照片。在这些照片中,每个人都有10张,这些照片所示了不同的时间、光线、面部表情(如眼睛的开合、是否笑)以及脸部的细节(例如是否佩戴眼镜)。此外,还包括了人脸的旋转功能。
7.Yale的面部图像资料库
Yale人脸数据库是耶鲁大学创建的,它涵盖了10名个体的5760张照片,并且每个人都有576种不同的拍摄环境,包括9种不同的姿势和64种不同的光照条件。这些数据包括了人类所有面部表情和动作以及人与环境之间相互作用产生的各种信息。此外,还拥有B的扩充数据库,其中收录了28名个体的16128张相片。
2.3 深度学习与卷积神经网络中的基本概念
Hinton在2006年的论文中首次提出了深度学习这一概念,这实际上是一个多层次的神经网络系统,由研究者受到生物大脑神经元的启示而进行的研究。目前深度学习已经成为人工智能研究中的一个重要方向,并逐渐应用到许多学科之中。深度学习融合了众多的神经网络架构,例如卷积神经网络、循环神经网络和深度置信网络等,而在车辆检测这一目标检测研究领域中,卷积神经网络的应用尤为普遍。
2.3.1 卷积神经网络的基本结构
图2-1卷积神经网络基本结构
卷积神经网络是由多个层次的模型组合而成的,其中常见的模型包括输入层、卷积层、激活层、池化层、全连接层和输出层,图2-1所示了卷积神经网络的基础结构。卷积神经网络应用于图像处理时通常需要将网络划分为多个不同层次。卷积神经网络从输入层开始,以输出层结束,而输入层和输出层之间的这一层次也被称作隐藏层。卷积神经网络是一种深度学习网络,它将输入空间转换到一个低维数据空间上,从而提取出隐含于这些高维时空关系之中的语义信息。在卷积神经网络的结构中,每一层都会处理前一层的输出并输出相应的结果。在卷积层中,处理对象和输出的结果通常被称为特征图,这些特征图与输入图像相对应,并由多维数组来确定。
1、输入层
数字图像是卷积神经网络的输入内容。通过对不同颜色分量在一维向量空间上进行线性映射,得到二维矩阵,再根据该二维矩阵计算出相应的深度值。数字图像是由多个像素构成的,这些像素可以被表示为多维数组。图像的清晰度直接决定了数组的行数和列数,而数组中的元素位置和数值则代表了相应像素的位置和强度。RGB的彩色图片可以用三维数组来表示确定,对分辨率的RGB彩色图像,,,,z的0、1、2三个取值与彩色图像的红、绿、蓝三个颜色通道一一对应。因此,RGB彩色图像可以按颜色通道分割成三个二维数组、与,二维数组中第m行第n列处的元素值确定了图像坐标处像素对应颜色通道的强度值,强度值的取值为区间中的整数值。在处理输入图像时,输入层会执行一些基础操作,例如对像素的强度进行标准化和调整图像的清晰度等。
2、卷积层
卷积层是由多个卷积核构成的,这些卷积核可以被视为滤波器,并可以被描述为三维数组,它们在特征提取方面发挥着关键作用。在图像预处理阶段,利用不同大小和位置的卷积核提取出目标特征点,并根据这些特征点来判断是否有噪声干扰或背景像素存在。请记录下第l层卷积层中卷积核的数量,每个卷积核的尺寸相同,记为,卷积核的深度必须与输入特征图的深度相同,因此在谈及卷积核尺寸时常常忽略深度信息,简单记为。记第l层卷积层第i个卷积核为,此外,每个卷积核还会有一个额外的加性偏置,与被称为权重或者参数,会在网络的训练过程中被改变。以第l层卷积层为例说明卷积层的处理流程,设输入为大小的特征图,输出特征图,在卷积计算前,卷积层首先会对特征图的高与宽的两边进行对称填充处理,常用的填充值为0或者是特征图元素强度的平均值,记填充的宽度为,记填充后的特征图为,为大小的数组,之后根据公式:
(2-1)
进行卷积计算,得到特征图中每一元素的数值。式中,表示同一卷积核多次卷积计算间的步长。显然,特征图的尺寸为:
(2-2)
式中,表示对x向下取整。需要注意的是,除了卷积层与全连接层的权重以外的变量都被称为超参数,因此,、、和都是属于卷积层的超参数。
3、激活层
激活层的作用是引入非线性元素。卷积神经网络实质上是描述了输入X到输出y的映射关系:
(2-3)
从式(2-1)可以看出,卷积层仅执行线性计算,当仅进行卷积层的堆叠时,网络输出仍然是线性运算的组合,并且仍然是输入的线性表示。这种网络没有能力拟合复杂的非线性映射,因此,卷积神经网络引入了激活层。当激活层被堆叠在卷积层或全连接层之后,几乎每一层的卷积层后面都会跟着激活层。在计算网络的层数时,只会记录带有权重或参数的卷积层和全连接层。因此,当提到第l层激活层时,通常是指紧随第l层卷积层或全连接层之后的激活层。如果激活层中有两个以上不同的卷积层,则将激活层中每个神经元对应到一个超参空间中,从而得到激活矩阵。激活层中的超参数被定义为激活函数,激活函数对输入特征图中的每一个元素做计算,输出特征图由公式:
(2-4)
经过计算得出的结果。常用的激活函数包括sigmoid函数、tanh函数和ReLU函数,图2-2所示了这三种激活函数的图像。
图2-2 三种常见的激活函数
4、池化层
池化层,也被称为下采样层,其主要功能是降低特征图的高度和宽度,因此池化层并不会对特征图的深度产生影响。本文介绍了池化层模型及其特点。池化层位于已经激活的卷积层之后,但并不是每一个激活的卷积层后面都存在池化层。本文介绍了几种池模型以及它们的优缺点。池化层的超级参数定义为池化的大小、填充的大小、运算跳动的步长以及池化的方式。常用的池化方式为最大池化和平均池化,记第l层池化层输出的特征图为。平均池化输出的为:
(2-5)
可以看出,平均池化计算的是特征图确定区域内的平均值。最大池化与平均池化类似,只是提取的是特征图确定区域内的最大值。池化层输出特征图的尺寸由式:
(2-6)确定。
5、全连接层
全连接层是由多个神经元构成的。当这些神经元输入到特征图中时,特征图首先会被转化为一维向量进行进一步处理。全连接意味着每一个神经元都会与输入向量中的所有元素建立连接。记第l层全连接层有个神经元,输入为一维向量,大小为,那么第l层的权重为大小的数组,此外还有一