一 人脸检测
进行获取数据包
1 传入参数
orderDict() 按照循序进行导入字典 拒绝乱序访问方式 | 使用命名空间对象 | 使用字典( |
|---|---|---|
语法 |
|
|
动态访问 | 不方便 | 方便: |
与函数集成 | 需要解包: | 直接传递: |
遍历参数 | 需要 | 直接遍历 |
主要优势:字典格式更灵活,特别是当需要将参数传递给其他函数时。
FACIAL_LANDMARKS_68_IDXS = OrderedDict([ ("mouth", (48, 68)), # 嘴巴区域:关键点48-68 ("right_eyebrow", (17, 22)), # 右眉毛:关键点17-22 ("left_eyebrow", (22, 27)), # 左眉毛:关键点22-27 ("right_eye", (36, 42)), # 右眼:关键点36-42 ("left_eye", (42, 48)), # 左眼:关键点42-48 ("nose", (27, 36)), # 鼻子:关键点27-36 ("jaw", (0, 17)) # 下颌线:关键点0-17 ])FACIAL_LANDMARKS_5_IDXS = OrderedDict([ ('right_eye', (2, 3)), # 右眼:索引2和3 ('left_eye', (0, 1)), # 左眼:索引0和1 ('nose', (4)) # 鼻子:索引4 ])2 导入人脸检测的工具包并进行预处理
detector = dlib.get_frontal_face_detector() predictor = dlib.shape_predictor(args["shape_predictor"]) • detector:这是您图片中被红框特别标注的核心对象。 它是一个使用方向梯度直方图(HOG)特征和线性SVM分类器的预训练人脸检测器。 它的作用是在图像中找出人脸的位置,返回一个或多个表示人脸位置的矩形框。 • predictor:这是一个预训练的关键点定位器,通常基于回归树集合或深度学习模型训练 。给定一个包含人脸的图像区域,它能精确预测出这个区域内68个 (或5个) 预先定义好的面部关键点的坐标。 工作关系:通常先使用 detector找到人脸,然后将每个人脸区域和原图(或灰度图) 传递给 predictor,以获得精细的关键点。3 进行人脸检测并遍历所有的框
‘
rects = detector(gray, 1) 返回值: rects:包含所有人脸边界框的列表 每个边界框是dlib的rectangle对象,包含人脸的位置 内部原理: detector使用HOG(方向梯度直方图)特征+SVM分类器 在图像上滑动窗口,检测人脸 参数1表示对图像上采样一次,增加检测小脸的能力shape = predictor(gray, rect) predictor:加载的dlib关键点预测器。 参数:(gray, rect)- 当前帧的灰度图像和当前人脸框。 返回:一个dlib的full_object_detection对象,包含68个(或5个)面部关键点的坐标。 获取坐标值 coords = np.zeros((shape.num_parts, 2), dtype=dtype) shape.num_parts:获取关键点的总数 对于68点模型:68 对于5点模型:5 np.zeros((N, 2), dtype=dtype):创建N行2列的全零数组 示例:68点模型会创建形状为(68, 2)的数组shape.part(i).x:获取第i个关键点的x坐标 shape.part(i).y:获取第i个关键点的y坐标 coords[i] = (x, y):将坐标赋值给数组的第i行4 遍历每一个区域
用于提取感兴趣区域(Region of Interest)
(x,y,w,h)=cv2.boundingRect(np.array([shape[i:j]])) shape[i:j]:从关键点数组中提取特定区域的点 shape是关键点数组,形状为(68, 2)或(5, 2) i, j是特定区域的起始和结束索引 np.array([shape[i:j]]):将点列表转换为NumPy数组 cv2.boundingRect():计算能包围这些点的最小外接矩形 返回值: (x, y):矩形左上角坐标 (w, h):矩形的宽度和高度5 展示所有区域
ull = cv2.convexHull(pts) 什么是凸包? 凸包是包含所有给定点的最小凸多边形。想象在木板上钉钉子, 用橡皮筋套住所有钉子形成的形状就是凸包。 参数详解: pts:关键点数组,形状为(N, 2),其中N是该区域的关键点数量 例如,右眼区域有6个点:pts = shape[36:42] 返回值hull:一个NumPy数组,包含凸包的顶点坐标二 疲劳检测
1 求距离
dist.euclidean() 计算两点之间的欧几里得距离 EAR公式:(垂直距离1 + 垂直距离2) / (2 × 水平距离) 当眼睛完全睁开时,EAR值最大 当眼睛闭合时,EAR值接近02 设置参数
小于0.3的时候开始眨眼 当持续3帧的时候当一次眨眼
当小于0.3的时候counter加1 当counter加到3的时候total加1
3 需要将图像区域调大一些 这样方便检测到人脸 要不然人脸太小的化 人脸检测器检测不到
4 进行绘制
leftEye = shape[lStart:lEnd] lStart和 lEnd:左眼区域的起始和结束索引 对于68点模型,左眼通常是索引42-47 结果:包含6个(x, y)坐标的数组cv2.putText(frame, "EAR: {:.2f}".format(ear), (300, 30),
cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
关键区别:
位置:(300, 30),避免与眨眼计数重叠
格式:{:.2f}保留两位小数
内容:显示当前帧的眼睛纵横比
第6行:显示图像窗口
参数 | 值 | 说明 |
|---|---|---|
等待时间 |
| 等待10毫秒,然后继续 |
位掩码 |
| 获取低8位,确保跨平台兼容 |
返回值 |
| 按键的ASCII码 |