Opencv+Mediapipe-＞人脸特征点检测

一、初识

在MediaPipe中进行人脸特征点检测，可以使用其提供的预训练模型和库。MediaPipe提供了一个名为"FaceMesh"的模型，用于实时检测人脸的468个特征点。

以下是使用MediaPipe进行人脸特征点检测的基本步骤：

安装MediaPipe：首先，你需要安装MediaPipe框架。
设置输入和输出：确定输入数据的来源，可以是摄像头、视频文件或图像。同时，设置输出来存储检测到的人脸特征点。
创建MediaPipe图：使用MediaPipe框架的API，创建一个图来加载"FaceMesh"模型并处理输入数据。
运行图：通过将输入数据传递给MediaPipe图的输入节点，并通过图的输出节点获取结果，运行图进行人脸特征点检测。
处理结果：从输出节点获取检测到的人脸特征点结果，并对其进行进一步的分析或应用程序集成。

MediaPipe的"FaceMesh"模型可以自动定位和识别出人脸图像中的关键特征点，如眼睛、眉毛、鼻子、嘴巴等。我们可以根据需要选择使用特定的特征点。

此外，MediaPipe还提供了其他功能和模型，例如手部检测、姿态估计等。

二、人脸特征点检测

（1）安装环境

pip install opencv-python
pip install mediapipe==0.8.3.1

（2）OpenCV加载视频

代码：

import cv2
import mediapipe as mp
import time

cap = cv2.VideoCapture("Video/6.mp4")  # 加载视频
pTime = 0

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    # 帧数
    cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, f'FPS:{int(fps)}', (20, 70), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255, 0), 3)
    cv2.imshow("Image", img)
    cv2.waitKey(1)

效果：

附上免费的视频素材网址：Pexels

（3）特征点检测

代码：

import cv2
import mediapipe as mp
import time

cap = cv2.VideoCapture("Video/6.mp4")  # 加载视频
pTime = 0

mpDraw = mp.solutions.drawing_utils  # drawing_utils模块：绘制特征点和边界框
mpFaceMesh = mp.solutions.face_mesh
faceMesh = mpFaceMesh.FaceMesh(max_num_faces=2)  # 初始化FaceMesh模块
drawSpec = mpDraw.DrawingSpec(thickness=1, circle_radius=2)  # 绘图样式

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    results = faceMesh.process(imgRGB)  # process()：检测人脸关键点
    # 获取关键点信息
    if results.multi_face_landmarks:
        for faceLms in results.multi_face_landmarks:
            mpDraw.draw_landmarks(img, faceLms, mpFaceMesh.FACE_CONNECTIONS, drawSpec, drawSpec)  # 绘制关键点
            for id, lm in enumerate(faceLms.landmark):
                # print(lm)
                ih, iw, ic = img.shape
                # 关键点坐标
                x, y = int(lm.x * iw), int(lm.y * ih)
                print(id, x, y)
    # 帧数
    cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, f'FPS:{int(fps)}', (20, 70), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255, 0), 3)
    cv2.imshow("Image", img)
    cv2.waitKey(1)

效果：

三、应用前景

人脸特征点检测在计算机视觉和人工智能领域具有广阔的应用前景。如下：

人脸识别和身份验证：人脸特征点检测是实现人脸识别和身份验证的基础。通过准确地检测人脸的关键特征点，如眼睛、鼻子、嘴巴等，可以建立人脸的唯一特征表示。这可以用于安全门禁系统、移动设备解锁、在线支付验证等方面。
表情分析和情感识别：人脸特征点检测可以帮助分析人脸的表情和情感状态。通过检测眼睛、眉毛、嘴角等关键特征点的位置和变化，可以判断人脸表情，如笑容、愤怒、悲伤等。这在社交媒体分析、市场调研、情感识别技术等方面有着广泛的应用。
人脸美化和虚拟化妆：人脸特征点检测可以用于人脸美化和虚拟化妆的应用。通过识别人脸的关键特征点，可以对面部特征进行分析和修改，如改变眼睛大小、调整嘴型等，实现人脸的美化效果。这在手机应用程序、相机软件和虚拟试妆等领域中非常受欢迎。
人脸变换和人脸融合：人脸特征点检测可以用于实现人脸变换和人脸融合的效果。通过检测多张人脸的关键特征点，可以将一个人的面部特征应用到另一个人的图像上，实现面部表情、年龄、性别等方面的转换和融合。这在娱乐应用、电影特效和人脸变换软件中有广泛的应用。
视频分析和人机交互：人脸特征点检测在视频分析和人机交互领域也具有重要作用。通过实时地检测和跟踪人脸的关键特征点，可以实现面部表情识别、手势识别、头部姿态跟踪等功能。这对于增强现实、虚拟现实、游戏开发和用户体验改进等方面都有很大的潜力。

Opencv+Mediapipe-＞人脸特征点检测

一、初识

二、人脸特征点检测

三、应用前景

猜你喜欢