[人工智能]基于Google开源 | Python实现手部追踪

利用Google开源手部追踪

以下为代码及其讲解

import cv2 #导入opencv库
import mediapipe as mp #导入Google开源mediapipe库
import time #导入时间库

cap = cv2.VideoCapture(0) #调用视频流（摄像头或视频文件）
mpHands = mp.solutions.hands
hands = mpHands.Hands() #选择的模型（手部侦测和手部追踪）
mpDraw = mp.solutions.drawing_utils
handLmsStyle = mpDraw.DrawingSpec(color=(0, 0, 255), thickness=5) #点的粗度及颜色
handConStyle = mpDraw.DrawingSpec(color=(0, 255, 0), thickness=5) #线的粗度及颜色
pTime = 0
cTime = 0
'''
设置mpHands.Hands的参数：
def __init__(self,
        static_image_mode=False,    #指检测静态图片还是动态图片
        max_num_hands=2,    #最多能侦测几只手
        model_complexity=1, #模型的复杂度
        min_detection_confidence=0.5,   #侦测手掌的严谨度（0~1） 
        min_tracking_confidence=0.5):   #追踪的严谨度（0~1）
'''

while True:
    ret, img = cap.read()
    if ret:
        #opencv预设读取的图片为bgr图片，但需要的图片为rgp的图片，先进行转化
        imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        result = hands.process(imgRGB)
        #print(result.multi_hand_landmarks)
        #img的宽度跟高度用一个变数来设定
        imgHeight = img.shape[0]#视窗高度
        imgWidth = img.shape[1]#视窗宽度

        if result.multi_hand_landmarks:
            for handLms in result.multi_hand_landmarks:#把侦测到的所有手画出来
                mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS, handLmsStyle, handConStyle)
                #第一个参数是画到哪一个图上面，第二个参数是把landmarks的点传进来,第三个参数将点的连接起来
                #第四个参数设置点的样式，第五个参数设置线的样式
                for i, lm in enumerate(handLms.landmark):#把21个点的作标写出来
                    xPos = int(lm.x * imgWidth)
                    yPos = int(lm.y * imgHeight)
                    #print(i, lm.x, lm.y)  返回的数据为整个窗口的比例位置
                    cv2.putText(img, str(i), (xPos-25, yPos+5), cv2.FONT_HERSHEY_SIMPLEX, 0.4, (0, 0, 255), 2)
                    #将手指点作标写入窗口上；参数上：xPos-25指在坐标往左25像素，y为往上5像素，然后是选择的文字，大小，颜色
                    ''' 
                    放大某个点
                    if i ==4:
                        cv2.circle(img, (xPos, yPos), 10, (0, 0, 255), cv2.FILLED)
                    '''
                    print(i, xPos, yPos)#返回的数据为视野的坐标位置;用int()进行整形处理,否则为浮点型

        #显示一秒几帧即fps
        cTime = time.time()
        fps = 1/(cTime-pTime)
        pTime = cTime
        cv2.putText(img, f"FPS :{int(fps)}", (30, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0))
        #第二个为数值，第三个参数是位置，文字样式，文字大小,颜色，粗度
        cv2.imshow('img', img)
    #读帧间隔时间，输入q跳出
    if cv2.waitKey(1) == ord('q'):
        break