一、功能描述

实现微信、QQ等聊天软件的自动回复功能，让你关注的人不用再等候你的回复。通过机器人或者预设消息来自动回答对方的问题。

二、实现方案

0. 方案说明

首先感谢热心网友指出了 itchat 和 wxpy 等插件方案已无法使用的问题，并且看到了基于 hook 的一种方案，不过基于 hook 方案的作者也说明可能有封号风险。

本方案主要构思则是结合各种python库分别实现：界面截图、文字识别、机器人api调用、模拟window键鼠复制文字并发送消息等功能。
从而实现对于打开的指定聊天界面定时识别聊天信息并调用api回复消息的效果。

此外，本方案的图片文字识别功能并没有使用百度AI平台提供的OCR服务，而是使用了免费的本地服务 tesserocr，不需要额外注册，tesserocr 的识别准确率和速度也足够用了，最重要的是免费~

1. 开发环境&工具

conda + python 3.9 + pycharm

2. 必要依赖库安装

2.1 图片操作和文字识别相关库

参考文章：python3.9 安装 tesserocr 过程

tesserocr 文字识别应用安装，下载地址
本文选用的时目前最新版本的 tesseract-ocr-w64-setup-v5.0.1.20220118，经测试是适配python3.9的。
安装过程注意：勾选 Additional language data (download) 中的 Chinese-Simplied 中文简体，用于识别中文，其他默认就行
conda install -c simonflueckiger tesserocr pillow
找到第一步 tesserocr 安装目录下的tessdata 文件夹，全量复制到本地的conda目录下的 /envs/你的python环境对应文件夹下，如果不知道conda目录在哪里，完成第二步后，运行下面的demo，查看报错中给出的文件路径。

from PIL import Image
import tesserocr

if __name__ == "__main__":
	pic_files = glob.glob('D:\\test.jpg')
	img = Image.open(pic_files[0])
	res = tesserocr.image_to_text(img, lang='chi_sim+eng', psm=6)
	print('识别结果', res)

2.2 剪贴框、键鼠操作库

pip install pyperclip PyUserInput pywin32==225

这里有个坑就是安装了 PyUserInput 后
虽然
from pymouse import PyMouse
from pykeyboard import PyKeyboard
这两个依赖引入不会报红了，但是编译时会报错“缺失win32api，win32con依赖”，所以需要安装 225 版本的pywin32，这里用最新版本也会报其他错。

三、demo 代码

# !/usr/bin/env python3
# -*- coding: utf-8 -*-
import glob
import re
import os
from os import path
from PIL import ImageGrab, Image
import tesserocr
import time
import json
import requests
import pyperclip
from pymouse import PyMouse
from pykeyboard import PyKeyboard

# 历史消息内存缓存
his_cache = {}
# 截图保存路径
file_path = 'D:\\tmp'
# 监听频率，单位秒
listen_rate = 5
# 是否发送消息标记
send_flag = False
# app类型 WX / QQ
app = 'QQ'

m = PyMouse()
k = PyKeyboard()
# 屏幕分辨率
x_dim, y_dim = m.screen_size()
# 窗口距离屏幕右侧的距离
# offset = 0
offset = 630 if app == 'WX' else 0


def snapshot():
	# 屏幕快照方法
	# (x1, y1), (x2, y2) 用于控制对屏幕聊天截图的范围
	# 最佳范围可以通过单独运行snapshot方法查看截图效果调整
    x1, y1 = int(x_dim * 2 * 3 / 64) + offset, int(y_dim * 2 * 2 / 32)
    x2, y2 = int(x_dim * 2 * 9 / 32) + offset, int(y_dim * 2 * 24 / 32)
    box = (x1, y1, x2, y2)
    pic = ImageGrab.grab(box)
    name = time.strftime("%Y_%m_%d_%H_%M_%S", time.localtime())
    full_path = path.join(file_path, '%s.jpg' % name)
    pic.save(full_path)
    return full_path


def read_img(full_path: str):
	# 聊天记录识别方法
    global his_cache
    message = ''
    robot_key = 'robot_his'
    pic_files = glob.glob(full_path)
    if len(list(pic_files)) > 0:
        file_name = path.basename(pic_files[0])
        img = Image.open(pic_files[0])
        print('\n识别图片:', file_name)
        message = tesserocr.image_to_text(img, lang='chi_sim+eng', psm=6)
        message = str(message)
        # 非法字符过滤，只保留中文文本
        message = re.sub(r'[^\u4E00-\u9FFF]', ' ', message)
        message = re.sub(r'[ ]+', ' ', message)
        message = message.strip()
        print('识别文本:', message)
        arr = message.split(' ')
        if len(arr) > 0:
            message = arr[-1]
        print('最新消息:', message)

	# 及时清理已识别的图片缓存
    if os.path.exists(full_path):
        os.remove(full_path)

    # 历史和当前文本对比
    if len(message) > 0:
        if message.startswith('清空'):
            his_cache = {}
            print('已清空历史消息')
            return ''
        # 读取消息缓存
        msg_his = his_cache.get(robot_key)
        print('历史消息:', msg_his)
        if msg_his:
        	# 当前消息与历史消息对比
            if msg_his == message:
                print('未收到新消息')
                return ''
            # 超长文本情况处理
            i = 0
            while i < len(msg_his):
                msg_s = msg_his[i:]
                if message.startswith(msg_s):
                    msg_arr = message.split(msg_s, 1)
                    if len(msg_arr) > 1:
                        message = msg_arr[1]
                    break
                i += 1
        # 更新消息缓存
        his_cache[robot_key] = message

    return message


def get_dialog(msg: str):
	# 机器人api调用
	answer = 'hello world'
	try:
		# 这里填你自己的机器人接口地址，本文不提供，开源的机器人接口有不少，看个人需求
		url = ''
		sess = requests.get(url)
		answer = sess.text
		# answer = json.loads(answer)
	except Exception as e:
		print(e)
		
	return answer


def mock_msg(msg: str):
	# 模拟键鼠发消息方法
    # 获取机器人回答
    answer = get_dialog(msg)
    print('输入问题:', msg)
    print('返回答案:', answer)
    # 复制文本到剪贴框
    pyperclip.copy(answer)
    pyperclip.paste()
    # 模拟鼠标点击，用于获取聊天软件输入框焦点
    x_pos = int(x_dim * 1/32) + offset
    y_pos = int(y_dim * 28/32)
    # print('x', x_pos, 'y', y_pos)
    m.click(x_pos, y_pos, 1)
    # 模拟键盘点击 ctrl+v，用于将剪贴框文字粘贴到输入框
    k.press_key(k.control_key)
    k.tap_key('v')
    k.release_key(k.control_key)
    # 模拟键盘发送消息
    if app == 'QQ':
        k.press_key(k.control_key)
        k.tap_key(k.enter_key)
        k.release_key(k.control_key)
    elif app == 'WX':
        k.tap_key(k.enter_key)


if __name__ == "__main__":
	# snapshot()
    while True:
        f_path = snapshot()
        f_msg = read_img(f_path)
        if send_flag:
            if len(f_msg) > 0:
                mock_msg(f_msg)
                # 对回复后的聊天界面再次识别，更新界面状态记录
                b_path = snapshot()
                b_msg = read_img(b_path)
                print(b_msg)
        else:
        	# 首次运行不发送消息，只更新消息缓存用于下次对比
            send_flag = True

        time.sleep(listen_rate)