IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> Python爬虫之pyppeteer的使用 -> 正文阅读

[Python知识库]Python爬虫之pyppeteer的使用

背景:

在使用selenium抓取数据时,在访问显示如下,解决了后续发现网站会对selenium和webdriver进行识别,网站不给你执行js,于是尝试更换pyppeteer来尝试,避开webdriver检测

Chrome “您的连接不是私密连接的方法” 解决办法

添加 --test-type --ignore-certificate-errors --disable-web-security --user-data-dir

?以下正文----------------------------------------------------------------------------------------------

pyppeteer文档API Reference — Pyppeteer 0.0.25 documentation

1.下载安装

pip install pyppeteer -i https://pypi.douban.com/simple

2.下载chromium浏览器

chromium-browser-snapshots Mirror

下载之后解压之后,通过executablePath属性指定运行浏览器了?

启动器

pyppeteer.launcher.launch(选项: dict = None?,?**kwargs?)?→ pyppeteer.browser.Browser

启动 chrome 进程并返回Browser

此功能是 的快捷方式。Launcher(options,?**kwargs).launch()

可用选项有:

  • ignoreHTTPSErrors(bool): 是否忽略 HTTPS 错误。默认为?False.
  • headless(bool): 是否以无头模式运行浏览器。默认为?True除非appModedevtools选项为True
  • executablePath?(str):要运行的 Chromium 或 Chrome 可执行文件的路径,而不是默认捆绑的 Chromium。
  • slowMo?(int|float):将 pyppeteer 操作减慢指定的毫秒数。
  • args?(List[str]):传递给浏览器进程的附加参数(标志)。
  • ignoreDefaultArgs(bool): 不要使用 pyppeteer 的默认参数。这是危险的选择;小心使用。
  • handleSIGINT(bool): 按 Ctrl+C 关闭浏览器进程。默认为?True.
  • handleSIGTERM(bool): 在 SIGTERM 上关闭浏览器进程。默认为True.
  • handleSIGHUP(bool): 在 SIGHUP 上关闭浏览器进程。默认为?True.
  • dumpio(bool): 是否将浏览器进程 stdout 和 stderr 传入process.stdoutand?process.stderr。默认为False.
  • userDataDir?(str): 用户数据目录的路径。
  • env(dict):指定浏览器可见的环境变量。默认与 python 进程相同。
  • devtools(bool): 是否为每个选项卡自动打开一个 DevTools 面板。如果是此选项Trueheadless则将设置该选项?False
  • logLevel(int|str):打印日志的日志级别。默认与根记录器相同。
  • autoClose(bool):脚本完成后自动关闭浏览器进程。默认为True.
  • loop(asyncio.AbstractEventLoop):事件循环(实验性)。
  • appMode?(布尔):已弃用。

??????????Pyppeteer 清空input输入框的值? ?

await? page.evaluate('document.querySelector("#txt_account").value=""')

笔记

Pyppeteer 也可用于控制 Chrome 浏览器,但它与它捆绑的 Chromium 版本一起使用效果最佳。不能保证它适用于任何其他版本。executablePath?谨慎使用选项。

简单演示代码

# -*- coding:utf-8 -*-
import asyncio
from pyppeteer.launcher import launch

async def main():
    browser = await launch(ignoreHTTPSErrors=True, headless=False)
    page = await browser.newPage()
    await page.goto('http://www.baidu.com/')
    await asyncio.sleep(10)
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())

第一次运行会自动下载chromium,如果下载失败了,手动下载,然后指定浏览器

查看被执行的浏览器路径

import pyppeteer.chromium_downloader
print('可执行文件默认路径:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平台下载链接为:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

结果

D:\Python36\python.exe C:/Users/17653/Desktop/测试.py
可执行文件默认路径:C:\Users\17653\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe
win64平台下载链接为:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip

Process finished with exit code 0

可以按照上面的链接下载chromium浏览器

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2022-01-03 16:02:37  更:2022-01-03 16:03:09 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 3:35:52-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码