IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 开发测试 -> Selenium文章获取所有评论,涵盖内容(点击下一页) -> 正文阅读

[开发测试]Selenium文章获取所有评论,涵盖内容(点击下一页)

静态页面爬取网页,涵盖内容(点击下一页)
具体代码操作如下:

# for i in range(2,10):
from selenium import webdriver
import requests
import time
driver_url = r"D:\anconda\msedgedriver.exe"
browser = webdriver.Edge(executable_path=driver_url)
browser.get("http://www.santostang.com/2018/07/04/hello-world/")
time.sleep(10)
s = 0
for i in (2,6):
    print("这是第{}页".format(i),'\n')
    time.sleep(5)
    browser.switch_to.frame(browser.find_element_by_css_selector("iframe[title='livere-comment']"))
    browser.execute_script("window.scrollTo(0,document.body.scrollHeight);")
    comments = browser.find_elements_by_css_selector("div.reply-content")
    for eachonecomment in comments:
        content = eachonecomment.find_element_by_tag_name('p')
        s = s+1
        print("第{}条评论".format(s),content.text)
    load_more_clic = browser.find_element_by_css_selector("button.page-btn[data-page='{}']".format(i))
    load_more_clic.click()
    browser.switch_to.default_content()
    if i ==3:
        print("完成")

没有用class的一个简单for循环,后续可以持续优化

  开发测试 最新文章
pytest系列——allure之生成测试报告(Wind
某大厂软件测试岗一面笔试题+二面问答题面试
iperf 学习笔记
关于Python中使用selenium八大定位方法
【软件测试】为什么提升不了?8年测试总结再
软件测试复习
PHP笔记-Smarty模板引擎的使用
C++Test使用入门
【Java】单元测试
Net core 3.x 获取客户端地址
上一篇文章      下一篇文章      查看所有文章
加:2021-09-30 12:14:05  更:2021-09-30 12:14:27 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/18 0:20:33-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码