一、 selenium简介
如果链接简单,爬虫可以通过链接用requests库提取页面信息,如爬取豆瓣top250影片信息,链接简单易懂。参考:爬取豆瓣top250影片信息
但如果遇到一些搜索之类的,基于js动态加载的网页,以上就不适合,如爬虫b站,搜索“爬虫”页面,第一页链接如下,第二页又是很长没规律的链接。很难用requests库提取页面。
https://search.bilibili.com/all?keyword=%E7%88%AC%E8%99%AB&from_source=webtop_search&spm_id_from=333.1007&search_source=5
针对以上情况,我们可以通过浏览器直接访问每个页面,然后提取页面。当然是让爬虫自己打开浏览器,输入内容访问,然后提取页面元素。这个过程就要用到 selenium 库。
selenium其实它就是一个自动化测试工具,支持各种主流的浏览器。遇到python,selenium 就变成了爬虫利器。
二、安装selenium配置环境变量
1、安装
pip install selenium
下载浏览器驱动,我用的是 Chrome 浏览器,所以下载Chrome驱动即可,当然你可以下载其他浏览器驱动。下载链接:ChromeDriver,找到和自己浏览器版本一致或者最接近的。
2、配置环境变量
下载解压后,配置环境变量。
解压,然后创建一个存放浏览器驱动的目录,如: D:\Python\Driver , 将下载的浏览器驱动文件(例如:chromedriver、geckodriver)丢到该目录下,我这里是chromedriver。
我的电脑–>属性–>系统设置–>高级–>环境变量–>系统变量–>Path,将“D:\Python\Driver”目录添加到Path的值中。比如:Path字段;D:\Python\Driver
关于环境变量不生效的问题: 1:尝试将浏览器驱动,直接放在python安装目录试试 2:配置环境变量后,重启电脑生效(我就是重启才生效)
三、打开浏览器并自动搜索
1、浏览器自动访问
代码,打开浏览器,并访问。
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.bilibili.com/")
以上,执行代码自动打开浏览器
2、输入关键字并搜索
分析代码,可以看到,搜索框和按钮键的class元素值为 nav-search-input 和 nav-search-btn 找到元素后,用find_element方法定位找到此元素,定位有多种方式。
id定位:find_element_by_id()
name定位:find_element_by_name()
class定位:find_element_by_class_name()
link定位:find_element_by_link_text()
partial link定位:find_element_by_partial_link_text()
tag定位:find_element_by_tag_name()
xpath定位:find_element_by_xpath()
css定位:find_element_by_css_selector()
以上也可以用 driver.find_elements(By.ID, 'xxx') 的方式,对应值。
ID = "id"
XPATH = "xpath"
LINK_TEXT = "link text"
PARTIAL_LINK_TEXT = "partial link text"
NAME = "name"
TAG_NAME = "tag name"
CLASS_NAME = "class name"
CSS_SELECTOR = "css selector"
我这里用class值定位即可。
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://www.bilibili.com/")
input = driver.find_element(By.CLASS_NAME,'nav-search-input')
button = driver.find_element(By.CLASS_NAME,'nav-search-btn')
input.send_keys('爬虫')
button.click()
注:以上如果报错提示没有By这个类型,需要导入包from selenium.webdriver.common.by import By
执行效果:
以上基本的搜索动作就完成了。
四、切换窗口提取网页信息
有网页了,可以用以前学的BeautifulSoup库提取页面代码元素了。
1、切换窗口
由于搜索页面是重新打开了一个页面,所以还需要在代码种切换,否则默认的都是第一个页面。
window_handles:获取页面句柄,返回值的为列表list。 switch_to.window:切换页面。
windows = drive.window_handles
drive.switch_to.window(windows[-1])
以上得到的print(windows)句柄值,值为:
['CDwindow-EED0C1AE55C6A49DE55D69130254EC0F', 'CDwindow-D04BF7FFBEA89EFB93A990733008FD92']
2、获取页面源代码提取元素
切换页面后,用 page_source 获取页面源代码。
获取源代码后,就可以提取元素了,分别找到对应的class值即可。这里提取值有,视频名称,up主,播放量,时长,链接,日期。 最后代码为:
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
driver = webdriver.Chrome()
driver.get("https://www.bilibili.com/")
input = driver.find_element(By.CLASS_NAME,'nav-search-input')
button = driver.find_element(By.CLASS_NAME,'nav-search-btn')
input.send_keys('爬虫')
button.click()
windows = driver.window_handles
driver.switch_to.window(windows[-1])
time.sleep(5)
html=driver.page_source
soup = BeautifulSoup(html,'lxml')
list = soup.find(class_='video-list row').find_all(class_="bili-video-card")
for item in list:
video_name = item.find(class_='bili-video-card__info--tit').text
video_up = item.find(class_='bili-video-card__info--author').string
video_date = item.find(class_='bili-video-card__info--date').string
video_play = item.find(class_='bili-video-card__stats--item').text
video_times = item.find(class_='bili-video-card__stats__duration').string
video_link = item.find('a')['href'].replace('//','')
print(video_name,video_up,video_play,video_times,video_link,video_date)
driver.quit()
执行结果为:
【爬虫1000集】目前B站最完整的爬虫教程,包含所有干货内容!这还没人看,我不更了! python大讲堂呀 24.6万 29:14:25 www.bilibili.com/video/BV1bL4y1V7q1 · 4-25
2020年Python爬虫全套课程(学完可做项目) 路飞学城IT 150.8万 43:30:57 www.bilibili.com/video/BV1Yh411o7Sz · 2020-7-9
Python超强爬虫8天速成(完整版)爬取各种网站数据实战案例 Python网红Alex 51.6万 20:39:05 www.bilibili.com/video/BV1ha4y1H7sx · 2020-12-7
Python爬虫实战教程:批量爬取某网站图片 python学习者 80.5万 09:31:34 www.bilibili.com/video/BV1qJ411S7F6 · 2019-11-13
【附源码】全网最新的Python爬虫教程+实战项目案例,超适合小白练手的实战项目!(最新录制) Python王子秦老师 3.6万 41:15 www.bilibili.com/video/BV1gd4y1i75v · 10-8
Python课程天花板,Python入门+Python爬虫+Python数据分析5天项目实操/Python基础.Python教程 IT私塾 400.8万 20:24:40 www.bilibili.com/video/BV12E411A7ZQ · 2020-3-20
尚硅谷Python爬虫教程小白零基础速通(含python基础+爬虫案例) 尚硅谷 55.8万 22:19:04 www.bilibili.com/video/BV1Db4y1m7Ho · 2021-9-1
2022年Python爬虫小白到大神-网络爬虫+反爬虫(爬取各种网站数据)完整版包含20个项目案例,学完可自己爬取! Python人生苦短 6.1万 14:40:56 www.bilibili.com/video/BV1rv4y1K7yV · 5-4
Python超强爬虫5天速成(完整版)爬取各种网站数据实战案例 Python网红Alex 7300 18:53:17 www.bilibili.com/video/BV1BD4y1k7Po · 10-9
【Python爬虫】清华大学20小时讲完的Python爬虫项目实战,全程干货无废话!建议收藏~ H顾兮儿 424 55:46:15 www.bilibili.com/video/BV1QN4y1A7oc · 10-10
【2022最新】32个Python实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住,允许白嫖!实战_项目_练手_小白_爬虫_编程_科技 张妹儿丫 113 40:44:18 www.bilibili.com/video/BV1PR4y1R7Xc · 13小时前
写爬虫真的会坐牢吗? 知安局 60.5万 12:06 www.bilibili.com/video/BV1KK4y1s7iK · 2021-1-22
【全套34课时】2022最新完整版Python爬虫入门教程+实战项目案例,网络爬虫教程,零基础小白可学,学完可做项目兼职 Python精选教程 811 19:43:13 www.bilibili.com/video/BV1D8411x7Kx · 10-10
3小时搞定 Python爬虫项目(爬取数据+数据整理+数据可视化) Python牛牛牛 6.6万 29:32:59 www.bilibili.com/video/BV1hS4y1b7EJ · 5-14
2021年最新Python爬虫教程+实战项目案例(最新录制) 路飞学城IT 68万 14:40:22 www.bilibili.com/video/BV1i54y1h75W · 2021-3-5
【Python爬虫教程】花9888买的Python爬虫全套教程2021完整版现分享给大家!(已更新项目)——附赠课程与资料 小猿Python的主页 49.2万 40:10:11 www.bilibili.com/video/BV1ZT4y1d7JM · 2021-10-8
月薪1w的程序员 爬淘宝被判3年 写爬虫别碰这3条! 麦叔编程 20.1万 07:56 www.bilibili.com/video/BV1ih411a7PK · 2021-6-14
Python爬虫开发实战从入门到精通大神崔庆才零基础视频52讲全 T博士云课堂 1.9万 12:15:35 www.bilibili.com/video/BV1pf4y1H72c · 2021-8-29
卧槽!原来Python爬虫可以这么玩?学完这10个练手案例,说明你才是真的入门了!!! 图灵python 7764 39:20 www.bilibili.com/video/BV1Jd4y1i7cH · 10-9
3小时搞定 Python爬虫项目(爬取数据+数据整理+数据可视化) 路飞IT学城 5.5万 02:16:47 www.bilibili.com/video/BV1Ry4y1V7PE · 2021-8-18
【爬虫篇】《极客Python之效率革命》 鱼C-小甲鱼 18.4万 01:47:55 www.bilibili.com/video/BV1wp411o7dz · 2018-5-20
黑马程序员Python爬虫基础,快速入门Scrapy爬虫框架 黑马程序员 27.9万 04:17:09 www.bilibili.com/video/BV1jx411b7E3 · 2017-8-22
爬虫一小时,完事一分钟【第二弹】 苦瓜不可以 9.7万 05:18 www.bilibili.com/video/BV1Hr4y1w71G · 2020-11-10
【十大案例 源码完整】后悔没早学Python爬虫,省时又省力?凭实力摸鱼丨全网图片、视频、数据...一键获取! 彭有才Python 1.1万 02:52:35 www.bilibili.com/video/BV14T411P7TD · 10-8
Python爬虫编程基础7天速成(2022全新合集)Python入门+数据分析,0基础小白的入门级别教科书! 图灵学院教程 4.7万 51:00:54 www.bilibili.com/video/BV1Fa411q75C · 4-11
【爬虫1000集】目前B站最完整的爬虫教程,包含所有干货内容!这还没人看,我不更了! Python万能胶 14.7万 14:40:56 www.bilibili.com/video/BV1qB4y1D77o · 6-4
2022最新Python爬虫教程小白零基础速通(涵盖所有核心知识)立刻收藏! 图灵学院教程 2.6万 17:38:51 www.bilibili.com/video/BV133411F7Cp · 7-20
【python爬虫1000集】目前B站最完整的爬虫教程,包含所有干货内容!这还没人看,我不更了! 数据分析女王 73 14:40:56 www.bilibili.com/video/BV11N4y1A7cj · 14小时前
【敢称全站第一】B站最强的Python爬虫进阶教程!自学必看,帮你少走99.9%的弯路~学不会你找我(爬虫JS逆向/逆向算法/逆向混淆/APP逆向/爬虫实战) 彭有才Python 2.3万 07:49:30 www.bilibili.com/video/BV1sG411n7Zf · 7-18
2022自学爬虫,这一套就够了,别再乱学其他。 眨塑炊俺未沼臻 3.2万 15:45:05 www.bilibili.com/video/BV1JP4y1u72J · 3-18
Python爬虫全套教程,手把手教学 ,学完即可接单!!! Python善善 2.1万 04:10:56 www.bilibili.com/video/BV13e4y197vg · 7-22
终于拿到了!(完整版)Python超强爬虫7天速成爬取各种网站数据 【python3.8爬虫基础+实战】 编程界-小蜗牛 3.2万 23:57:57 www.bilibili.com/video/BV1rL411G7ep · 2021-10-20
代码总是学完就忘记?100个爬虫实战项目!让你沉迷学习丨学以致用丨下一个Python大神就是你! python基础入门 8.4万 71:15:41 www.bilibili.com/video/BV1SA4y1976A · 4-14
(正版独家)Python教程巅峰之作,听觉上的享受(Python入门,Python爬虫,数据分析) IT私塾 22.2万 31:25:34 www.bilibili.com/video/BV1yY4y1w7r8 · 8-5
Python爬虫实战教程:爬虫爬取某APP批量图片,脸红。 天美不会建模啊 3.5万 39:07 www.bilibili.com/video/BV18v411q76u · 2020-7-22
2022自学爬虫全套,学完可接项目(无私分享) 小北不熬夜啊啊 3.8万 13:43:02 www.bilibili.com/video/BV1iu411C79S · 4-16
Python爬虫从基础到精通,企业级讲解,集集干货,手把手带项目案例实战 图灵Python何老师 2.5万 45:20:00 www.bilibili.com/video/BV1Yi4y1S7Pi · 4-8
一单最少50块,学完爬虫就能实现,2021年最新python爬虫教程,从入门到实践,通俗易懂(完结) 左上角的猫 2.2万 14:23:31 www.bilibili.com/video/BV1Pg411V768 · 2021-9-1
【Python教程】从入门到精通Python网络爬虫,核心技术、框架与项目实战,适合入门学习(小白定制版) 图灵学院教程 2.9万 39:08:57 www.bilibili.com/video/BV1R34y1h7jx · 5-16
【Python爬虫教程】爬虫写得好,牢饭吃的饱!Python 爬虫零基础入门到实战系列!(附课件源码资料) 人工智能与Python 11.7万 27:51:01 www.bilibili.com/video/BV1Hb4y167c9 · 2021-7-20
10天学完Python爬虫全套教程,现在分享给大家(B站最新) Python_子木 12.2万 24:57:21 www.bilibili.com/video/BV16f4y197D6 · 2020-8-11
【最强攻略】用魔法打败魔法,Python爬虫轻松通关羊了个羊!!! 咩咩数据分析大全 1.6万 19:41:57 www.bilibili.com/video/BV17D4y1i7nX · 9-20
这样单个页面的所有视频信息提取完成了。
五、判断网页是否加载完成
以上代码种,切换页面后,有一个等待5秒的代码。
time.sleep(5)
如果不加这行,有时候获取不到完整的信息而报错,因为代码元素没有加载完成,代码就执行完了,从而获取不到元素值而报错,所以必须加一个等待时间。报错如下:
Traceback (most recent call last):
File "D:\Python\test_selenium.py", line 42, in <module>
video_name = item.find(class_='bili-video-card__info--tit').text
AttributeError: 'NoneType' object has no attribute 'text'
time.sleep(5),如果临时调试,也可以用,但是在实际环境,尽量少用,因为实际环境网络差异,可能5秒也加载不出,而报错。所以需要灵活点的方式,有三种等待方法。
1、强制等待
sleep(x) x单位为s,sleep等待的是元素 。
不管你浏览器是否加载完了,程序都得等待,时间一到,继续执行下面的代码,作为调试很有用。
隐性等待和显性等待可以同时用。
注意:等待的最长时间取两者之中的大者
2、隐性等待
隐性等待的是页面,implicitly_wait(x) x单位为s。
一旦设置,这个隐式等待会在WebDriver对象实例的整个生命周期起作用,它不针对某一个元素,是全局元素等待,即在定位元素时,需要等待页面全部元素加载完成,才会执行下一个语句。
如果超出了设置时间的则抛出异常。
缺点:当页面某些js无法加载,但是想找的元素已经出来了,它还是会继续等待,直到页面加载完成(浏览器标签左上角圈圈不再转),才会执行下一句。某些情况下会影响脚本执行速度
3、显性等待
WebDriverWait(driver,timeout,poll_frequency=0.5,ignored_exceptions=None)
需要通过from selenium.webdriver.support.wait import WebDriverWait导入模块
- driver:浏览器驱动
- timeout:最长超时时间,默认以秒为单位
- poll_frequency:检测的间隔步长,默认为0.5s
- ignored_exceptions:超时后的抛出的异常信息,默认抛出NoSuchElementExeception异常。
配合该类的until()和until_not()方法 程序每隔poll_frequency秒看一眼,如果条件成立了,则执行下一步,否则继续等待,直到超过设置的最长时间,然后抛出TimeoutException。
WebDriverWait与expected_conditions结合使用,示例:
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
wait = WebDriverWait(driver,10,0.5)
element =wait.until(EC.presence_of_element_located((By.ID,"kw"),message="")
expected_conditions类提供的预期条件判断的方法:
以下两个条件类验证title,验证传入的参数title是否等于或包含于driver.title
title_is
title_contains
以下两个条件验证元素是否出现,传入的参数都是元组类型的locator,如(By.ID, ‘kw’)
顾名思义,一个只要一个符合条件的元素加载出来就通过;另一个必须所有符合条件的元素都加载出来才行
presence_of_element_located
presence_of_all_elements_located
以下两个条件判断某段文本是否出现在某元素中,一个判断元素的text,一个判断元素的value
text_to_be_present_in_element
text_to_be_present_in_element_value
以下条件判断frame是否可切入,可传入locator元组或者直接传入定位方式:id、name、index或WebElement
frame_to_be_available_and_switch_to_it
以下条件判断是否有alert出现
alert_is_present
以下条件判断元素是否可点击,传入locator
element_to_be_clickable
以下四个条件判断元素是否被选中,第一个条件传入WebElement对象,第二个传入locator元组
第三个传入WebElement对象以及状态,相等返回True,否则返回False
第四个传入locator以及状态,相等返回True,否则返回False
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
最后一个条件判断一个元素是否仍在DOM中,传入WebElement对象,可以判断页面是否刷新了
staleness_of
4、更改代码等待方式
3个地方等待,输入关键词,点击按钮,还有切换页面。
输入搜索框,并确定。
wait=WebDriverWait(driver,10)
input = wait.until(EC.presence_of_element_located((By.CLASS_NAME,'nav-search-input')))
button = wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'nav-search-btn')))
调整页面等待,By.CLASS_NAME定位一个class值,并不能很准确,所以这里用By.CSS_SELECTOR定位。
对CSS_SELECTOR规则不熟的,直接查看源代码复制即可,当然也不一定非要最底层的元素值,我这里到div.video.i_wrapper.search-all-list即可。
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#i_cecream > div > div:nth-child(2) > div.search-content > div > div > div.video.i_wrapper.search-all-list')))
最终代码为:
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://www.bilibili.com/")
wait=WebDriverWait(driver,10)
input = wait.until(EC.presence_of_element_located((By.CLASS_NAME,'nav-search-input')))
button = wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'nav-search-btn')))
input.send_keys('爬虫')
button.click()
windows = driver.window_handles
driver.switch_to.window(windows[-1])
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#i_cecream > div > div:nth-child(2) > div.search-content > div > div > div.video.i_wrapper.search-all-list')))
html=driver.page_source
soup = BeautifulSoup(html,'lxml')
list = soup.find(class_='video-list row').find_all(class_="bili-video-card")
for item in list:
video_name = item.find(class_='bili-video-card__info--tit').text
video_up = item.find(class_='bili-video-card__info--author').string
video_date = item.find(class_='bili-video-card__info--date').string
video_play = item.find(class_='bili-video-card__stats--item').text
video_times = item.find(class_='bili-video-card__stats__duration').string
video_link = item.find('a')['href'].replace('//','')
print(video_name,video_up,video_play,video_times,video_link,video_date+'\n')
driver.quit()
六、隐藏浏览器无界面运行
如果长时间运行,不可能一直打开浏览器,这时候就需要用无UI的浏览器,或者隐藏浏览器无界面运行。
方法一:PhantomJS浏览器
PhantomJS一个基于webkit内核的无头浏览器,即没有UI界面,即它就是一个浏览器,只是其内的点击、翻页等人为相关操作需要程序设计实现。
注:最新版selenium(4.x.x)已经放弃PhantomJS,会报错AttributeError: module ‘selenium.webdriver‘ has no attribute ‘PhantomJS‘
如需要用这种浏览器,需要卸载最新的selenium,安装3.8.0版本或以下的。
pip uninstall selenium
pip install selenium==3.8.0
phantomjs下载地址:https://phantomjs.org/download.html,和安装chrome驱动一致,解压,配置环境变量即可。
安装完成后,在代码种将webdriver.Chrome()改成webdriver.PhantomJS()即可。
driver = webdriver.PhantomJS()
方法二:配置options无头模式
通过配置options的headless属性。无头模式有可能被检测,容易被发现。
headless属性来配置ChromeDriver以使用Selenium在无头模式下启动google-chrome浏览器。然后将参数传入webdriver.Chrome即可。
option = webdriver.ChromeOptions()
option.add_argument('--headless')
driver = webdriver.Chrome(options=option)
方法三:在虚拟显示器上工作
推荐使用这种在服务器上执行,这种方式,推荐是在Linux服务器中进行。因为windows容易报错,而且windows不支持某些包。
如报错:ModuleNotFoundError: No module named ‘fcntl’,原因是fcntl包并不支持在window上面运行。
1:Linux安装chrome和下载chromedriver驱动
Linux安装chrome
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
sudo dpkg -i google-chrome-stable_current_amd64.deb
sudo apt-get -f install
安装完成后,查看chrome版本
ubuntu@ubuntu:~$ google-chrome --version
Google Chrome 106.0.5249.119
Linux下载chromedriver驱动,根据chrome版本下载在官网相应驱动版本。
wget https://chromedriver.storage.googleapis.com/106.0.5249.61/chromedriver_linux64.zip
unzip chromedriver_linux64.zip
sudo cp chromedriver /usr/bin/
2:虚拟显示器执行
使用虚拟桌面前,服务器需要安装xvfb支持虚拟桌面
sudo apt install xvfb
安装包pyvirtualdisplay
pip3 install pyvirtualdisplay
倒入包名,开启虚拟显示器。
from pyvirtualdisplay import Display
display = Display(visible=0,size=(800,600))
display.start()
....
....
display.stop()
或者用另一个包xvfbwrapper,也可以使用虚拟桌面。
安装包
pip3 install xvfbwrapper
倒入
from xvfbwrapper import Xvfb
display = Xvfb(width=1280, height=740)
display.start()
....
....
display.stop()
以上基本完成了。
|