[Python知识库]windows下python+selenium+chrome爬虫实现方法

准备：下载chrom浏览器驱动
下载地址https://chromedriver.chromium.org/
1.安装selenium
1.1安装代码

pip install selenium==3.0.1

1.2.selenium的设置：

1. 在如下路径1下的文件中设置executable_path=“D:\软件安装包\chromedriver.exe（你的驱动路径）”
   C:\Users\Justin\AppData\Local\Programs\Python\Python37-32\Lib\site-packages\selenium\webdriver\remote\webdriver.py（根据自己的电脑查找）

2. 在如下路径2下的文件中设置类class Popen(object):中的__init__中的shell=False修改为shell=True
   路径（根据自己电脑查找）C:\Python\Python36\lib\site-packages\selenium\webdriver\common\service.py

2.python结合selenium实现自动化操作
代码如下：

from selenium import webdriver

driver=webdriver.Chrome()
# 打开网页
    driver.get('https://www.zhipin.com/c100010000/?query=python&page=2&ka=page-2')
#解析数据
list1=find_element_by_xpath('//*[@id="main"]/div/div[2]/ul/li[1]/div/div[1]/div[1]/div/div[1]/span[1]/a').text
print list1
driver.quit()

另如遇如下bug
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {“method”:“xpath”,“selector”:"//*[@id=“main”]/div/div[2]/ul/li[1]/div/div[1]/div[1]/div/div[1]/span[1]/a"}
可用隐式等待

driver.implicitly_wait(30)

本文纯属技术交流，如有侵权请留言联系