[开发测试]selenium爬取笔记

????????导入第三方库selenium。

import selenium
from selenium import webdriver

????????下载好对应的浏览器驱动：

??edge：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

? chrome：https://code.google.com/p/chromedriver/downloads/list

? firefox：https://github.com/mozilla/geckodriver/releases/

??IE：NuGet Gallery | Selenium.WebDriver.IEDriver 4.0.0

????????下载完是一个压缩文件夹，打开文件夹，里面有一个webmsedgedriver.exe文件，把这个文件复制到除C盘以外的一个盘里，然后再把该路径配置到此电脑的系统环境里去。

? ? ? ? 配置环境的路径为“此电脑—右击属性—关于—高级系统设置—高级—环境变量—系统变量—path

? ? ? ? 将msedgedriver.exe文件的路径配置进去，然后再点确定。

# 创建浏览器对象，我这里是edge浏览器，如果是你们是用的chrome浏览器的话，这里的edge要改成chrome，firefox也是如此，首字母要大写！！
driver = webdriver.Edge()
driver.get('https://www.taobao.com/?spm=a21bo.jianhua.201857.1.5af911d9NTiGPH')
# 网页最大化
driver.maximize_window()

????????在这里运行一下，发现driver = webdriver.Edge()出现报错。

hp, ht, pid, tid = _winapi.CreateProcess(executable, args,
FileNotFoundError: [WinError 2] 系统找不到指定的文件。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "D:\learn\测试.py", line 4, in <module>
    driver = webdriver.Edge()
  File "D:\学习\pycharm 练习\learn\lib\site-packages\selenium\webdriver\edge\webdriver.py", line 62, in __init__
    super(WebDriver, self).__init__(DesiredCapabilities.EDGE['browserName'], "ms",
  File "D:\学习\pycharm 练习\learn\lib\site-packages\selenium\webdriver\chromium\webdriver.py", line 90, in __init__
    self.service.start()
  File "D:\学习\pycharm 练习\learn\lib\site-packages\selenium\webdriver\common\service.py", line 81, in start
    raise WebDriverException(
selenium.common.exceptions.WebDriverException: Message: 'msedgedriver' executable needs to be in PATH. Please download from https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

????????

????????这里说这个驱动需要在配置里，但是我一想我明明配置了路径，怎么还要配置呢，后来一查才知道，原来要把路径以对象的形式给到webdriver.Edge（）这个方法里面去。

? ? ? ? 所以代码得改成这样。

#                        当然这里的edge也得改成自己的浏览器名称，小写就可以
from selenium.webdriver.edge.service import Service

# 用Service()方法将路径给到变量s，这里用了正则表达式
s = Service(r'D:\msedgedriver.exe')
# 这里的service是Edge方法里的参数，具体用法可以用鼠标选中Edge，然后按住ctrl，再用鼠标左键点击，就会弹出相应的方法文件
driver = webdriver.Edge(service=s)
driver.get('https://www.taobao.com/?spm=a21bo.jianhua.201857.1.5af911d9NTiGPH')
# 网页最大化
driver.maximize_window()

????????然后再来运行代码，就会弹出淘宝网页，这里有个重点，代码和人来浏览网页的时候会出现不同情况：

? ? ? ? 1、如果是人来逛网页的话，在搜索里搜索，选中物品，一直到最后确定购买后，才会弹出登录用户账户的界面弹窗；

? ? ? ? 2、如果是代码去操控驱动执行浏览网页，则会再搜索栏里输入设定好的商品后，直接弹出登陆界面的弹窗。

? ? ? ? 我们先写好要搜索的内容代码。

? ? ? ? 这里还有一个内容：

? ? ? ? 一般是用find_element_by_xpath()的方法去获取网页元素，结果我的pycharm却在底下显示

# 这里要换用方法，在上面加一个from selenium.webdriver.common.by import By


# 不推荐使用find_element_by_xpath()，请使用find_element()方法代替
find_element_by_* commands are deprecated. Please use find_element() instead 

# 也就是find_elemnet_by_xpath() == find_element(By.XAPTH, ‘要找的元素')

????????这里用了xpath方法去获取搜索框的网页元素，然后设置网页随机延迟1到3秒。

import random

driver.find_element(By.XPATH, '//*[@id="J_TSearchForm"]/div[1]/button').click()
time.sleep(random.randint(1, 3))

????????再获取搜索按钮，也是设定随机延迟1到3秒。