爬虫系列总目录

本章节介绍数据存储相关内容。Mysql、MongoDB、redis 等基础内容。动态页面的数据获取。
第三章数据库简介与使用
 第三章 MongoDB及Redis使用
 第三章 Selenium和Ajax使用

Selenium和AJAX 使用

爬虫系列总目录
一、 Selenium 使用
二、Ajax
- Ajax工作原理

一、 Selenium 使用

1.1 Selenium简介

Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。

主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。
测试系统功能——创建回归测试检验软件功能和用户需
求。支持自动录制动作和自动生成 .Net、Java、Perl等
不同语言的测试脚本。(上述来自百度百科)
Selenium框架由多个工具组成，包括： Selenium IDE，Selenium RC，Selenium WebDriver等。我们所使用的是其中的Selenium WebDriver。

1.2 Selenium 库里的WebDriver

WebDriver 是基于web的测试工具，可以直接调用web浏览器，并且以这种方式进行测试。WebDriver的使用需要安装对应的浏览器驱动，并且该驱动必须根据浏览器版本来进行安装。

1 页面操作

from selenium import webdriver
# 创建浏览器对象 
driver = webdriver.Chrome() 
# 使用浏览器访问百度 
driver.get('https://www.baidu.com') 
# 获取当前页面的网页源码 
# print(driver.page_source) 
# 获取当前页面的url 
print(driver.current_url) 
# 关闭当前窗口 .
driver.close() 
# 关闭所有关联窗口 # 
driver.quit()

2. 查找单个元素

方法一

find_element_by_id(id) 通过 id 匹配
find_element_by_name(name) 通过 name匹配
find_element_by_class_name(name) 通过class_name匹配
find_element_by_tag_name(name) 通过tag_name匹配
find_element_by_css_selector(css_selector) 通过css_selector 匹配
find_element_by_xpath(xpath) 通过 xpath 匹配

方法二

By.ID 通过id匹配
By.NAME 通过name匹配
By.CLASS_NAME 通过class_name匹配
By.TAG_NAME 通过tag_name匹配
By.CSS_SELECTOR 通过css_selector匹配
By.XPATH 通过xpath匹配

注意：对于两种方法来说，若成功找到则返回WebElement 对象，若没有找到则抛出NoSuchElementException 异常如果需要查找多个元素时，只需要把方法中的 element改成 elements 即可，elements返回的是匹配结果的列表。

3 文本框写入操作

4 执行交互动作

click(on_element=None) 鼠标左键点击元素
double_click(on_element=None) 鼠标左键双击元素
context_click(on_element=None) 鼠标右键点击元素
click_and_hold(on_element=None) 按下鼠标
release(on_element=None) 松开鼠标
move_to_element(to_element) 移动鼠标到指定元素中央
drag_and_drop(source,target) 拖拽元素
key_down(value,element=None) 按下键盘，一般只用在Ctrl、Alt和Shift
key_up(value,element=None) 松开键盘

5 页面切换

6 弹窗处理

7 Headerless Browser

Headerless Browser（无头的浏览器）是浏览器的无界面状态，可以在不打开浏览器GUI的情况下，使用浏览器支持的性能。
好处：可以加快UI自动化测试的执行时间，对于UI自动化测试，少了真实浏览器加载css，js以及渲染页面的工作。
无头测试要比真实浏览器快的多。

8 页面等待

强制等待

import time 
time.sleep(num)

隐式等待

隐式等待针对元素定位。设置等待时间，如在规定时间内元素定位成功，则执行下一步。如果未成功，报超时异常。
隐性等待对整个driver的周期都起作用，只需要设置一次。
明确等待某一个元素根据判断条件进行灵活等待，程序每隔一段时间检测一次，如果检测结果与条件成立，则执行下一步，否则继续等待，直到超过设置的最长时间为止，然后抛出TimeoutException异常。
显式等待涉及到多个模块：By、expected_conditions和WebDriverWait。

expected_conditions：验证网页元素是否存在，提供了多种验证方式。

WebDriverWait参数说明如下