Python爬虫
文章目录
爬虫基础知识
环境搭配
# @author VV
# @date 2021/8/14 19:34
import urllib.request
import urllib.parse
获取一个get请求
获取一个get请求
response = urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode('utf-8'))
获得一个post请求
data=bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")
response = urllib.request.urlopen("http://www.httpbin.org/post",data=data)
print(response.read().decode("utf-8"))
超时处理
try:
response = urllib.request.urlopen("http://www.httpbin.org/get",timeout=0.01)
print(response.read().decode("utf-8"))
except urllib.error.URLError as e:
print(e)
进行伪装（伪装成浏览器爬取网页）
如果不进行伪装的话，服务器会判断是爬虫爬取的信息，进而阻止爬取，如下
所以我们要进行伪装：
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36"
}
url = "https://movie.douban.com/top250"
req = urllib.request.Request(url=url,headers=headers)
response=urllib.request.urlopen(req)
print(response.read().decode("utf-8"))
Beautifulsoup的使用
准备工作
from bs4 import BeautifulSoup
file=open("./baidu.html","rb")
html=file.read()
bs=BeautifulSoup(html,"html.parser")
Tag标签
拿到他所找到的第一个内容
print(bs.title) #获得一个第一个找到的tag标签
NavigableString
标签里的内容（字符串）
print(bs.titile.string)
print(type(bs.title.string))
BeautifulSoup
表示整个文档
print(type(bs))
Comment
输出注释，是一个特殊的NavigableString ，输出的内容不包含注释符号
print(bs.a.string)
print(type(bs.a.string))
文档的遍历
print(bs.head.contents[1])
文档的搜索
字符串过滤
会查找与字符串完全匹配的内容
# 字符串过滤：会查找与字符串完全匹配的内容
t_list = bs.findAll("a")
print(t_list)
正则表达式搜索
使用search()方法来匹配内容
t_list = bs.findAll(re.compile("a"))
t_list = bs.find_all(text=re.compile("\d")) #应用正则表达式来查找包含特定文本的内容（标签里的字符串）
方法：传入一个函数（方法），根据函数的要求搜索（了解）
def nexit(tag):
return tag.has_attr("name")
t_list=bs.find_all(nexit)
for i in t_list:
print(i)
kwargs 参数
查找属性等于特定值的tab
t_list=bs.find_all(id="top_div")
for i in t_list:
print(i)
t_list=bs.find_all(class_=True)
for i in t_list:
print(i)
text参数
查找text文本为特定值的tab
t_list=bs.find_all(text=["hao123","地图","贴吧"])
for i in t_list:
print(i)
limit参数
限制获取的个数（不含limit默认获取第一个）
t_list = bs.find_all("a",limit=3)
for i in t_list:
print(i)
css选择器
t_list=bs.select('title') #通过标签查找
t_list=bs.select('#id') #通过id查找
t_list=bs.select('.class') #通过类名查找
t_list=bs.select("li[class='bri']") #通过属性查找
t_list=bs.select(".manv ~ .bri") #通过兄弟节点查找
for item in t_list:
print(item.get_text()) #获取tab的文本值
正则表达式
简单使用
#正则表达式：字符串模式（判断字符串是否符合一定的标准）
import re
#创建模式对象
pat=re.compile("AA")#此处的AA是正则表达式，用来去验证其它字符串
m=pat.search("CBAA") #search字符串被校验的内容
print(m)
m=re.search("asd","Aasd") #前面字符串是规则（模板），后面的字符串是被校验的对象
m=re.findall("a","Aamawidjaiiosand") #前面是规则（正则表达式），后面字符串是被校验的字符串。
m=re.findall("[A-Z]+","AamawidjaiiAWDAWDosand")
m=re.sub("a","A","ancioancoacasafacsa") #找到a用A替换，在第三个字符串中替换
print(m)