[Python知识库]爬虫入门2020

爬虫入门

1、requests模块

#!/usr/bin/python
# -*- encoding=utf-8 -*-

# 1、指定爬取URL
import requests
from lxml import etree

url_info = 'https://www.sogou.com/sogou'
# 2、ua伪装  对请求头的user-agent进行伪装
headers_info = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3878.400 QQBrowser/10.8.4518.400'
}

# -11111111111111111111111111111111111111-
# 3、对指定url发起请求
# get（一般请求 Ajax请求）
url_response_get = requests.get(url=url_info, headers=headers_info)
print(url_response_get.encoding)  # encoding(数据的编码)
print(url_response_get.text)  # text（以encoding类型字符返回响应数据）
print(url_response_get.encoding)  # content(以字节形式（二进制）返回。字节方式的响应体)
print(url_response_get.headers)  # headers(响应头，不区分大小写)
print(url_response_get.status_code)  # 请求响应码[200:'请求成功',404:'请求资源不存在'等]
# -11111111111111111111111111111111111111-


# -22222222222222222222222222222222222222-
# 带参数的get请求
# F12查看带参数请求
# F12--->Network--->fetch/XHR查看第一个（response里面是请求返回的想要的数据）
# # https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=
url_info_get = 'https://movie.douban.com/j/chart/top_list'
params_info = {
    'type': '12'
    , 'interval_id': '100:90'
    , 'action': ''
    , 'start': '1'  # 开始位置
    , 'limit': '10'  # 显示数量
}
# 带参数的get请求
url_response_ajax_get = requests.get(url=url_info_get, headers=headers_info, params=params_info)
# 获取响应的json数据  直接返回json数据
# print(url_response_ajax_get.json())
# -22222222222222222222222222222222222222-

# -33333333333333333333333333333333333333-
# post请求  （响应数据）  http://www.kfc.com.cn/kfccda/storelist/index.aspx  点击查询  post请求返回的参数
url_info_post = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

params_info = {
    'cname': ''
    , 'pid': ''
    , 'keyword': '深圳'
    , 'pageIndex': '1'
    , 'pageSize': '10'
}
url_response_post = requests.post(url=url_info_post, data=params_info, headers=headers_info)
print(url_response_post)
# 获取post响应的json数据  直接返回json数据
print(url_response_post.text)
print(url_response_post.content)
print(url_response_post.json())
# -33333333333333333333333333333333333333-


# -4444444444444444444444444444444444444-
#  bs4标签和内容的定位  实例化一个beautifuSoup对象 bs4.BeautifulSoup(对象, 'lxml')
import bs4

fp = open('../book/1.html', 'r', encoding='utf-8')
bs_dx = bs4.BeautifulSoup(fp, 'lxml')
# bs对象.标签名称   标签内容
print(bs_dx.link)
# bs对象.标签名称['属性名称']   属性内容
print('.获取标签下面属性值的内容：{}'.format(bs_dx.link['href']))
# bs对象.标签名称['属性名称']   属性内容
print('标签下面属性值的内容：{}'.format(bs_dx.link.text))
# bs对象.find('标签名称')
print('find获取标签信息：{}'.format(bs_dx.find('link')))
# bs对象.find('标签名称',属性=值)    div标签里面的属性定位(class是关键字   需要用class_)
print('find获取指定属性的标签信息：{}'.format(bs_dx.find('link', href='static/css/anti.min.css?v=1')))
# bs对象.find('标签名称') 符合要求的所有标签列表
print('find获取所有的标签信息：{}'.format(bs_dx.find_all('link')))
print('find获取指定属性所有的标签信息：{}'.format(bs_dx.find_all('link', href='static/css/anti.min.css?v=1')))

# bs对象.select('选择器') 符合要求的所有标签列表  (类选择器，标签选择器，id选择器，层级选择器)

print('select获取满足类选择器条件的标签：{}'.format(bs_dx.select('.logo')))

print('select获取满足层级选择器条件的标签：{}'.format(bs_dx.select('.logo>a>img')[0]))
# 文本内容 text/get_text()所有的文本内容    /string（只获取该标签下面直系的文本内容）
print(bs_dx.text)
# -4444444444444444444444444444444444444-


print(5555555555555555555555555555555555555555555)
# -5555555555555555555555555555555555555555555-
# 实例化一个etree对象，将被解析的页面远吗数据加载到该对象中
parser2 = etree.HTMLParser(encoding='utf-8')
file = r'F:\git_code\20211224\Reptile\Reptile基础\book\hongloumeng.html'
gsw_tree = etree.parse(file, parser=parser2)
print(gsw_tree)
print(gsw_tree.xpath('//title/text()'))

#
# ame = 'gsw'
# # 1、指定登陆页面URL
# gsw_url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
# # 2、发起请求
# gsw_re_get = requests.get(url=gsw_url, headers=headers_info)
# # 3、获取响应数据
# gsw_re_get_text = gsw_re_get.text
# with open(r'F:\git_code\20211224\Reptile\Reptile基础\book\hongloumeng.html', 'wb') as write:
#     write.write(gsw_re_get.content)
# # print(gsw_re_get_text)
# # 4解析响应数据
# print(gsw_re_get_text)
# gsw_tree = etree.HTML(gsw_re_get_text)
# gsw_tree_xpath = gsw_tree.xpath('//div[@class="mainreg2"]')
# print(gsw_tree_xpath)

# -5555555555555555555555555555555555555555555-