分析：爬取豆瓣网某电影短评，前10页不需要登录就能爬取，但是从第10页开始就需要登录才能获取数据。使用selenium模拟登录后，因为是静态网页，可以保存cookie，然后利用requests，添加cookie进行登录操作。也可以直接登录后赋值网页cookie添加到requests请求中，进行登录。
本来想直接使用requets的post传送表单，保存cookie，但是里面的ticke、randstr参数每次都会变，这个是滑动验证码后，会出现的东西，搞不懂是怎么生成的，所以没办法直接post登录
下面进入正题
第一步：先使用selenium半自动登录，保存cookie
import selenium
username = '用户名'
password = '密码'
def Login(url):
# 窗口最大化
wb.maximize_window()
# 打开网页
wb.get(url)
# 点击登录按钮
time.sleep(3)
# 点击密码登录
wb.find_element_by_class_name('account-tab-account').click()
# 输入username
wb.find_element_by_class_name('account-form-input').send_keys(username)
# 输入密码
wb.find_element_by_id('password').send_keys(password)
# 点击登录按钮
wb.find_element_by_class_name('btn-active').click()
time.sleep(20)
# 这里是判断网页全部加载完成，登录成功后，在返回cookie，判断已经就是你的用户显示在右上角
if '你的用户名' == wb.find_element_by_css_selector('.bn-more>span').text:
print('登录成功')
# 这里返回的cookie是一个列表，列表里面是字典
return wb.get_cookies()
else:
print('登录失败')
return False
def write(cookies):
"""写入文件"""
with open('cookies.txt','w') as f:
# 写文件只能写字符串，传过来的是个列表
f.write(str(cookies))
if __name__ == '__main__':
# 浏览器驱动的路径
wb = webdriver.Chrome('resource/chromedriver.exe')
url = 'https://accounts.douban.com/passport/login'
cookie = Login(url)
write_cookie(cookie)
第二步：读取cookie传入requests，进行登录，爬取短评，这里就爬取前20页。
注意： requests传入cookie只需要传入name和value，其它的不需要，所以需要遍历取出’name’和’value’.
方法1是循环遍历，将name和value存入字典
方法2是创建RequestsCookieJar对象直接set方法，
import time
import requests
from Tools.i18n.pygettext import safe_eval
from requests.cookies import RequestsCookieJar
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
def get_html(url, cookie, num):
"""
获取网页
:param url: 需要爬取的链接
:param cookie: cookie
:param num: 页数
:return: str
"""
r = requests.get(url, headers=headers, cookies=cookie, params={'start': num})
return r.text
def read_cookie():
"""读取你保存的cookie"""
with open('resource/豆瓣cookie.txt', 'r') as f:
cookies = f.read()
# 读出来是个字符串，转换为列表safe_eval()
cookies = safe_eval(cookies)
return cookies
def beautiful(text):
"""解析网页，返回的是1页的所有评论"""
new = []
soup = BeautifulSoup(text, 'lxml')
shorts = soup.select('.short') # 返回的是个列表,里面是对象，不是字符串
for short in shorts:
new.append(short.string)
return new
def write(totals):
with open('resource/你是我的荣耀.txt', 'a',encoding='utf-8',newline="") as f:
for i in totals:
f.write(i+'\n')
if __name__ == '__main__':
url = 'https://movie.douban.com/subject/33454980/comments?status=P'
cookie = read()
jar = RequestsCookieJar()
for i in cookie:
jar.set(i['name'], i['value'])
total = [] #存总评论
for i in range(20):
time.sleep(5)
text = get_html(url, jar, i * 20)
# 判断一下是否登录
if '年轻人的帐号' in text:
print('登录成功')
else:
print('登录失败')
shorts = beautiful(text)
for short in shorts:
total.append(short)
# 将评论写入txt
write(total)
第三步：最后就可以读出文件做词云图啦
这里使用jieba库进行分词
import wordcloud
import jieba
def read_txt():
"""读取文件"""
with open('resource/你是我的荣耀.txt', 'r',encoding='utf-8') as f:
reader = f.read()
return reader
def fenci(context):
"""分词"""
s = jieba.lcut(context)
news = []
#除去没用的字符
for i in s:
if len(i) > 1:
news.append(i)
return ' '.join(news)
if __name__ == '__main__':
reader = read_txt()
text = fenci(reader)
word = wordcloud.WordCloud(font_path='msyh.ttc', # 字体
background_color='white', # 背景
max_words=50).generate(text)
word.to_file('你是我的荣耀.png')
效果图：
总结：
1. 主要传入cookie的时候，requests只有要cookie里面的name和value。最后注意每次运行的结果是什么数据类型就行了
2. headers里面的User-Agent必须要添加，不然会遭到反爬报错403
如果你爬取频率过快，会被封ip，豆瓣封好像是1天，可以使用ip代理，我现在还没有学会。