完善了一些问题:
- 编码问题：使用cchardet模块获取编码格式，并将赋予该格式实参，成为类的一个属性
- 有一些奇怪的编码如“……”：第二次使用正则匹配将这些编码按照规律找不来，使用sub方法替换
# 获取内涵吧多页 段子内容
from typing import Type
import requests
import re
from user_agent import headers
import cchardet
# 完善的一些问题:
# 1 编码问题：使用cchardet模块获取编码格式，并将赋予该格式实参，成为类的一个属性
# 2 有一些奇怪的编码如“……”：第二次使用正则匹配将这些编码按照规律找不来，使用sub方法替换
class Neihan(object):
'''内涵吧数据获取'''
def __init__(self):
self.url = 'https://www.neihanba.com/dz/'
# self.proxies = {
# 'http':'182.84.144.66:3256'
# }
# 匹配规则
'''第一次数据匹配'''
self.con = re.compile('<div class="f18 mb20">(.*)</div>')
'''第二次数据匹配（用于第二次数据处理）'''
self.con2 = re.compile('&(.*?);')
def get_url(self):
'''改造url列表'''
url_list = [self.url + 'list_%s.html' %num for num in range(2,11)]
url_list.insert(0,self.url)
return url_list
def send(self,url):
'''发送请求'''
try:
res = requests.get(url,headers=headers).content
self.encoding = cchardet.detect(res)['encoding']
# print(self.encoding)
return res.decode(self.encoding)
except:
print('e')
def save(self,response):
'''保存文件'''
# 在网页标签头部<head>找编码格式（utf-8）
with open('第七天/neihan1-1.txt','a',encoding=self.encoding) as f:
for content in response:
'''二次处理处理'''
sec_con = self.con2.sub('',content) + '\n\n'
f.write(sec_con)
def clean(self,response):
'''数据清理'''
# print(self.con.findall(response))
return self.con.findall(response)
def run(self):
'''主调函数'''
for url in self.get_url():
self.save(self.clean(self.send(url)))
# self.clean(self.send())
print('正在获取第%s页的数据' % url)
if __name__ == '__main__':
Neihan().run()
# 在网页检查元素里，将目标标签收缩（点击小三角收起来），右键——copy——cut element，整段标签复制出来
# str_html = '<div class="f18 mb20"> 女神：“完了，这次考试考砸了，肿么办嘛？”屌丝轻轻地拍了拍女神的脑袋，说：“小傻瓜，我就知道你不会做，后面几道大题我都没写，这样我们就能上同一所</div>'
# con = re.compile('<div class="f18 mb20">(.*)</div>')
# print(con.findall(str_html))
|