IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> Python基础之爬取小说 -> 正文阅读

[Python知识库]Python基础之爬取小说

近些年里,网络小说盛行,但是小说网站为了增加收益,在小说中增加了很多广告弹窗,令人烦不胜烦,那如何安静观看小说而不看广告呢?答案就是爬虫。本文主要以一个简单的小例子,简述如何通过爬虫来爬取小说,仅供学习分享使用,如有不足之处,还请指正。

目标页面

本文爬取的为【某横中文网】的一部小说【妙手小医仙】,已完结,共187章,信息如下:

网址:http://book.abcde.com/showchapter/1102448.html

本次主要爬取小说章节信息,及每一章对应的正文信息。章节信息如下所示:

目标分析

1. 章节目录分析

通过浏览器自带的开发人员工具【快捷键F12或Ctrl+Shift+I】进行分析,发现所有的章节都包含在ul【无序列表标签】中,每一个章节链接对应于li【列表项目标签】标签中的a【超链接标签】标签,其中a标签的href属性就是具体章节网址,a标签的文本就是章节标题,如下所示:

?2.?章节正文分析

通过分析,发现章节全部内容,均在div【class=reader_box】中,其中包括标题div【class=title_txtbox】,章节信息div【class=bookinfo】,及正文信息div【class=content】,所有正文包含在p【段落标签】中。如下所示:

?爬虫设计思路

  1. ?获取章节页面内容,并进行解析,得到章节列表
  2. 循环章节列表:
    1. 获取每一章节内容,并进行解析,得到正文内容,
    2. 保存到文本文档。每一个章节,一个文档。

示例源码

获取请求页面内容,因为本例需要多次获取页面内容,所以封装为一个单独的函数,如下所示:

def get_data(url: str = None):
    """
    获取数据
    :param url: 请求网址
    :return:返回请求的页面内容
    """
    # 请求头,模拟浏览器,否则请求会返回418
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'}
    resp = requests.get(url=url, headers=header)  # 发送请求

    if resp.status_code == 200:
        if resp.encoding != resp.apparent_encoding:
            # 如果返回的编码和页面显示编码不一致,直接获取text会出现乱码,需要转码
            return resp.content.decode(encoding=resp.apparent_encoding)
        else:
            # 如果返回成功,则返回内容
            return resp.text
    else:
        # 否则,打印错误状态码,并返回空
        print('返回状态码:', resp.status_code)
        return

注意:有可能不同网站,返回内容的编码和页面显示的编码不一致,可能会出现中文乱码的情况,所以本例进行编码设置。

1. 解析章节列表

要获取整本小说内容,首先就要获取章节列表,然后保存到内存数组中,以便于获取具体正文。如下所示:

def parse_chapters(html: str = None):
    """
    爬取章节列表
    :param html:
    :return:
    """
    if html is None:
        return
    else:
        chapters = []
        bs = BeautifulSoup(html, features='html.parser')
        ul_chapters = bs.find('ul', class_='chapter-list clearfix')
        # print(ul_chapters)
        li_chapters = ul_chapters.find_all('li', class_='col-4')  # 此处需要注意,页面源码查看是有空格,但是BeautifulSoup转换后空格消失
        for li_chapter in li_chapters:
            a_tag = li_chapter.find('a')
            # print(a_tag)
            a_href = a_tag.get('href')  # 此处也可以用a_tag['href']
            a_text = a_tag.get_text()  # 获取内容:章节标题
            chapters.append({'title': a_text, 'href': a_href})

        return chapters

2. 解析单个章节

当得到单个章节的链接时,就可以获取单个章节的内容,并进行解析,如下所示:

def parse_single_chapter(html: str = None):
    """
    解析单个章节内容
    :param html:
    :return:
    """
    bs = BeautifulSoup(html, features='html.parser')
    div_reader_box = bs.find('div', class_='reader_box')
    div_title = div_reader_box.find('div', class_='title_txtbox')
    title = div_title.get_text()  # 获取标题
    div_book_info = div_reader_box.find('div', class_='bookinfo')
    book_info = div_book_info.get_text()
    div_content = div_reader_box.find('div', class_='content')
    content = ''
    p_tags = div_content.find_all('p')
    for p_tag in p_tags:
        content =content + p_tag.get_text() + '\r\n'
    # content = div_content.get_text()
    return title + '\n' + book_info + '\n' + content

3. 循环解析并保存

循环获取单个章节正文页面,并进行解析,然后保存。如下所示:

def get_and_parser_single_chapter(chapters: list = []):
    """
    获取单个章节
    :param chapters: 章节列表
    :return:
    """
    for (index, chapter) in enumerate(chapters, 1):
        title = chapter.get('title')
        href = chapter.get('href')
        while True:
            print('开始第%d章爬取' % index)
            html = get_data(href)
            if html is not None:
                content = parse_single_chapter(html)
                save_data(title, content)  # 保存数据
                print('第%d章爬取成功' % index)
                break
            else:
                print('第%d章爬取失败' % index)
                time.sleep(2)

4. 整体调用逻辑

当写好单个功能函数时,顺序调用就是完整的爬虫,如下所示:

url = 'http://book.abcde.com/showchapter/1102448.html'
print('开始时间>>>>>', time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
html_chapters = get_data(url)
chapters = parse_chapters(html_chapters)
get_and_parser_single_chapter(chapters)
print('结束时间>>>>>', time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
print('done')

示例截图

爬取到的小说列表,如下所示:

?每一个章节内容,如下所示:

?示例完整代码???????

备注

我从来不认为半小时是我微不足道的很小的一段时间。真正的强者,不是没有眼泪的人,而是含着眼泪奔跑的人。但行前路,无问西东 。

长相思·山一程

纳兰性德?【朝代】清

山一程,水一程,身向榆关那畔行,夜深千帐灯。

风一更,雪一更,聒碎乡心梦不成,故园无此声。

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2021-08-03 11:08:04  更:2021-08-03 11:08:48 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/25 14:54:01-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计