IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> Python3.7 爬取豆瓣个人“想读”清单并保存为xls格式的excel -> 正文阅读

[Python知识库]Python3.7 爬取豆瓣个人“想读”清单并保存为xls格式的excel

需要用到的库

requests、xlwt、time、bs4四个库

网页源码提取书名分析

可以看到书籍的全部信息都包含在<li>标签中,但标签的范围可以进步缩小到<h2>标签中,可以进一步搜索所有<li>标签中<h2>标签。之后只要得到<h2>标签中文字内容即可。
网页源码分析

数据保存

利用xlwt库,简单的循环写入操作后即可保存为xls文件

源代码

# python3.7 64位
# 2021.08.20
# 分析:无需登录或使用cookies,可直接获得HTML内容

from requests import get
from bs4 import BeautifulSoup
import time
import xlwt


def get_html_text(page_url):
    try:
        r = get(page_url, headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text, "html.parser")
        # print(soup) #已验证
        books_info = soup.find_all("li", class_="subject-item")
        books_list = []
        # print(books_info)
        for book_info in books_info:
            books_list.append(str(book_info.find("h2").get_text()).replace(' ', '').replace("\n", ''))
        # print(books_list)  # 已验证
        return books_list
    except:
        print('fail')


def save2xls(total_book):
    workbook = xlwt.Workbook()
    worksheet = workbook.add_sheet('to read book list')
    worksheet.write(0, 0, '书名')
    for j in range(len(total_book)):
        worksheet.write(j + 1, 0, total_book[j])
    workbook.save('to read book.xls')
    return 1


if __name__ == "__main__":
    TotalBook = []
    BookListUrl = [
        r"https://book.douban.com/people/更改为自己的/wish?start=%d&sort=time&rating=all&filter=all&mode=grid" % num for num
        in list(range(0, 840, 15))]
    headers = {
        "User-Agent": r'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (XHTML, like Gecko) '
                      r'Chrome/70.0.3538.110 Safari/537.36 '
    }

    for i in range(len(BookListUrl)):
        TotalBook += get_html_text(BookListUrl[i])
        time.sleep(1.5)
    save2xls(TotalBook)
    
  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2021-08-21 15:19:48  更:2021-08-21 15:21:14 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/26 11:47:06-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计