IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> python爬虫 提取豆瓣Top250电影信息 -> 正文阅读

[Python知识库]python爬虫 提取豆瓣Top250电影信息

思路很简单,先将原网页爬取出来,然后用正则表达式、BeautifulSoup和xpath3种方法提取想要的信息,这里暂时先只爬取电影名、导演、评分和标语。

import re
import csv
import requests
from lxml import etree
from bs4 import BeautifulSoup
from urllib.parse import urlencode

root = 'https://movie.douban.com/top250'
para = {'start': 0, 'filter': ''}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
                         ' Chrome/92.0.4515.107 Safari/537.36 Edg/92.0.902.55'}

# 正则表达式
writedata = []
pattern = re.compile(r'<li>.*?<div class="info">.*?<span class="title">(?P<name>.*?)</span>'
                     r'.*?<p class="">(?P<director>.*?)&nbsp'
                     r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'
                     r'.*?<span class="inq">(?P<quote>.*?)</span>', re.S)
for i in range(10):
    para['start'] = i * 25
    url = root + '?' + urlencode(para)
    resp = requests.get(url, headers=headers)
    for i in pattern.finditer(resp.text):
        writedata.append([i.group('name'), i.group('director').strip(), i.group('score'), i.group('quote')])
    resp.close()

# BeautifulSoup
writedata = []
for i in range(10):
    para['start'] = i * 25
    url = root + '?' + urlencode(para)
    resp = requests.get(url, headers=headers)
    # 生成bs对象
    bs = BeautifulSoup(resp.text, 'html.parser')
    # 从bs对象中查找数据
    items = bs.find_all(name='div', attrs={'class': 'info'})
    for item in items:
        name = item.find_all(name ='span', class_='title')[0].text
        director = item.find_all(name ='p', class_='')[0].text.strip()
        score = item.find_all(name='span', class_='rating_num')[0].text
        quote = item.find_all(name='span', class_='inq')
        if(quote == []):
            quote = ""
        else:
            quote = item.find_all(name='span', class_='inq')[0].text
        writedata.append([name, director, score, quote])
    resp.close()

# xpath
writedata = []
for i in range(10):
    para['start'] = i * 25
    url = root + '?' + urlencode(para)
    resp = requests.get(url, headers=headers)
    tree = etree.HTML(resp.text)
    for j in range(1, 26):
        name = tree.xpath(f'//*[@id="content"]/div/div[1]/ol/li[{j}]/div/div[2]/div[1]/a/span[1]/text()')[0]
        # 一次提取无法将导演信息准确提取出,需要利用正则表达式再提取一次
        message = tree.xpath(f'//*[@id="content"]/div/div[1]/ol/li[{j}]/div/div[2]/div[2]/p[1]/text()[1]')[0].strip()
        director = re.search(r'导演: (?P<director>.*?) ', message, re.S).group()
        score = tree.xpath(f'//*[@id="content"]/div/div[1]/ol/li[{j}]/div/div[2]/div[2]/div/span[2]/text()')[0]
        quote = tree.xpath(f'//*[@id="content"]/div/div[1]/ol/li[{j}]/div/div[2]/div[2]/p[2]/span/text()')
        if(quote == []):
            quote = ""
        else:
            quote = quote[0]
        writedata.append([name, director, score, quote])

    resp.close()

# 保存
with open('films.csv', 'w', newline="", encoding='utf-8') as f:
    csvwriter = csv.writer(f)
    csvwriter.writerow(['name', 'director', 'score', 'quote'])
    csvwriter.writerows(writedata)
f.close()

3种方法作比较,xpath是最简单的,在chrome中找到想要提取的元素后可以直接右键复制路径,不过可能需要正则表达式进行进一步处理;正则表达式写起来较为复杂,但是运行速度和效率都最高。

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2021-07-26 12:02:42  更:2021-07-26 12:03:13 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/25 14:23:30-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计