[人工智能]爬取重庆交通大学新闻网站信息通知（爬虫）

一、实验内容

将重庆交通大学新闻网站中近几年所有的信息通知http://news.cqjtu.edu.cn/xxtz.htm的发布日期和标题全部爬取下来，并写到CSV电子表格中。

二、爬虫定义与分类

网络爬虫，通过一定的规则策略，自动抓取、下载互联网上网页，在按照某些规则算法对这些网页进行数据抽取，形成所需要的数据集。

按照抓取网站对象来分类，可以分为2类爬虫。

通用爬虫：类似百度、谷歌这样的爬虫，抓取对象是整个互联网，对于网页没有固定的抽取规则。 对于所有网页都是一套通用的处理方法。

垂直爬虫：这类爬虫主要针对一些特定对象、网站，有一台指定的爬取路径、数据抽取规则。比如今日头条，它的目标网站就是所有的新闻类网站。 比如Etao比价、网易的慧慧购物助手，他们的目标网站就是 淘宝、京东、天猫等等电商网站。

通用爬虫和垂直爬虫显著的区别：

抓取范围，通用爬虫的抓取范围要比垂直爬虫大得多，一个是整个互联网，一个是指定的网站。

爬取路线，通用爬虫要不按照深度爬取、要不是按广度爬取。 而垂直爬虫则可能是按照指定路线爬取。

数据处理，通用爬虫一般就是分词、索引到数据库。 而垂直爬虫则通过特定的规则来抽取更加精细的数据 。

关于行业内的网络爬虫，经过除部分分析，基本以垂直爬虫需求为主，比如通过垂直电商平台获取国内和国际的商品价格等场景。

三、爬取过程

1. 导入需要的包

• BeautifulSoup4
• tqdm
• 等等

2. 代码：

# 爬取重庆交通大学新闻网站
# 时间：2021.11.14
# 作者：伊木子曦

# import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error  # 制定URL 获取网页数据
# 模拟浏览器访问
Headers = {  # 模拟浏览器头部信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 "
                  "QQBrowser/10.5.3863.400"
}

# 表头
csvHeaders = ['时间','标题']

# 题目数据
subjects = []

# 爬取题目
print('信息爬取中：\n')
for pages in tqdm(range(1, 55 + 1)):# 自行设置爬取的页数
    request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")   # 设置编码
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    soup = BeautifulSoup(html, 'html5lib')
    div_time = soup.find_all('div', class_="time")  # 获取消息时间
    title = soup.find_all('div',class_="right-title") #先获取包裹消息内容的div标签class=right-title的所以内容
    subject = []
    for d in div_time:
        for t in title:

            for t in t.find_all('a',target="_blank"): # 获取消息div标签class=right-title的内容含a标签且target="_blank"
                if t.string is not None:              # 判断满足以上所以条件的title不为空
                    if d.string is not None:          # 判断满足以上所以条件的time不为空
                        subject.append(d.string)      # 先将time放入subject
                        subject.append(t.string)      # 再将title放入subject
                        #if len(subject) == 2:
                        subjects.append(subject)      # 再将整条time,及title放入subjects
                        print(subject)
                        subject = []

# 存放内容
with open('./file/CQJTU_news.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)  # 写入表头
    fileWriter.writerows(subjects)   # 写入数据

print('\n题目信息爬取完成！！！')

3. 查看网页源代码
   
   发现时间在div中且class="time” 为唯一，可直接通过

div_time = soup.find_all('div', class_="time")  # 获取消息时间

获得，title的内容获取稍微麻烦点，

因为是div标签且class=class_=“right-title"不只是我们需要的标签是这样，而a标签且target=”_blank"也是一样，所以还需要增加条件（即增大范围），再缩小范围

title = soup.find_all('div',class_="right-title") #先获取包裹消息内容的div标签class=right-title的所以内容

t.find_all('a',target="_blank")

4. 运行获取数据
   

四、参考

https://www.jianshu.com/p/189eed6a14fd