[网络协议]网络协议抓包分析与爬虫入门

网络协议抓包分析与爬虫入门

1、聊天准备

1、关闭计算机的防火墙

2、关闭不需要的虚拟网络和其他不必要的以太网，只留下一个网络聊天的通道

3、两台计算机连接同一个手机热点，打开疯狂聊天程序

2聊天并进行抓包

2.1、疯狂聊天
1、首先为自己命名一个聊天昵称，并且两台计算机（也可以多台计算机一起）输入同一个聊天房间号
2、使用wireshark抓取聊天信息

2查看聊天信息的Dst地址为255.255.255.255

3、查找Destination为255.255.255.255的记录

4、通过上面抓取结果来看，聊天使用的端口为17345，使用的协议是UDP

2、初识网络爬虫

1.爬虫介绍

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。简单来说就是通过编写脚本模拟浏览器发起请求获取数据。

2.爬虫原理

3.爬虫分类
(1)通用网络爬虫（General Purpose Web Crawler）：爬取一整张页面源码数据. 抓取系统(爬虫)

(2)聚焦网络爬虫（Focused Web Crawler）：爬取的是一张页面中局部的数据(数据解析)

(3)增量式网络爬虫（Incremental Web Crawler）：用于监测网站数据更新的情况,从而爬取网站中最新更新出来的数据

(4)深层网络爬虫（Deep Web Crawler）:Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。 表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的 Web 页面。Deep Web 是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面。

南阳理工学院ACM题目网站 http://www.51mxd.cn/ 练习题目数据的抓取和保存；

代码

	import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status()

    r.encoding = 'utf-8'

    soup = BeautifulSoup(r.text, 'html5lib')

    td = soup.find_all('td')

    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

# 存放题目
with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成！！！')

结果

三、爬重交大新闻网
打开重庆交通大学新闻网
F12查看源码，找到需要爬取的新闻标题


代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error  # 制定URL 获取网页数据

# 所有新闻
subjects = []

# 模拟浏览器访问
Headers = {  # 模拟浏览器头部信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}

# 表头
csvHeaders = ['时间', '标题']


print('信息爬取中：\n')
for pages in tqdm(range(1, 65 + 1)):
    # 发出请求
    request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
    html = ""
    # 如果请求成功则获取网页内容
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    # 解析网页
    soup = BeautifulSoup(html, 'html5lib')

    # 存放一条新闻
    subject = []
    # 查找所有li标签
    li = soup.find_all('li')
    for l in li:
        # 查找满足条件的div标签
        if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
            # 时间
            for time in l.find_all('div',class_="time"):
                subject.append(time.string)
            # 标题
            for title in l.find_all('div',class_="right-title"):
                for t in title.find_all('a',target="_blank"):
                    subject.append(t.string)
            if subject:
                print(subject)
                subjects.append(subject)
        subject = []

# 保存数据
with open('cqjtu_news.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n信息爬取完成！！！')

结果


成功爬取信息