[开发测试] 使用wireshark抓取聊天信息与爬虫入门

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 开发测试 -> 使用wireshark抓取聊天信息与爬虫入门 -> 正文阅读

[开发测试]使用wireshark抓取聊天信息与爬虫入门

作者:token keyword

文章目录

1、聊天准备

????1、关闭计算机的防火墙
在这里插入图片描述

????2、关闭不需要的虚拟网络和其他不必要的以太网，只留下一个网络聊天的通道
在这里插入图片描述

????3、两台计算机连接同一个手机热点，打开疯狂聊天程序

2聊天并进行抓包

2.1、疯狂聊天

????1、首先为自己命名一个聊天昵称，并且两台计算机（也可以多台计算机一起）输入同一个聊天房间号
在这里插入图片描述

????2、进行消息的发送，即聊天
在这里插入图片描述

2.2、使用wireshark抓取聊天信息

????1、打开wireshark，进行wlan（无线网络）下的聊天信息抓取，不会的可参考：https://blog.csdn.net/qq_46689721/article/details/121167497
在这里插入图片描述
????2查看聊天信息的Dst地址为255.255.255.255

????3、查找Destination为255.255.255.255的记录
在这里插入图片描述
可以看到，该网络是通过UDp协议来连接的
????4、查看英语聊天信息

????5、查看数字聊天信息
在这里插入图片描述

????6、查看文字聊天信息
在这里插入图片描述

????7、通过上面抓取结果来看，聊天使用的端口为17345，使用的协议是UDP
在这里插入图片描述

2、初识网络爬虫

2.1、什么是爬虫

????1、简介：网络爬虫也叫作网络蜘蛛、网络蚂蚁、网络机器人等，其英文名叫Web Crawler或Web Spider，可以自动地浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则去浏览，这些规则我们将其称为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。

????2、爬虫的基本流程：发起请求：通过url向服务器发起request请求，请求可以包含额外的header信息。获取响应内容：如果服务器正常响应，那我们将会收到一个response，response即为我们所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。

????3、URL管理模块：发起请求。一般是通过HTTP库，对目标站点进行请求。等同于自己打开浏览器，输入网址。
下载模块：获取响应内容（response）。如果请求的内容存在于服务器上，那么服务器会返回请求的内容，一般为：HTML，二进制文件（视频，音频），文档，Json字符串等。
解析模块：解析内容。对于用户而言，就是寻找自己需要的信息。对于Python爬虫而言，就是利用正则表达式或者其他库提取目标信息。
存储模块：保存数据。解析得到的数据可以多种形式，如文本，音频，视频保存在本地。
在这里插入图片描述

2.2、爬取南阳理工学院ACM题目网站信息

????1、打开南阳理工学院ACM题目网站 http://www.51mxd.cn/ ，然后按下F12进入工作模式，点击source，可以看到网页的源代码，这时可以看到我们需要的题目信息是在TD标签内的，即我们要爬取TD标签里的内容
在这里插入图片描述

????2、我使用的是jupyter，打开进去使用python编程

import requests# 导入网页请求库
from bs4 import BeautifulSoup# 导入网页解析库
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):
    # 传入URL
    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)
 
    r.raise_for_status()

    r.encoding = 'utf-8'
      # 解析URL
    soup = BeautifulSoup(r.text, 'html5lib')
     #查找爬取与td相关所有内容
    td = soup.find_all('td')

    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

# 存放题目
with open('D:\word\protice.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成！！！')

????3、然后运行程序
在这里插入图片描述

????4、查看生成的爬取数据
在这里插入图片描述

在这里插入图片描述

2.3、爬取重庆交通大学新闻网站中近几年所有的信息通知

????1、打开重庆交通大学的信息通知网站：http://news.cqjtu.edu.cn/xxtz.htm

????2、同样F12打开进入开发者模式，在emelents下可以找到网页源代码，可以看到我们需要爬取的信息处于div标签内
在这里插入图片描述

????3、再找到需要爬取的数据的页数
在这里插入图片描述
????4、接下来就在jupyter里面进行代码代码的编写

# -*- coding: utf-8 -*-
"""
Created on Wed Nov 17 14:39:03 2021

@author: 86199
"""
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error  # 制定URL 获取网页数据

# 所有新闻
subjects = []

# 模拟浏览器访问
Headers = {  # 模拟浏览器头部信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}

# 表头
csvHeaders = ['时间', '标题']


print('信息爬取中：\n')
for pages in tqdm(range(1, 65 + 1)):
    # 发出请求
    request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
    html = ""
    # 如果请求成功则获取网页内容
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    # 解析网页
    soup = BeautifulSoup(html, 'html5lib')

    # 存放一条新闻
    subject = []
    # 查找所有li标签
    li = soup.find_all('li')
    for l in li:
        # 查找满足条件的div标签
        if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
            # 时间、爬取的标签
            for time in l.find_all('div',class_="time"):
                subject.append(time.string)
            # 标题
            for title in l.find_all('div',class_="right-title"):
                for t in title.find_all('a',target="_blank"):
                    subject.append(t.string)
            if subject:
                print(subject)
                subjects.append(subject)
        subject = []

# 保存数据
with open('D:/word/new.csv', 'w', newline='',encoding='utf-8') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n信息爬取完成！！！')