[Python知识库]一个爬虫我认为是万能的代码模板

from bs4 import BeautifulSoup     #网页解析，获取数据
import re       #正则表达式，进行文字匹配
import urllib.request,urllib.error      #制定URL，获取网页数据
import xlwt     #进行excel操作
import sqlite3  #进行SQLite数据库操作






def main():

    url = "https://www.fosu.edu.cn/eie/category/yjsgz/dsfc/page/2"
    html = askURL(url)
    print(html)
    # jobURLs = getURLs(pagenum)
    # for url in jobURLs:
    #     getDate(url)
    #
    #     print(datalist)
    #     saveData2DB()

    # 得到指定一个URL的网页内容
def askURL(url):
        head = {  # 模拟浏览器头部信息，向豆瓣服务器发送消息
            "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.36"
        }
        # 用户代理，表示告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接收什么水平的文件内容）

        request = urllib.request.Request(url, headers=head)
        html = ""
        try:
            response = urllib.request.urlopen(request)
            html = response.read().decode("utf-8")
            # print(html)
        except urllib.error.URLError as e:
            if hasattr(e, "code"):
                print(e.code)
            if hasattr(e, "reason"):
                print(e.reason)

        return html


if __name__ == "__main__":
    main()

这图是我爬取电信学院研究生导师时的学以致用的证明

?

想爬什么只需修改下网页就行，还要注意网页是不是utf-8的形式，不是就改为gdk