[人工智能]爬虫之东方财富网站学习笔记

目标：爬取东方财富网站数据

步骤：1.分析网站页面内容 确定爬取的具体目标

? ? ? ? ? ?2.查阅资料进行代码和思路学习

? ? ? ? ? ?3.进行实际操作 尝试爬取网站

通过教程学习可知爬取页面涉及的几个包有

1.requests库是一个http请求库用于对目标网页进行爬取

2.beautifulsoup库主要的功能是从网页抓取数据

3.pprint库主要功能是美化打印结果

4.由于最终结果要存储成为csv文件 导入了csv相关库

import requests
from bs4 import BeautifulSoup
import pprint
import csv
import pandas as pd

?导库结束后进行网页下载

定义一个函数用于下载html

def download_all_htmls():
    htmls=[]
    for i in range(1):
        url = f"http://data.eastmoney.com/zjlx/00000{i+1}.html/"
        print("craw html:",url)
        r = requests.get(url)
        if r.status_code !=200:
             raise Exception("error")
        htmls.append(r.text)
    return htmls

?调用函数 查看下载的html链接

htmls=download_all_htmls()

返回第一页的页面具体内容

htmls[0]

对单个页面进行数据分析

定义一个函数对页面中希望爬取的内容进行处理

def parse_single_html(html):
    soup=BeautifulSoup(html,'html.parser')
    bodys=soup.find_all("body")
    datas=[]
    for body in bodys:
        title_nodes=(
              body
              .find("div",class_="sinstock-filter-wrap")
            
        )
        title=title_nodes.get_text()
        title1=title.replace("\n", " ");
        link_nodes=(
            body
            .find("div",class_="sinstock-filter-wrap")
            .find_all("a")
        )
        a1=[]
        for i in range(20):
            if(i<20):
                link=link_nodes[i]["href"]
                i=i+1
                a1.append(link)
        print("links:",a1)
        datas.append(
            {"title":title1,"link":link})
    return datas

将爬取到的内容用pprint打印

pprint.pprint(parse_single_html(htmls[0]))

定义all_datas列表储存爬取到的内容

all_datas=[]
for html in htmls:
    all_datas.extend(parse_single_html(html))

调用all_datas后可以得到整个页面爬取的结果