[Python知识库]Python案例快速入门之二：从页面抓取数据

本章将直接开始一个从CSDN抓取数据的小例子。

1. 新建如下文件
   
2. 输入下面代码，从csdn抓取菜单列表

import requests
from lxml import etree

url="https://www.csdn.net/"
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"}
pre={'User-agent':'Mozilla/5.0'}
 
html = requests.get(url, headers=header).text
list = etree.HTML(html)
lis = list.xpath('//div[@class="host-move"]/ul/li')
try:
    for oneSelector in lis:
        title = oneSelector.xpath("a/text()")[0]
        print(title)
        
except  Exception as e:
    print("获取失败:{}".format(e))

4. 如果鼠标移动到requests时，出现如下错误
   
5. 在终端中输入下面语句，安装需要的包

 pip install requests

6. 如果lxml的包也没有安装，在终端中输入下面语句，进行安装

pip install lxml

7. Ctrl+F5 执行程序，或者单击菜单【运行】-》【以非调试模式运行】

8. 显示如下结果，我们就抓取到了csdn的菜单项，完成了我们的第一个非常非常简单的数据抓取案例
   

作者推荐视频

1. Spring全家桶-初识篇
2. Spring全家桶-基础篇：Spring MVC快速开发
3. Spring全家桶-核心篇：SpringBoot快速入门
4. Spring全家桶-核心篇：深入浅出SpringCloud+SpringData