[Python知识库] python中爬取网页代码

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> python中爬取网页代码 -> 正文阅读

[Python知识库]python中爬取网页代码

简单网页制作：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>我要自学网</title>
</head>
<body>
    <h1一级标题1>这是一级标题</h1一级标题1>
    <h2>这是二级标题</h2>
    <p>这是一段文字</p>
    <img src="突破.jpg">
    <div>
        <ul>hello world</ul>
        <ul>hello world</ul>
        <ul>hello world</ul>
    </div>
    <h3>这是三级标题</h3>
    <div id="list">
        <p>这是一段文字</p>
        <p>java</p>
        <p class="hadoop">hadoop</p>

    </div>


</body>
</html>

lxml插件爬取代码：

插件导入：pip3 install lxml



from lxml.html import fromstring

with open('C:/Users/Administrator/PycharmProjects/pythonProject4/index.html','r',encoding='utf-8') as f:
    data=f.read()
    selector = fromstring(data)
hl=selector.xpath('//h1/text()')[0]
p=selector.xpath('//body/p/text()')[0]
div_ul=selector.xpath('//div/ul/text()')[0]
#div_p=selector.xpath('//div[@id="list"]/p/text()')[1]
#div_p=selector.xpath('//div[@id="list"]/p[last()]/text()')[0]
div_p=selector.xpath('//div[@id="list"]/p[@class="hadoop"]/text()')[0]
pass

#C:\Users\Administrator\PycharmProjects\pythonProject4\venv
#C:/Users/Administrator/PycharmProjects/pythonProject4/index.html

如果提示报错：按一下操作