[Python知识库] python网络爬虫（第四章实战2：需求：爬取搜狗首页的页面数据）

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> python网络爬虫（第四章实战2：需求：爬取搜狗首页的页面数据） -> 正文阅读

[Python知识库]python网络爬虫（第四章实战2：需求：爬取搜狗首页的页面数据）


# 需求：抓取搜狗首页的页面数据
import requests
if __name__ == "__main__":
    #1.指定url
    url = 'https://www.sogou.com/'
    #2.发送请求
    response = requests.get(url=url)
    #3.获取响应数据   text返回的是字符串形式的响应数据
    page_text = response.text
    print(page_text)
    # 4.持久化存储
    with open('./sougou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束！！！')

#运行后，打开sougou.html，全选之后，使用快捷键【ctrl+alt+L】,然后sougou.html中的HTML文件则会格式化

问题1，HTML格式不对，使用【ctrl+alt+L】快捷键格式化文件
问题2，使用浏览器打开搜狗页面
在pycharm中的Files—>Settings—>Tools—>Web Browsers。然后将Chrome中的Path和Default Browser【Custom path】下的路径全部修改为本地chrome安装的路径。