[Python知识库]爬虫01入门

'''
-requests模块
-urllib模块

requests模块：python原生的一款基于网络请求的原生模块，效率极高，简单便捷
作用：模拟浏览器发请求。
如何使用：（requests模块的编码过程）
    -指定url
    -发起请求
    -获取响应数据
    -持久化存储


with open的用法：
由于文件读写时有可能产生IOError，一旦出错，后面的f.close()就不会调用。
所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally通过捕捉异常、处理异常来实现。
所以，Python引入了with语句来自动帮我们调用close()方法。也就是说：文件读取的这个操作，只有在with语句内部才会生效，不会离开。
用法：
with open(文件名, 模式) as 文件对象:
    文件对象.方法()

with open('test.txt', 'r') as f:
    print(f.read())
'''
import requests

    #step1:指定url
url='https://hao.360.com/?src=lm&ls=n4134a09b9b'
    #step2:发起请求
response=requests.get(url=url)#get方法会返回一个相应对象
    #step3:获取响应数据,text返回的是字符串形式的响应数据
page_text=response.text
print(page_text)
    #step4:持久化存储
with open('hao360.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
print('爬取数据结束！')