[Python知识库]python爬虫视频学习-网页采集器

import requests

if __name__ == "__main__":
    url = 'https://www.sogou.com/web?'
    # 处理url携带的参数:封装到字典中
    kw = input('enter a word:')
    param = {
        'query': kw
    }
    # 对指定的url发起的请求对应的url是携带参数的，并且请求过程处理了参数
    r = requests.get(url=url, params=param)
    page_text = r.text
    print(page_text)

import requests

if __name__ == "__main__":
    #UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器。
    #将对应的User-Agent封装到一个字典中
    headers={
        'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 94.0.4606.54Safari / 537.36'
    }
    url = 'https://www.sogou.com/web?'
    # 处理url携带的参数:封装到字典中
    kw = input('enter a word:')
    param = {
        'query': kw
    }
    # 对指定的url发起的请求对应的url是携带参数的，并且请求过程处理了参数
    r = requests.get(url=url, params=param,headers=headers)
    page_text = r.text
    print(page_text)