0%

python爬虫实例之requests使用小技巧

cookies对象转为字典

把cookies对象转为字典:requests.utils.dict_from_cookiejar
把字典转为cookies对象:requests.utils.cookiejar_from_dict
image.png
image.png

跳过SSL验证

有些网站虽然是使用https方式访问,但是使用的证书无效。这种情况下,requests库发送的get请求出现报错:
image.png
解决方法就是跳过SSL验证,加一个参数verify=False就行了。
image.png

url编解码

给url解码:requests.utils.unquote
给url编码:requests.utils.quote
image.png

设置超时

  • response = requests.get(url,timeout=10)
  • retrying模块
    安装retrying模块:pip3 install retrying
    这部分留到明天继续了……今天花了一天时间复习-————-
-------------本文结束感谢您的阅读-------------