推广 热搜: page  关键词  数据分析  数据分析系统  搜索  哪些  链接  服务  搜索引擎  获取 

python爬虫基础requests库的使用以及参数详解

   日期:2025-01-03     作者:nsxg2    caijiyuan   评论:0    移动:https://sicmodule.kub2b.com/mobile/news/15200.html
核心提示:以百度网站为例:调用status_code后,会返回一个值,如果返回值为200,则代表访问成功。 接着使用text

以百度网站为例

 

调用status_code后,会返回一个值,如果返回值为200,则代表访问成功。
接着使用text查看内容

 

我们会发现有许多乱码,因此就需要改变编码方式。

 
 

下面是爬虫通用代码框架

 

r.raise_for_status()用来判断status_code的返回值,如果不是200,则返回一个HTTPError异常。

异常说明requests.ConnectionError网络连接错误异常, 如DNS查询失败,拒接连接等requests.HTTPErrorHTTP错误异常requests.URLRequiredURL缺失异常requests.TooManyRedirects超过最大重定向次数,产生重定向异常requests.ConnectTimeout连接远程服务时,超时异常requests.Timeout请求URL超时, 产生超时异常
方法说明requests.request()构造一个请求,支撑以下各种方法的基础方法requests.get()获取HTML网页的主要方法,对应于HTTP的GETrequests.head()获取HTML网页头信息的方法, 对应HTTP的HEADrequests.post()向HTML网页提交POST请求的方法, 对应于HTTP的POSTrequests.put()向HTML网页提交PUT请求的方法,对应于HTTP的PUTrequests.patch()向HTML网页提交局部修改请求,对应于HTTP的PATCHrequests.delete()向HTML页面提交删除请求,对应于HTTP的DELETE
方法说明GET请求获取URL位置资源HEAD请求获取URL位置资源的响应报告,即获得该资源的头部信息POST请求向URL位置的资源后添加新的数据PUT请求向URL位置储存一个资源,覆盖原URL位置的资源PATCH请求局部更新URL位置的资源,即改变该处资源的部分内容DELETE请求删除URL位置储存的资源

4.1.1 method

请求方式,对应GET、POST、PUT等七种操作方法

4.1.2 url

文本连接

4.1.3 **kwargs对应的13个参数

参数说明params字典或字节序列,作为参数增加到url中data字典,字节序列或文件对象,作为request的内容jsonJSON格式的数据,作为request的内容headers字典,HTTP定制头cookies字典或cookieJar, request中的cookieauth元组,支持HTTp认证功能files字典类型,传输文件timeout设定超时时间,秒为单位proxies字典类型,设定访问代理服务器,可以增加登录认证allow_redirects重定向开关,默认为Truestream获取内容立即下载开关,默认为Trueverify认证SSL证书开关,默认为Truecert本地SSL证书路径

4.1.4 具体使用方法

以params和headers为例,其他类似

 
 
 
1、requests.get(url, params=None, **kwargs)2、requests.head(url, **kwargs)3、requests.post(url, data=None, json=None, **kwargs)4、requests.put(url, data=None, **kwargs)5、requests.patch(url, data=None, **kwargs)6、requests.delete(url, **kwargs)
本文地址:https://sicmodule.kub2b.com/news/15200.html     企库往 https://sicmodule.kub2b.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新资讯
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号