一直想学Spyder，苦于没有方向。经高人指点，总算开始了爬虫的学习。本文权当一个总结，若有不当请多指正，欢迎拍砖。

首先，写初级的爬虫程序离不开“Requests”库，import后正式开始。

一、Reuqests库的常用函数：

二、Response对象

调用了上述方法后，均能让服务器响应，并返回一个Response对象。其主要属性值如下：

三、请求方式及其参数设置

（1）请求方式

这个代码就是爬虫获取网页的基本格式。

（2）params

关于params，举一个例子来说明：

能看到变化的是?wd的值，而这个值可以通过params传给url来进行处理。

借用"http://httpbin.org" 能够检查URL的各个参数，下面我们借用这个网站来观察params的设置

能看到参数被直接传进去了，下面我们用header参数来保存所有参数的值，再赋给params，看看会不会得到相同的结果

运行结果如下：

能看到，是一样的。

（3）关于**kwargs

 有时候有些网站并不允许python的爬虫对其网页进行浏览，只允许一些浏览器进入。此时如果只是按照一般的方法则无法爬取数据，而如果我们能将自己的spider进行伪装，就可以进入了。这就是**kwargs的作用

下面我们将自己的爬虫装做火狐浏览器来进入百度的网页。：

要注意的是，kwargs必须和原来的参数值完全相同才可以改变参数（血的教训，试了很久都没试出来，最后才发现headers少打了个s）