一直想学Spyder，苦于没有方向。经高人指点，总算开始了爬虫的学习。本文权当一个总结，若有不当请多指正，欢迎拍砖。
首先，写初级的爬虫程序离不开“Requests”库，import后正式开始。
一、Reuqests库的常用函数：
二、Response对象
调用了上述方法后，均能让服务器响应，并返回一个Response对象。其主要属性值如下：
三、请求方式及其参数设置
（1）请求方式
这个代码就是爬虫获取网页的基本格式。
（2）params
关于params，举一个例子来说明：
能看到变化的是?wd的值，而这个值可以通过params传给url来进行处理。
借用"http://httpbin.org" 能够检查URL的各个参数，下面我们借用这个网站来观察params的设置
能看到参数被直接传进去了，下面我们用header参数来保存所有参数的值，再赋给params，看看会不会得到相同的结果
运行结果如下：
能看到，是一样的。
（3）关于**kwargs
有时候有些网站并不允许python的爬虫对其网页进行浏览，只允许一些浏览器进入。此时如果只是按照一般的方法则无法爬取数据，而如果我们能将自己的spider进行伪装，就可以进入了。这就是**kwargs的作用
下面我们将自己的爬虫装做火狐浏览器来进入百度的网页。：
要注意的是，kwargs必须和原来的参数值完全相同才可以改变参数（血的教训，试了很久都没试出来，最后才发现headers少打了个s）