- 问题：在之前代码中，我们从来没有手动的对start_urls列表中存储的起始url进行过请求的发送，但是起始url的确是进行了请求的发送，那这是如何实现的呢？
- 解答：其实是因为爬虫文件中的爬虫类继承到了Spider父类中的start_requests（self）这个方法，该方法就可以对start_urls列表中的url发起请求：
【注意】该方法默认的实现，是对起始的url发起get请求，如果想发起post请求，则需要子类重写该方法
对于cookies的处理就是不用处理,直接去settings.py把cookies的相关配置放开就行
一.下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。
- 作用：
（1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等
（2）在下载器完成将Response传递给引擎中，下载中间件可以对响应进行一系列处理。比如进行gzip解压等。
我们主要使用下载中间件处理请求，一般会对请求设置随机的User-Agent ，设置随机的代理。目的在于防止爬取网站的反爬虫策略。
二.UA池：User-Agent池
- 作用：尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。
- 操作流程：
1.在下载中间件中拦截请求
2.将拦截到的请求的请求头信息中的UA进行篡改伪装
3.在配置文件中开启下载中间件
request.meta['proxy'] = 'https://60.251.156.116:8080'
print('this is process_request!!!')
request.meta['proxy'] = 'https://60.251.156.116:8080' #可以把多个代理封装成列表对象,请求时随机抽出一个来形成一个代理池
print('this is process_exception!!!')
在某些情况下，我们爬取的数据不在同一个页面中，例如，我们爬取一个电影网站，电影的名称，评分在一级页面，而要爬取的其他电影详情在其二级子页面中。
这时我们就需要用到请求传参。