偶然的一次机会再次用到爬虫，借此机会记录一下爬虫的学习经历，方便后续复用。
需求：爬取网站数据并存入的csv文件中，总体分为两步
- 爬取网站数据
- 存到到csv文件中
1、配置爬虫环境
1.1、下载自动化测试驱动
由于需要实现模拟手动点击浏览器的效果，因此笔者使用到了自动化驱动文件。这里选择谷歌浏览器相同版本的驱动。
驱动下载中心
比如：笔者浏览器为110版本，因此下载110版本的driver，因为window只有32位，因此不用犹豫直接下载chromedriver_win32.zip文件
1.2、下载需要的库文件
2、编写代码
以上爬虫环境配置完成后，接下来便可以编码了。
爬虫的基本逻辑：
- 配置谷歌浏览器的驱动文件和自动化测试文件
- 创建保存爬取数据的字典和设置读取的起始页码和结束页码
- 判断是否有下一页并进行等待，如果没有下一页则直接退出
- 解析读取到的页面信息
- 保存到csv文件中
根据以上的逻辑，大致就可以理解代码的意思了