现在很多的app都很喜欢在微信或者支付宝的小程序内做开发，毕竟比较方便、安全、有流量、不需要再次下载app，好多人会因为加入你让他下载app他会扭头就走不用你的app，毕竟做类似产品的不是你一家。
之前做过很多微信小程序的爬虫任务，今天做下记录，防止很久不用后就会忘记，微信小程序分为两大类：
1、是不需要登录的（这种的话不做分析，毕竟没什么反爬）
2、需要登录的
2.1 登录一次之后token永久有效
2.2 登录一次token几分钟内到几小时内失效
2.2.1 登录后一段时间后token时候需要再次调用微信内部方法生成code去换取token（本次主要做的）
2.2.2 跟2.2.1类似，然后又加了一道校验，比如图片验证码，这个类似于微信公众号的茅台预约那种（本次不做分析）
微信小程序的登录其实跟其他的web登录不太一样，一般的web登录或者是app登录基本上就是用户名+密码+验证码（图片或者短信）就可以，微信的逻辑是假如你需要登录的话需要获得用户的授权，之后调用微信的内部方法生成一个code，code只能用一次之后就实效，微信解释这个code有效期是5分钟左右。
这里是具体流程：https://developers.weixin.qq.com/community/develop/doc/000c2424654c40bd9c960e71e5b009?highLine=code
之前爬取过的一个小程序他的反爬是token有效期一个小时，然后单次token可用大概100次左右，当单个token使用次数或者单小时内使用次数超过100次就直接封号处理，24小时内也有频率控制，所以就需要我每小时一次每小时一次的去获取token，当然，因为我是个程序猿，所以我不能每小时手动的去获取这个token，比较这不是我们的风格。
这里需要的是python+fiddler+appium+模拟器，大致的思路是通过appium去操控模拟器模拟点击微信的小程序，定期的去做点击，然后fiddler去从请求的头部信息中获取到token，之后写到本地文件中，然后python程序定时的去判断这个本地文件是否进行了更新，更新了的话通过正则来获取到token_list之后去最后一个，因为有可能是当前保存的token已经失效了，小程序还会再次去拿这个token尝试请求一下，假如失效了会调用微信的内部方法生成code来换取token，我这里的爬虫主代码是运行在服务器的，所有又增加了Redis来存储token。
一、微信模拟点击
微信按照需求条件时间频率模拟点击、滑动、退出等操作，以下的ding_talk的send_msg是增加的钉钉发送消息，此处不再添加，有需求的可以自己查看钉钉机器人文档或者依据自己的需求调整自己的消息提醒。
以下是处理文件，将token获取到后放到Redis中，或者你可以依照你的想法调整
二、配置fiddler获取请求头的信息写到本地文件
修改fiddlerscript添加以下内容，在做数据请求的以下增加下面内容
三、主爬虫业务代码
此处按照自己的需求逻辑调整自己的业务代码。
本文章同步发表于博客园