本文推荐 GitHub 微信公众号爬虫article_spider 。
微信公众号爬虫有别于一般的网页爬虫,由于是一个相对封闭的内容平台,入口比较少,所以难度就有点大了。大概查找了一下,发觉基本上不能自动化的,无论是用 Selenium ,抓包工具(Fiddler);还是从搜狗微信搜索,”管理”-“素材管理”中的“公众号查找”,都只能是实现半自动化。而且有很多文章介绍的方法或是从 GitHub 上找到的大多源码都不能用了。
最近也有保存微信公众号历史文章的需求,想着由于时间关系以及难度关系就不重复造轮子了。幸运的是从 GitHub 上找到了一个可用的源码仓库article_spider,(地址是:https://github.com/f111fei/article_spider)在此感谢源码作者。
article_spider 已经实现以下功能:
- 爬取公众号所有文章数据
- 支持自动识别验证码
- 离线数据库,包含文章原始信息,文章图片
- 微信文章预览
article_spider 的 README 写得很明了,除了开箱即用,还是源码学习的好材料。
以上就是本篇文章【GitHub 微信公众号爬虫推荐】的全部内容了,欢迎阅览 ! 文章地址:https://sicmodule.kub2b.com/quote/8214.html
栏目首页
相关文章
动态
同类文章
热门文章
网站地图
返回首页 企库往资讯移动站https://sicmodule.kub2b.com/mobile/,查看更多