Python爬虫可以应用在哪些地方

发布时间：2020-06-19 14:46:48

来源：亿速云

阅读：118

作者：元一

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

一、爬取数据

在此顺便提一下，可以到公众号菜单栏的学习福利里面逛逛。里面有些教程还是挺不错的。两个可以替代Python里urlib和re正则表达式的库,它们分别叫做requests和Ixml。

第一个库挺不错的，现在在获取网页源代码时，我都用这个库，大家如果有不懂的可以看看那个网站。第二个库由于我是用3.4版本的Python,折腾了很久没折腾进去，于是我发现了另一个不错的库BeautifulSoup,详细教程参考: Python爬虫入门八之Beautiful Soup的用法

有了requests和Beautifulsoup,基本上可以实现我想要的很多功能了。我便做了一一个抓取分级基金数据的爬虫:

二、分析并推送

其实在此分析其实还谈不上，顶多算是筛选。(不过我相信随着 我数学能力提升会能有进一步的分析的，美好的祝愿。。。)筛选很简单，就是涨幅或收益率等等满足一定条件就保留下来，保留下来干嘛?推送啊! ! !

将保存下来的数据通过邮件发送到自己的邮箱，手机上下载个软件，一切就大功告成了!

至此当时学习Python的目的就达到了，当时激动地要炸了

不过....那么好玩的东西，怎么能这么快就结束了?再折腾吧!

三、简单的界面