大家都知道，学习一门学科的时候是要清楚它的知识框架才能清晰的学习、有系统的学习，下面来列一列python网络爬虫的知识框架来帮助大家能够有效的学习和掌握，避免不必要的坑。

前端知识——基础爬虫——框架爬虫——分布式爬虫——突破反爬虫

“网络爬虫”很明显对象是网络，也就是网页。说到网页，这里就涉及到了前端的知识了，不过大家也不要慌，只要懂点必要的HTML5框架、网页的http请求、还有Javascript、css3的知识就可以了，以这样的水平也是可以学会爬虫的啦。当然，如果要非常精通python网络爬虫的话，深入学习前端知识是必要的。

（1）基础库：urllib模块/requests第三方模块

首先爬虫就是要从网页上把我们需要的信息抓取下来的，那么我们就要学习urllib/requests模块，这两种模块是负责爬取网页的。这里大家觉得哪一种用的习惯就用哪一种，选择一种精通就好了。小编推荐读者使用使用requests模块，因为这一种简便很多，容易操作、容易理解，所以requests被称为“人性化模块”。

（2）多进程、多线程和协程：

为什么要学着三个知识呢？假如你要爬取200万条的数据，使用一般的单进程或者单线程的话，你爬取下载这些数据，也许要一个星期或是更久。试问这是你想要看到的结果吗？显然单进程和单线程不要满足我们追求的高效率，太浪费时间了。只要设置好多进程和多线程，爬取数据的速度可以提高10倍甚至更高的效率。

（3）网页解析提取库：xpath/BeautifulSoup4/正则表达式

通过前面的（1）和（2）爬取下来的是网页源代码，这里有很多并不是我们想要的信息，所以需要将没用的信息过滤掉，留下对我们有价值的信息。这里有三种解析器，三种在不同的场景各有特色也各有不足，总的来说，学会这三种灵活运用会很方便的。推荐理解能力不是很强的朋友或是刚入门爬虫的朋友，学习BeautifulSoup4是很容易掌握并能够快速应用实战的，功能也非常强大。

（4）反屏蔽：请求头/代理服务器/cookie

在爬取网页的时候有时会失败，因为别人网站设置了反爬虫措施了，这个时候就需要我们去伪装自己的行为，让对方网站察觉不到我们就是爬虫方。请求头设置，主要是模拟成浏览器的行为；IP被屏蔽了，就需要使用代理服务器来破解；而cookie是模拟成登录的行为进入网站。

（5）异常：超时处理/异常处理，这里不做介绍了，自己去了解一下。

（6）数据储存库：文件系统储存/MySQL/MongoDB

数据的储存大概就这三种方式了，文件系统储存是运用了python文件操作来执行的；而MySQL要使用到数据库创建表格来储存数据；MongoDB在爬虫里是非常好的储存方式，分布式爬虫就是运用了MongoDB来储存的。各有特色，看自己需要哪种，在灵活运用。

（7）动态网页抓取：Ajax/PhantomJS/Selenium这三个知识点

（8）抓包：APP抓包/API爬虫

框架不止这两种，但是很多时候就只用到了这些框架，所以把这两种掌握熟悉了就可以了。

以上就是python网络爬虫的从入门到精通的知识框架，希望这篇文章能让读者高效的学好python网络爬虫。

 关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、Python练习题

检查学习结果。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

 最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。