How to 抓取网页数据，使用urllib库

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

这是一次简单的爬虫--urllib抓取网页数据总结，如有错误与不足还望指出！

---

urllib库是python内置的HTTP请求库，它可以看做是处理URL的组件集合。

        1.urllib.request——请求模块

        2.urllib.error——异常处理模块

        3.urllib.parse——url解析模块

        4.urllib.robotparser——robots.txt解析模块

---

response=urllib.request.urlopen('xxxxx网址xxxx')

#使用read方法读取获取到的网页内容

html = response.read().decode('UTF-8')

#打印网页内容

print(html)

import urllib2response = urllib2.urlopen('xxxx网址xxx")

Python3出现后，之前Python2中的urllib2库被移到了 urllib.request模块中，之前urllib2中很多函数的路径也发生了变化，希望大家在使用的时候多加注意。

在爬取网页时，有一句核心的爬虫代码，（以百度为例）

response = urllib.request.urlopen('http://www.baidu.com')

上述代码调用的是urllib.request模块中的urlopen方法，它传入了一个百度首页的URL，使用的协议是HTTP，这是 urlopen方法最简单的用法。

定义格式：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None,capath=None, cadefault=False, context=None)

参数如下：

url——表示目标资源在网站中的位置。

data——用来指明向服务器发送请求的额外信息。

timeout ——该参数用于设置超时时间，单位是秒。

context——实现SSL加密传输，该参数很少使用。

使用urlopen方法发送HTTP请求后，服务器返回的响应内容封装在一个HTTPResponse类型的对象中。

HTTPResponse类属于http.client模块，该类提供了获取URL、状态码、响应内容等一系列方法。

        geturl()--用于获取响应内容的URL，该方法可以验证发送的HTTP请求是否被重新调配。

        info（)--返回页面的元信息。

        getcode()--返回HTTP请求的响应状态码。

代码实例如下：

结果如下：

如果希望对请求执行复杂操作，则需要创建一个Request 对象来作为urlopen方法的参数。

在构建请求时，除了必须设置的url参数外，

还可以加入很多内容，例如下面的参数参数如下：

data——默认为空，该参数表示提交表单数据，同时HTTP请求方法将从默认的GET方式改为POST方式。

headers——默认为空，该参数是一个字典类型，包含了需要发送的HTTP报头的键值对。

---

当传递的URL中包含中文或者其它特殊字符(如空格等)时，需要

使用urlib.parse 库中的urlencode方法将URL进行编码

解码使用的是url.parse库的 unquote 方法。

GET请求一般用于向服务器获取数据。

例如：用百度搜索“百度官网”

此时，如果使用Fiddler查看HTTP请求，发现有个GET请求的格式如下：

在这个请求中，“？”后面的字符串就包含了我们要查询的关键字“百度官网”。

---

如果不是从浏览器发出的请求，我们是不能获得响应内容的。针对这种情况，我们需要将爬虫程序发出的请求伪装成一个从浏览器发出的请求。

---

很多网站会检测某一段时间某个IP的访问次数，如果同一IP访问过于频繁，那么该网站会禁止来自该IP的访问。

我们可以使用代理服务器，每隔一段时间换一个代理。

如果某个IP被禁止，那么就可以换成其他IP继续爬取数据，从而可以有效解决被网站禁止访问的情况。

但是——urlopen 不支持代理、cookie等其他的HTTP/HTTPS高级功能，所以如果要想设置代理，不能使用自带的urlopen，而是要自定义opener。

如果程序里所有的请求都使用自定义的opener，可以使用 urllib2.install_opener()将自定义的opener对象定义为全局opener，表示之后凡是调用urlopen，都将使用自定义的opener。

我们可以使用urllib.request中的ProxyHandler 方法来设置代理服务器。

免费开放处理的获取基本没有成本，可以在一些代理网站上收集这些免费代理，测试后如果可以用，就把它收集起来用在爬虫上面。

免费代理网站主要有以下几个：

1.西刺免费代理IP

2.Proxy360代理

3.全网代理IP

4.快代理免费代理

tips：免费开放代理一般会有很多人都在使用，而且代理有寿命短，速度慢，匿名度不高等缺点。所以，专业爬虫工程师或爬虫公司会使用高品质的私密代理，这些代理通常需要找专门的代理供应商购买，再通过用户名/密码授权使用。

如果代理IP足够多，就可以像随机获取User-Agent样，随机选择一个代理去访问网站。

---

我们可以为HTTP请求设置超时时间，一旦超过这个时间，服务器还没有返回响应内容，那么就会抛出一个超时异常，这个异常需要使用try语句来捕获。

用try-except语句捕获

为保证程序能够正常终止，我们可以使用try-except 语句捕获相应的异常，并对异常进行相应的处理。由于谷歌网站服务器的原因，访问该网站必定会出现连接超时的问题。下面以访问谷歌网站为例，为大家演示如何使用try-except语句捕获RequestException异常。

为了减少无意义的等待，我们在发送HTTP请求时可以设置超时时长，即调用getO函数时传入timeout参数，并给该参数指定代表超时时长的值，如果超过该时长，服务器仍然没有返回任何响应内容，就让程序立即引发一个超时异常。在以上示例中，为请求设置超时时长为5秒。