这篇文章主要介绍了三个python爬虫项目实例代码，使用了urllib2库，文中示例代码非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友可以参考下。

python爬虫代码示例分享

一、爬取故事段子：推荐学习：Python视频教程

注：部分代码无法正常运行，但仍有一定的参考价值。#encoding=utf-8

import urllib2

import re

class neihanba():

def spider(self):

'''

爬虫的主调度器

'''

isflow=True#判断是否进行下一页

page=1

while isflow:

url="http://www.neihanpa.com/article/list_5_"+str(page)+".html"

html=self.load(url)

self.deal(html,page)

panduan=raw_input("是否继续(y/n)!")

if panduan=="y":

isflow=True

page+=1

else:

isflow=False

def load(self,url):

'''

针对url地址进行全部爬去

:param url: url地址

:return: 返回爬去的内容

'''

header = {

"User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"

}

request = urllib2.Request(url, headers=header)

response = urllib2.urlopen(request)

html = response.read()

return html

def deal(self,html,page):

'''

对之前爬去的内容进行正则匹配，匹配出标题和正文内容

:param html:之前爬去的内容

:param page: 正在爬去的页码

'''