最新动态
Python爬虫解析三剑客:正则、XPath与BeautifulSoup详解
2025-01-02 22:15

常用正则表达式回顾

 
 

XPath在Python的爬虫学习中,起着举足轻重的地位,对比正则表达式 re两者可以完成同样的工作,实现的功能也差不多,但XPath明显比re具有优势,在网页分析上使re退居二线。

测试页面数据

 

常用xpath表达式

 

代码中使用xpath表达式进行数据解析

 
 
 

简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下

'''
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
'''

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4。

安装

 

解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快,推荐安装。

 

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

 
 
 

使用流程

 

基础巩固

 

重点方法

BeautifulSoup定义了很多搜索方法,这里着重介绍2个: find() 和 find_all() .其它方法的参数和用法类似

1、find_all()方法

 

2、find( name , attrs , recursive , text , **kwargs )


    以上就是本篇文章【Python爬虫解析三剑客:正则、XPath与BeautifulSoup详解】的全部内容了,欢迎阅览 ! 文章地址:https://sicmodule.kub2b.com/quote/18201.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站https://sicmodule.kub2b.com/mobile/,查看更多   
发表评论
0评