推广 热搜: page  关键词  数据分析  服务  获取  哪些  链接  数据分析系统  搜索  小红 

Python3,x:如何进行手机APP的数据爬取

   日期:2024-12-17     作者:3vy8j    caijiyuan   评论:0    移动:https://sicmodule.kub2b.com/mobile/news/8747.html
核心提示:  平时我们的爬虫多是针对网页的,但是随着手机端APP应用数量的增多,相应的爬取需求也就越来越多,因此对于一名爬虫工程师来

  平时我们的爬虫多是针对网页的,但是随着手机端APP应用数量的增多,相应的爬取需求也就越来越多,因此对于一名爬虫工程师来说是一项必备的技能。我们知道,网页爬取的时候我经常使用或者之类的工具来帮助我们分析浏览器行为。那对于手机的APP该如何使用呢?同样的,我们也可以使用来分析。好了,本篇博主将会给大家介绍如何在电脑端使用进行手机APP的抓包。

首先了解一下fiddler:Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件,这些都可以让你胡乱修改的意思)。 Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露http通讯还提供了一个用户友好的格式。

的官方下载链接:https://www.telerik.com/download/fiddler 
安装步骤没什么特别,常规下一步完成即可。

(1)设置允许抓取信息包

  操作很简单,打开下载好的,找到 ,然后在的工具栏下勾选,在新弹出的选项栏下勾选。这样,fiddler就会抓取到的信息包,否则会一直显示。

(2)设置允许外部设备发送到

  相同的,在选项栏下勾选,并记住上面的端口号,端口号后面会使用到。

  设置手机端之前,我们需要记住一点:电脑和手机需要在同一个网络下进行操作。可以使用或者等来完成。

  假如你已经让电脑和手机处于同一个网络下了,这时候我们需要知道此网络的,可以在命令行输入简单的获得,如图。

  下面我们开始手机端的设置。

  手机APP的抓取操作对于和系统都可用,博主使用的苹果系统,在此以苹果系统为例。

  首先进入到手机的设置界面,选择当前连接网络的更多信息,在苹果中是一个。点击进入后你会在最下面看到的选项,选择点击进入,选择 手动。

  进入后,填写上面记住的和,确定保存。

  手机端设置完成后,我们还需要下载,可以在在手机上打开浏览器输入一个上面ip地址和端口号组成的url:http://192.168.43.38:8888。打开后你会看到如下的界面,然后点击下载。

  以上就简单完成了所有的操作,最后我们测试一下是否好用。

  就以为例,在手机上打开 知乎APP。下面是电脑上的抓包结果。

  结果没有问题,抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。

本文地址:https://sicmodule.kub2b.com/news/8747.html     企库往 https://sicmodule.kub2b.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新资讯
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号