推广 热搜: page  关键词  数据分析  服务  获取  哪些  数据分析系统  搜索  小红  链接 

android jsoup 爬虫 爬取安卓app数据

   日期:2024-12-20     作者:0dn1b    caijiyuan   评论:0    移动:https://sicmodule.kub2b.com/mobile/news/9553.html
核心提示:我们就以爬取安卓端上的王者营地上英雄热度榜为例:1.下载Fiddler下载网站,进入网站点击Download now 再填写好相关信息,点击红

我们就以爬取安卓端上的王者营地上英雄热度榜为例:

1.下载

Fiddler下载网站,进入网站点击Download now

再填写好相关信息,点击红色的Download for Windows,即可完成下载。

2.安装

基本是往下点就行,确定好安装路径即可。

这里,我是选择在我的E盘

3.配置相关选项。

进入Tools中的Options

进行相关的设置,注意这里我是选择了8888的端口(等会要用到)

配置完成后,点OK。(最好重新启动Fiddler)

1.查看本地的IP,在命令行输入ipconfig

要记住这个IP地址,并且待会确保电脑与手机连接同一个WiFi。(我用的是手提,手机和手提都用同一个WiFi)

2.设置手机代理。(就是让手机连上电脑上的网络)

先打开注册表

在计算机HKEY_CURRENT_USERSoftwareMicrosoftFiddler2目录下创建

QWORD文件

并命名为80

设置规则

找到OnBeforeRequest

在其里面添加 if (oSession.host.toLowerCase() == “webserver:8888”)

{

oSession.host = “webserver:80”;

}

保存后,关闭电脑上的防火墙(要不然很可能连接不上电脑的网络):

打开手机WLAN(我这里已经跟电脑连接同一个网),点击下面的修改网络

点击显示高级选项,代理改为手动,输入服务器主机名(就是刚才电脑上查询到的IP号)和服务器端口(刚才我们设置了8888),点击保存即可完成。

有时候我们可能会没网,先点击使用:

我们需要重新进入,再保存一次:

此时一般可以连接上了。

由于有安全证书的问题,我们需要打开浏览器,登录到电脑上的IP+端口(8888),进入下载证书。

android jsoup 爬虫 爬取安卓app数据

确认下载后,安装:

3.抓取手机APP上的数据

接下来,我们打开我们手机上的王者营地,有时可能电脑的网络不足以连上,可以先切换到自己的手机网络,进入到此界面中,然后换回电脑上的网络(即WiFi),再点击下面的全部

进入到我们的英雄热度榜里(这也是我们要爬取的榜单数据)

此时,我们的Fiddler会出现相关的数据

点击第476条下的json文件,我们可以发现,数据已经出来了

对此条进行保存

可以看到我们有个json文件产生,打开:

发现没有解密,我们可以进入到 https://www.json.cn/ ,复制到里面,解密规范查看:

接下来我们要做的是提前json中的数据,保存到CSV文件中,并下载其英雄图标。

运行之后,即可提取出相关的数据与图片:

但用Excel打开csv文件时,可能会出现乱码,因为我们写进去的是UTF-8编码,而Excel打开的是ANSI编码。

此时,我们需要用记事本打开,然后另存为(换种编码格式为ANSI)

保存后,再打开。

本文地址:https://sicmodule.kub2b.com/news/9553.html     企库往 https://sicmodule.kub2b.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新资讯
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号