最新动态
Python采集黄色软件剧本杀数据并做可视化
2024-12-17 06:54

大家早好、午好、晚好吖 ❤ ~

“剧本杀”

是玩家到实景场馆,体验推理性质的项目。

剧本杀的规则是,玩家先选择人物,阅读人物对应剧本,搜集线索后找出活动里隐藏的真凶。

剧本杀不仅仅是一个游戏,更是一个集知识属性、心理博弈属性、强社交属性于一体的娱乐项目。

而看了《明侦》得我也对它有了浓厚得兴趣

正好,朋友约着出去,就是不知道哪家店更值得去

所以趁着还有几天就用python来采集一些 店家的数据信息看看哪家更值得去


  • Python 3.8

  • Pycharm


  • requests >>> pip install requests

  • re

  • csv

如果安装python第三方模块:
  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)回车

  2. 在pycharm中点击Terminal(终端) 输入安装命令


一. 数据来源分析

抓包分析我们想要数据内容, 请求的那个网站 url地址得到

F12 或者 鼠标右键点击检查选择network, 点击第二页

选中xhr 第一个数据包就是我们想要的内容 用到开发者工具搜索功能

二. 代码实现步骤过程: 固定四大步骤
  1. 发送请求, 对于刚刚分析得到url地址发送请求

  2. 获取数据, 获取服务器返回响应数据

    —> 开发者工具里面response

  3. 解析数据, 提取我们想要数据内容

    —> 店铺基本信息

  4. 保存数据, 保存数据, 保存表格里面

  5. 多页数据采集

    多页数据采集 —> 循环 for <目的>

    分析请求url地址参数变化


采集数据

导入模块

 
 

源码点击领取即可

 

发送请求, 模拟浏览器发送请求

Python采集黄色软件剧本杀数据并做可视化

长链接可以分段写入

批量替换 —> 批量添加引号和逗号

1.选中替换内容

2.按 ctrl + R

3.勾选上.* 输入正则命令(下方

 

如果当你请求网站, 被反爬的时候

一种最简单反反爬手段, 用headers请求头伪装成浏览器去发送请求

 
 
 
可视化代码

源码点击领取即可

好了,今天的分享就差不多到这里了

完整代码、视频讲解、疑惑解答直接点击下方名片自取即可。

宁外给大家推荐一个好的教程

【48小时搞定全套教程!你和大佬只有一步之遥【python教程】

有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง

喜欢就关注一下博主,或点赞收藏评论一下我的文章叭

    以上就是本篇文章【Python采集黄色软件剧本杀数据并做可视化】的全部内容了,欢迎阅览 ! 文章地址:https://sicmodule.kub2b.com/quote/6520.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站https://sicmodule.kub2b.com/mobile/,查看更多   
发表评论
0评