原创不易,转载前请注明博主的链接地址:Blessy_Zhu https://blog.csdn.net/weixin_42555080
本次代码的环境:
运行平台: Windows
Python版本: Python3.x
IDE: PyCharm
1.1 PC端与APP端数据对比
在博文Python爬虫之豆瓣电影评论数据的爬取(十四),我曾经爬取过豆瓣电影评论数据,那个相对来说比较简单,为什么呢?因为它都是静态网页,只需要更改爬取评论的url,然后解析就可以了。但是今天要爬取的猫眼数据呢?他可没有这么简单!!!
在猫眼PC端的网页中,只存在最热门的10条热评数据,这显示是不够支撑我们进行后续的数据分析的。
猫眼PC端网页地址: https://maoyan.com/films/248172
猫眼移动端网页地址:https://m.maoyan.com/movie/248172/comments?_v_yes
1.2 猫眼数据分析
2.1 获取数据get_data()并处理数据parse_data()
2.2 存储数据save_to_txt()
2.3 粉丝位置数据可视化
这里使用的是pyecharts,pyecharts是一个用于生成Echarts图表的类库,便于在Python中根据数据生成可视化的图表。Echarts是百度开源的一个数据可视化JS库,主要用于数据可视化。
此时我的代码里面报了两个错误:
-
2 报错:ValueError: No coordinate is specified for xxx(地名)
原因:pyecharts的坐标文件中没有该地名,实际上是名称不一致导致的,如数据中地名为’达州’,而坐标文件中为’达州市’
坐标文件所在路径:项目/venv/lib/python3.6/site-packages/pyecharts/datasets/city_coordinates.json
解决:修改坐标文件,在原位置下复制个同样的,然后修改下地名
不过由于要修改的地名太多,上面的方法实在是麻烦,所以可以定义了一个函数,用来处理地名数据找不到的问题
2.4 评分星级可视化
2.5 评论词云可视化
其实,从接口获取的数据维度还真不少,如下,截取了一个用户的猫眼数据,里面的数据大家可以自己仔细分析一下,用到什么就下载什么就可以了:
这篇文章就到这里了,欢迎大佬们多批评指正,也欢迎大家积极评论多多交流。