Python爬取4027 条脉脉职言，解读程序员真实的互联网生活！

脉脉是一个实名职场社交平台。之前爬了脉脉职言版块，大概爬了4027条评论，本文对爬取过程给出详细说明，对于评论内容仅做可视化分析。

爬虫

仍然使用Python编程，对爬虫没兴趣的可直接跳过看下部分，不影响阅读。网址https://maimai.cn/gossip_list，需要先登录才能看到里面的内容。

爬取目标：

只爬文字部分，图片不考虑。

在浏览器内按F12打开开发者，向下滑，会看到很多gossip开头的json文件（不行的话刷新一下）。

右键open in new tab，里面是一条一条记录，text后面是评论内容。

我们感兴趣的信息是下面这些：

看一看每个网站的地址，都是page=数字结尾，所以爬的时候写一个循环，数字从1开始往后取就可以了。

https://maimai.cn/sdk/web/gossip_list?u=206793936&channel=www&version=4.0.0&_csrf=coAlLvgS-UogpI75vEgHk4O1OQivF2ofLce4&access_token=1.9ff1c9df8547b2b2c62bf58b28e84b97&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22rE8q1xp6fZlxvwygWJn1UFDjrmMXDrSE2tc6uDKNIDZtRErng0FRwvduckWMwYzn8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22&page=1&jsononly=1

json的最开头有total和remain两个参数，给出了目前所有可见评论剩余数和总数，可以作为循环的停止条件。

但比较坑的

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！