java爬取携程景点门票的评论数据信息 门票评价信息爬取

进入某一个景点页面  f12

点击评论部分  点击评论的下一次可以看到请求了某个接口得到了评论数据

我们在爬取的时候可以根据这个接口直接post请求json数据格式的景点评论信息

简单写一下  需要更详细的可以自己研究一下。

public class test2 {public static void main(String[] args) throws IOException {  //所有景点评价信息//viewid景点id   pagenum  页数    pagesize每页的条数String ss="{\"pageid\":10650000804,\"viewid\":4081,\"tagid\":0,\"pagenum\":1,\"pagesize\":10," +"\"contentType\":\"json\",\"head\":{\"appid\":\"100013776\",\"cid\":\"09031023111845972880\"," +"\"ctok\":\"\",\"cver\":\"1.0\",\"lang\":\"01\",\"sid\":\"8888\"," +"\"syscode\":\"09\",\"auth\":\"\",\"extension\":[]},\"ver\":\"7.10.3.0319180000\"}";Map headers=new HashMap();headers.put("Content-Type","application/json");headers.put("user-agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36");HttpClient h=new JavaHttpClient();String s = h.dopost("http://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList?_fxpcqlniredt=09031023111845972880",headers,new ByteArrayInputStream(ss.toString().getBytes()),null).getResponseString();JSONObject j= JSON.parseObject(s);JSONObject da=j.getJSONObject("data");}
}

想要得到所有的景点评价信息  那就循环请求组装请求参数中的页数   注意循环请求需要一定的休息时间 否则会ip限制。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！