关于爬虫循环点击下一页

 String pageNum = request.getExtra("pageNum").toString();for (int i = 1; i < Integer.valueOf(pageNum); i++) {// 点击翻页driver.findElementByCssSelector(".fp-next").click();Thread.sleep(1000);}

要封装request

private Page createPage(String htmlStr, String currentUrl,String flag,String pageNum) {Page page = new Page();// 设置网页源码 + urlpage.setRawText(htmlStr);page.setUrl(new PlainText(currentUrl));page.isDownloadSuccess();// 设置request对象Request request = new Request(currentUrl);request.putExtra("level",flag);request.putExtra("pageNum",pageNum);page.setRequest(request);return page;
}

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！