python爬虫——爬取（66ip）代理
先来看看怎么获取代理
- 代理
- 难过的遭遇
- 爬取代理很简单
代理
代理是啥就不说了，不搞理论，咱就先拿来用起来下边一张图就能简单了解一些。
最近，由于爬取某招聘网站信息，一不小心被封了，这让我这个菜鸟难受至极，不是说没有不能爬的网站吗？
难过的遭遇
免费的代理网站还是有很多的，西次代理，快代理。。。but！！爬了几百页，再加上验证竟然就俩能用的，我还是在半夜1点爬的，难道人家服务器断电了吗？但是已经到这份上了，我咋能放弃呢。赶紧去搜罗了其他的免费代理网站。http://www.66ip.cn/这个拯救了我，果然666。
爬取代理很简单
正常爬取就可以了，给代码。
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 27 08:34:22 2019@author: gwiely
"""import requests
from lxml import etree
import time
import randomdef get_ip_list(url):headers = {'User_agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36','referer': 'http://www.66ip.cn/index.html','Host': 'www.66ip.cn'}response = requests.get(url,headers=headers)page_html = response.texthtml = etree.HTML(page_html)content_lists = html.xpath('//div[@align="center"]/table/tr')[1:]for content_list in content_lists:ip = content_list.xpath('./td[1]/text()')[0]port = content_list.xpath('./td[2]/text()')[0]result = "http://"+ip+":"+portyield resultdef check_ip(proxy_str):url = "http://www.baidu.com"proxy = {"http": proxy_str,"https": proxy_str}try:response = requests.get(url, timeout=5, proxies=proxy)print("可以使用的代理IP：{}".format(proxy_str))return Trueexcept:print("破烂IP，服务器辣鸡：{}".format(proxy_str))return Falsedef main():usable_ip_list = []fileWriter = open('UsabelIP.txt', 'a')for i in range(1, 100):url = "http://www.66ip.cn/{}.html".format(i)print("第{}页,url : {}".format(i, url))proxy = get_ip_list(url)for proxy_str in proxy:if check_ip(proxy_str):usable_ip_list.append(proxy_str)fileWriter.write(proxy_str+"\n")time.sleep(random.randint(4,8))fileWriter.flush()fileWriter.close()if __name__=='__main__':main()
最终，还是爬到了一些可以用的。
发现了一个问题，单线程爬取的速度确实伤。我也是刚开始学，接下来就看看多线程。搞好了再来分享。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！