python爬虫,爬取软科大学排名

from bs4 import BeautifulSoup
import requests
import bs4def gethtml():url="http://www.cuaa.net/paihang/news/news.jsp?information_id=137445"try:r=requests.get(url)r.raise_for_status()r.encoding=r.apparent_encodingexcept:print("爬取失败")return r.text[6600:]def get_usefuldata(ulist,demo):soup = BeautifulSoup(demo,"html.parser")for tr in soup.find('tbody').children:l = []if isinstance(tr,bs4.element.Tag):p=tr.find_all('p')for i in p:l.append(i.get_text())ulist.append(l)return ulistdef print_info(ulist,num):for i in range(num):u=ulist[i]print("{:<8}{:<12}{:^8}".format(u[0],u[1],u[2]))return
def main():uinfo=[]html=gethtml()get_usefuldata(uinfo,html)print_info(uinfo,150)returnmain()


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部