python爬取网页上的特定链接_Python实现抓取页面上链接的简单爬虫分享

除了C/C++以外，我也接触过不少流行的语言，PHP、java、javascript、python，其中python可以说是操作起来最方便，缺点最少的语言了。

前几天想写爬虫，后来跟朋友商量了一下，决定过几天再一起写。爬虫里重要的一部分是抓取页面中的链接，我在这里简单的实现一下。

首先我们需要用到一个开源的模块，requests。这不是python自带的模块，需要从网上下载、解压与安装：

这个模块的文档我也正在慢慢翻译，翻译完了就给大家传上来（英文版先发在附件里）。就像它的说明里面说的那样，built for human beings,为人类而设计。使用它很方便，自己看文档。最简单的，requests.get()就是发送一个get请求。

代码如下：

# coding:utf-8

import re

import requests

# 获取网页内容

r = requests.get('http://www.163.com')

data = r.text

# 利用正则查找所有连接

link_list =re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" ,data)

for url in link_list:

print url

首先import进re和requests模块，re模块是使用正则表达式的模块。

data = requests.get('http://www.163.com')，

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！