爬取网页内容首先要做的就是得到链接，以下是得到链接的代码：
#coding=utf-8 import urllib2 # 引入需要用的模块 import re # 下载网页源代码 def download(url,user_agent = 'wswp',num_retries = 2): ''' @user_agent:设置代理 @num_retries:设置重新下载的次数 ''' print 'Downloading:',url headers = {'User-agent':user_agent} request = urllib2.Request(url) try: # 异常处理 html = urllib2.urlopen(request).read() except urllib2.URLError as e: print 'Download error:',e.reason # 输出错误原因 html = None if num_retries > 0: if hasattr(e,'code') and 500 <= e.code < 600: # 当错误提示中包含错误代码而且代码是500~600之间的数字时，执行下列代码 download(url,user_agent,num_retries - 1) return html # 得到html文件中的链接 def get_links(html): webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE) return webpage_regex(html) # 抓取链接 def link_crawler(seed_url,link_regex): crawl_queue = [seed_url] while crawl_queue: url = crawl_queue.pop() html = download(url) for link in get_links(html): # 遍历get_links(html)得到的列表 if re.match(link_regex,link): # 判断link是否符合给定的正则表达式 crawl_queue.append(link) # 调用link_crawler函数 link_crawler('http://example.webscraping.com','/[index|view]')以上为完整的程序代码。对于正则表达式的相关知识，可以看 http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html，个人认为这篇博文挺好的。由于在一些网页中会存在相对链接，上面的代码就不中用了。可以看下面完善的代码（需要引入urlparse模块）：
def link_crawler(seed_url,link_regex): crawl_queue = [seed_url] while crawl_queue: url = crawl_queue.pop() html = download(url) for link in get_links(html): if re.match(link_regex,link): link = urlparse.urljoin(link) # 将相对url地址改为绝对url地址 crawl_queue.append(link)这时，相对链接的问题就解决了，但是还有一个问题，那就是重复链接的问题。不废话了，看下面的代码： def link_crawler(seed_url,link_regex): crawl_queue = [seed_url] # set函数用于输出不带重复内容的列表（列表中的重复内容会被删掉） seen = set(crawl_queue) # 访问过得链接 while crawl_queue: url = crawl_queue.pop() html = download(url) for link in get_links(html): if re.match(link_regex,link): link = urlparse.urljoin(link) if link not in seen: # 判断此链接是否在已访问链接列表中 seen.add(link) crawl_queue.append(link) ok了，终于可以爬取网页中所包含的所有链接了，而且还是逐层访问哦。