基本步骤： ①分析url ②获取页面 ③提取信息 ④文本处理 ⑤写入文件
备注： 基本框架跟笔记（一）很相似，只是多了很多细节需要处理，所以这里着重描述细节的处理。
（1）像段子、贴吧这种会存在多种页数的网站，各页的url的差别在于url参数部分的值，所以爬取其它页面时需要先去页面看看控制不同页面的url的参数。所以第一步需要看看所寻找的信息的url及其特征。 （2）从url可以知道百度贴吧通过seeLZ参数控制是否只显示楼主的帖子，和通过pn参数控制当前帖子的页面。同时这意味着贴吧是通过GET方式发送请求的。
（1）在这里百度贴吧不需要我们再添加headers信息，同时，从上一步我们知道贴吧通过GET方法发送请求，因此我们只需要使用seeLZ以及pn参数来构建url，然后使用Request方法生成请求，最后使用urlopen方式发送请求获取包含页面源码的响应对象。 （2）这一步我们使用响应对象的read()方法获取页面源码然后编码后返回。
（1）同样地，我们需要查看源码的布局，找出我们想要提取的信息所在的地方，然后使用正则表达式模块提取我们想要的信息。 （2）由于贴吧中帖子内容包含了很多的图片，超链接，空行以及其他无关紧要的字符，因此下一步我们需要对这些字符进行处理，返回干净的文本信息。
（1）由于获取的信息包含了图片、超链接等无关信息，因此需要去除这些信息。为了代码可重用，创建一个工具类来将字符经过一系列处理后返回。 （2）工具类必须能去除图片、超链接、多余的空行和空格、多余的标签，有需要可以同时加入空行调整信息的布局。
（1）为了能够把有用的信息存储起来，这里我们把所有信息写入文本文件。所以需要了解python的文件操作，如打开文件，设置读写文件权限，写入文件，关闭文件等。
有些细节地方需要注意： ①中文字符的编码问题，显示到控制台时需要先解码成utf-8，然后编码成gbk，最后输出。 ②正则表达式要写对。 ③文件操作。
我的程序如下：
# _*_ coding: utf-8 _*_ import urllib import urllib2 import re class Tool: '文本处理工具类' removeImg = re.compile('<img.*?>| {7}|', re.S) removeAddr = re.compile('<a.*?>|</a>', re.S) replaceLine = re.compile('<tr>|<div>|</div>|</p>') replaceTD = re.compile('<td>') replacePara = re.compile('<p.*?>', re.S) replaceBR = re.compile('<br><br>|<br>') removeExtraTag = re.compile('<.*?>', re.S) def replace(self, x): x = re.sub(self.removeImg, "", x) x = re.sub(self.removeAddr, "", x) x = re.sub(self.replaceLine, "\n", x) x = re.sub(self.replaceTD, "\t", x) x = re.sub(self.replacePara, "\n ", x) x = re.sub(self.replaceBR, "\n", x) x = re.sub(self.removeExtraTag, "", x) return x.strip() class BDTB: '百度贴吧爬虫' def __init__(self, baseUrl, seeLZ, floorTag): self.baseURL = baseUrl self.seeLZ = '?see_lz='+str(seeLZ) self.tool = Tool() self.file = None self.floor = 1 self.defaultTitle = u'百度贴吧' self.floorTag = floorTag def getPage(self, pageNum): try: url = self.baseURL + self.seeLZ + '&pn=' + str(pageNum) req = urllib2.Request(url) res = urllib2.urlopen(req) # print res.read() return res.read().decode('utf-8') except urllib2.URLError, e: if hasattr(e, 'reason'): print u'链接百度贴吧失败，错误原因：', e.reason return None def getTitle(self, page): pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>', re.S) result = re.search(pattern, page) if result: # print result.group(1) return result.group(1).strip() else: print u'获取贴吧标题失败！' return None def getPageNum(self, page): pattern = re.compile('<li class="l_reply_num.*?red">(.*?)</span>', re.S) result = re.search(pattern, page) if result: # print result.group(1) return result.group(1).strip() else: print u'获取贴吧页数失败！' return None def getContent(self, page): pattern = re.compile('<div id="post_content.*?>(.*?)</div>', re.S) items = re.findall(pattern, page) contents = [] for item in items: content = '\n'+self.tool.replace(item)+'\n' contents.append(content.encode('utf-8')) return contents def setFileTitle(self, title): if title is not None: self.file = open(title + '.txt', 'w+') else: self.file = open(self.defaultTitle + '.txt', 'w+') def writeData(self, contents): for item in contents: if int(self.floorTag) == 1: floorLine = '\n' + str(self.floor) + u'----------------------------------\n' # print floorLine self.file.write(floorLine) self.file.write(item) self.floor += 1 def start(self): indexPage = self.getPage(1) pageNum = self.getPageNum(indexPage) title = self.getTitle(indexPage) self.setFileTitle(title) if pageNum == None: print "URL已失效，请重试" return try: print "该帖子共有".decode('utf-8').encode('gbk') + str(pageNum) + "页".decode('utf-8').encode('gbk') for i in range(1, int(pageNum)+1): print "正在写入第".decode('utf-8').encode('gbk') + str(i) + "页数据......".decode('utf-8').encode('gbk') page = self.getPage(i) contents = self.getContent(page) self.writeData(contents) except IOError, e: print "写入异常， 原因是：" + e.message finally: print "写入任务成功".decode('utf-8').encode('gbk') self.file.close() print u"请输入帖子代号" baseUrl = 'http://tieba.baidu.com/p/'+str(raw_input('http://tieba.baidu.com/p/')) seeLZ = raw_input(unicode('是否获取楼主发言，是输入1，否输入0：', 'utf-8').encode('gbk')) floorTag = raw_input(unicode('是否写入楼层信息，是输入1，否输入0：', 'utf-8').encode('gbk')) bdtb = BDTB(baseUrl, seeLZ, floorTag) bdtb.start()