案例：批量爬取页面数据
首先我们创建一个python文件, tiebaSpider.py，我们要完成的是，输入一个百度贴吧的地址，比如
百度贴吧LOL吧第一页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
这个是lol吧的第一页的url地址，如果打开第二页，你会发现他的url如下：
第二页： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
第三页： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100
发现规律了吧，贴吧中每个页面不同之处，就是url最后的pn的值，其余的都是一样的，我们可以抓住这个规律。
简单写一个小爬虫程序，来爬取百度LOL吧的所有网页。
我们已经之前写出一个爬取一个网页的代码。现在，我们可以将它封装成一个小函数loadPage，供我们使用。
def loadPage(url):
'''
通过URL请求爬取到html静态页面源代码
url：需要爬取的url地址
'''
req = urllib2.Request(url)
response = urllib2.urlopen(req)
html = response.read()
return html
接下来，我们写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口， 一个是我们要爬取的url地址，以及起始页码和终止页码，表示要爬取页码的范围。
def tiebaSpider(url, beginPage, endPage):
'''
百度贴吧爬虫核心程序：
url: 要爬取的url地址
beginPage: 爬虫贴吧的起始页数
endPage: 爬虫贴吧的终止页数
'''
user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;" # IE9.0 的 User-Agent
headers = {"User-Agent":user_agent}
for i in range(beginPage, endPage+1):
pn = 50 * (i - 1)
html = loadPage(url+str(pn))
最后如果我们希望将爬取到了每页的信息存储在本地磁盘上，我们可以简单写一个存储文件的接口。
def writeFile(file_name, text):
'''
将字符串内容写到文件中:
file_name: 文件路径
text: 要写进的字符串
'''
print "正在存储文件" + file_name
f = open(file_name, 'w+')
f.write(text)
f.close()
ok，接下来就是写一个main函数吧，然后提示用户输入即将爬取的百度贴吧url地址。 （ 注意 ：百度贴吧最后页码” pn= “后的数字，这些数字为我们传入的页码参数，所以我们再提供的时候不能包括数字）
if __name__ == '__main__':
tiebaurl = str(raw_input('请输入贴吧的地址, 去掉pn=后面的数字:'))
beginPage = int(raw_input('请输入开始的页数'))
endPage = int(raw_input('请输入结束的页数'))
tiebaSpider(tiebaurl, beginPage, endPage)
综上, 全部代码完成。
好了，最后我们测试一下：
运行后，输入lol吧的url地址 http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn= （ 注意=号后面不要加数字，因为我们要自动添加 ）
Power@PowerMac ~$ python tiebaSpider.py
请输入贴吧的地址, 去掉pn=后面的数字: http:
请输入开始的页数
5
请输入结束的页数
10
正在下载第
5个网页
正在存储文件
5.html
正在下载第
6个网页
正在存储文件
6.html
正在下载第
7个网页
正在存储文件
7.html
正在下载第
8个网页
正在存储文件
8.html
正在下载第
9个网页
正在存储文件
9.html
正在下载第
10个网页
正在存储文件
10.html
总结
其实很多网站都是这样的，当前网址下会有几个html页面，分别对应网址后的网页序号。
这样一个简单的爬虫程序就可以批量获取网站页面源码，然后我们就可以从中筛选自己想要的数据信息了。
