Python3.5 爬虫之由浅入深(一、get单一网页)

xiaoxiao2021-02-28  25

Python3.5 爬虫之由浅入深(一、get网页)

望共同进步

转载请注明地址:http://mp.blog.csdn.net/postedit/79527224

首先的安装requests模块,这里安装和前面讲到的安装xlrd模块类似,详见http://blog.csdn.net/weixin_39701039/article/details/79492672

安装好requests模块之后,就可以开始导入import requests 来开始些代码了

代码如下:

#coding:utf-8 #python3.5.1 import requests import time #这里以我的微博网址为例 url = 'http://blog.csdn.net/weixin_39701039' #定义请求头部 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } #'User-Agent'为代理,方便爬虫 response = requests.get(url,headers = headers,timeout = 60) #url为传入网址参数;headers为请求头部;timeout为设置反应延迟时间,这里意味着延迟超过60s则放弃 response.encoding = 'utf-8' #编码 with open(r'G:\任务20180312' + '/' + 'python初学.html','wb') as f: #wb: w表示写入,b表示二进制, wb表示以二进制文件写入 #response.content 为获取的二进制文件 f.write(response.content)

我们爬取网页的过程大致分四步:

第一步:获取需要爬取的url(当然这里不用,因为是单一的url已经给出,后面会将多个url的爬取);

第二步:将url发送请求到服务器(requests.get(url,...));

第三步:服务器将内容发送到客户端(也就是我们的电脑上response = requests.get());

第四步:保存内容到对应的文件位置(with....到结束部分)。

为了方便理解,可以看下http协议部分,这里我没有做总结,以后有机会再做

如下图就是获取的结果了

多个网页的下载请转http://blog.csdn.net/weixin_39701039/article/details/79535578

望有所帮助,望采纳!

转载请注明原文地址: https://www.6miu.com/read-2300314.html

最新回复(0)