文章目录
安装 requests-html爬取相关网站
安装 requests-html
本文主要参考requests-html官方文档,详细资料可见参考文献
pipenv install requests
-html
爬取相关网站
可以将下面的网站,替换成人名比较多的网站,比如xx大全等,这里就不细说,可自行百度
from requests_html
import HTMLSession
session
= HTMLSession
()
r
= session
.get
('https://python.org/')
可以先打印出来absolute_links,然后访问这个页面下的链接,打印页面文件,然后在进行相关的后处理
r
.html
.absolute_links
print(r
.html
.text
)
参靠文献: 1、http://html.python-requests.org/