觉得爬虫一直是一个很神奇的东西 ##一、从网页代码开始看起
通过https://www.51job.com/进行搜索python java +北京、上海、深圳、广州 2、点击检查 3、进入如上界面，点击network 如果network里面什么东西都没有，在网页点击搜索，进行网页信息的传送，network显示具体信息 4、找到type为document的那一行，将鼠标放到第一列（鼠标变成小手）点击。 变成如图所示，进入Response，就可以看到网页显示信息的代码。 5、定位到具体位置 将鼠标放到需要查找的地方，单击鼠标右键–检查 已经定位好了 二、编写代码，进行爬虫 import urllib.request from bs4 import BeautifulSoup url = "https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,00,9,99,python%2520java,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=" response = urllib.request.urlopen(url) html = response.read() soup = BeautifulSoup(html,"html.parser") import re r1 = soup.find_all("span",class_='t4') for each in r1: print(each.string)url就是我们搜索的网页
这里用到了BeautifulSoup4 python可以直接导入包 py -3 -m pip install BeautifulSoup4 这就完成了
这还是最基础的，继续加油学习(ง •_•)ง
