一、工具说明
火狐浏览器fireBug插件R软件revest包、stringr包
二、数据说明
想要获取链家网南京楼盘的信息，如：楼盘名称、地址、面积、是否在售、住宅性质、价格。最后在R里生成数据框
三、代码
Part1:加载包，rvest用于爬取数据、stringr处理字符串
tryCatch({
library(rvest)
}, error =
function(e) {
print(
"No This Package")
},
finally = {
install.packages(
"rvest")
library(rvest)
})
library(stringr)
Part2:读取网页，求页数
想要获取该信息页数，如下图所示： 使用Firebug插件，很容易定位元素。 点击红框处图标，再点击黄框处10.自动定位元素位置，可以分析标签值等信息
url <-
'http://nj.fang.lianjia.com/loupan/'
web <- read_html(url)
page <-
web %>% html_nodes(
'div.page-box') %>% html_attr(
"page-data")
page_num <- str_extract(page,
'[0-9]+')
page_num <- as.numeric(page_num)
Part3:循环读取每页上所需要的信息
name = area = price = type = address = status =
NULL
for (i
in 1:page_num) {
name <- c(name,
web %>% html_nodes(
'div.info-panel') %>%
html_nodes(
'a') %>% html_text())
address <- c(
address,
web %>% html_nodes(
'div.info-panel') %>%
html_nodes(
'div.where') %>% html_nodes(
'span.region') %>%
html_text()
)
area_ass <-
web %>% html_nodes(
'div.info-panel') %>% html_nodes(
'div.area') %>% html_nodes(
'span') %>%
html_text()
area = c(area, str_extract(area_ass,
'[0-9]+~[0-9]+|[0-9]+'))
price_ass <-
web %>% html_nodes(
'div.info-panel') %>% html_nodes(
'div.average') %>% html_nodes(
'span') %>%
html_text()
price = c(price, as.numeric(price_ass))
type <- c(
type,
web %>% html_nodes(
'div.info-panel') %>%
html_nodes(
'div.type') %>% html_nodes(
'span.live') %>% html_text()
)
status <- c(
status,
web %>% html_nodes(
'div.info-panel') %>%
html_nodes(
'div.type') %>% html_nodes(
'span.onsold') %>% html_text()
)
house_data <-
data.frame(
name = name,
area = area,
price = price,
type = type,
address = address,
status = status,
stringsAsFactors =
F
)
}
四、结果
五、Ref
[1] 链家网地址 [2] 快速定位元素：http://jingyan.baidu.com/article/19192ad81ab005e53e5707d6.html [3] 《rvest + CSS Selector 网页数据抓取的最佳选择 》 [4] 语言爬虫初尝试-基于RVEST包学习 [5] 标签含义速查网站 [6] R语言学习：使用rvest包抓取网页数据
