node的http模块来实现一个简易的爬虫
1、这里只以http协议的网站为例，https的网站爬取只是解析方式略有差别，这里主要会用到node中http模块的get方法，不熟悉的小伙伴可事先预习一下
官网: https://nodejs.org/api/http.html
中文网站: http://nodejs.cn/api/http.html#http_http_get_options_callback
2、开始上代码
（1）引入http模块，调用get方法：
filters是过滤返回的html节点，获取有用的img标签
server方法是定义的本地服务器方法，并向浏览器输出内容
** 如果想预览到http.get返回的内容，可将html打印
http.get(url, (res) => {
var html = '';
res.on('data', (data) => {
html += data;
});
res.on('end', () => {
var courseData = filter(html);
server(port, hostname, courseData);
})
}).on('error', () => {
console.log('获取出错');
})
（2）定义filter方法
***这里用到的cheerio模块，处理服务器端字符串类型的html标签,使用方法和jquery几乎一模一样
感兴趣的小伙伴可以去官网了解： https://www.npmjs.com/package/cheerio
/*
* 解析爬取的html,解析有用的部分
*/
function filter(html) {
var $ = cheerio.load(html);
// 获取初始化加载的img标签
var imgs = $('.responsive-common').find('img');
var listData = [];
imgs.each(function() {
var _this = $(this);
var src = _this.data('original');
var itemData = {
src: src
}
listData.push(itemData);
})
return listData;
}
（
3）定义本地服务方法
/*
* 创建本地服务器,将解析到的内容输出到页面
* @ parame {Array} courseData
*/
const hostname = '127.0.0.1';
const port = 3000;
function server(port, hostname, courseData){
var server = http.createServer((req, res) => {
// 返回的状态码,以html的格式输出
res.statusCode = 200;
res.setHeader('Content-Type', 'text/html;charset=utf-8');
// 向页面输出信息
res.write(
(function() {
var html = '';
courseData.forEach((item, index) => {
html += `<h3>${item.src}</h3><img src="${item.src}"/>`;
})
return html;
})()
);
res.end();
});
server.listen(port, hostname, () => {
console.log(`Server running at http://${hostname}:${port}/`);
});
}
3、预览效果
