Nodejs抓取html页面内容(推荐)
废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。
具体代码如下所示:
varhttp=require("http");
variconv=require('iconv-lite');
varoption={
hostname:"stockdata.stock.hexun.com",
path:"/gszl/s601398.shtml"
};
varreq=http.request(option,function(res){
res.on("data",function(chunk){
console.log(iconv.decode(chunk,"gbk"));
});
}).on("error",function(e){
console.log(e.message);
});
req.end();
下面再看下面一种nodejs抓取网页内容
functionloadPage(url){
varhttp=require('http');
varpm=newPromise(function(resolve,reject){
http.get(url,function(res){
varhtml='';
res.on('data',function(d){
html+=d.toString()
});
res.on('end',function(){
resolve(html);
});
}).on('error',function(e){
reject(e)
});
});
returnpm;
}
loadPage('http://www.baidu.com').then(function(d){
console.log(d);
});