Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
nodejs npm package.json中文文档
Sep 04 NodeJs
基于NodeJS的前后端分离的思考与实践(五)多终端适配
Sep 26 NodeJs
轻松创建nodejs服务器(7):阻塞操作的实现
Dec 18 NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 NodeJs
NodeJs的优势和适合开发的程序
Aug 14 NodeJs
nodeJS删除文件方法示例
Dec 25 NodeJs
深入nodejs中流(stream)的理解
Mar 27 NodeJs
NodeJS加密解密及node-rsa加密解密用法详解
Oct 12 NodeJs
深入理解nodejs搭建静态服务器(实现命令行)
Feb 05 NodeJs
Nodejs异步流程框架async的方法
Jun 07 NodeJs
NodeJs实现简易WEB上传下载服务器
Aug 10 NodeJs
linux 下以二进制的方式安装 nodejs
Feb 12 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
PHP安全编程之加密功能
2006/10/09 PHP
PHP gbk环境下json_dencode传送来的汉字
2012/11/13 PHP
destoon之一键登录设置
2014/06/21 PHP
PHP7 新特性详细介绍
2016/09/06 PHP
PHP根据key删除数组中指定的元素
2019/02/28 PHP
FireBug 调试JS入门教程 如何调试JS
2013/12/23 Javascript
js对table的td进行相同内容合并示例详解
2013/12/27 Javascript
js实现拉幕效果的广告代码
2015/09/02 Javascript
jQuery无刷新分页完整实例代码
2015/10/27 Javascript
MVC+jQuery.Ajax异步实现增删改查和分页
2020/12/22 Javascript
深入理解bootstrap框架之入门准备
2016/10/09 Javascript
jQuery EasyUI 右键菜单--关闭标签/选项卡的简单实例
2016/10/10 Javascript
Vue.js组件tree实现省市多级联动
2016/12/02 Javascript
JS中如何实现复选框全选功能
2016/12/19 Javascript
Angular2 组件通信的实例代码
2017/06/23 Javascript
微信小程序 获取javascript 里的数据
2017/08/17 Javascript
node.js调用C++函数的方法示例
2018/09/21 Javascript
详解一个基于react+webpack的多页面应用配置
2019/01/21 Javascript
js单线程的本质 Event Loop解析
2019/10/29 Javascript
Python线程的两种编程方式
2015/04/14 Python
Python引用模块和查找模块路径
2016/03/17 Python
python编程通过蒙特卡洛法计算定积分详解
2017/12/13 Python
Python 合并拼接字符串的方法
2020/07/28 Python
浅析CSS3 用text-overflow解决文字排版问题
2020/10/28 HTML / CSS
DataList 能否分页,请问如何实现?
2015/05/03 面试题
机电一体化专业应届本科生求职信
2013/09/27 职场文书
会计毕业生自我鉴定
2013/11/04 职场文书
教师岗位职责范本
2013/12/29 职场文书
一年级学生评语
2014/04/23 职场文书
厨房管理计划书
2014/04/27 职场文书
《梅花魂》教学反思
2014/04/30 职场文书
先进人物事迹材料
2014/12/29 职场文书
停电通知范文
2015/04/16 职场文书
2015年社区环境卫生工作总结
2015/04/21 职场文书
2015年会计年终工作总结
2015/05/26 职场文书
jquery插件实现代码雨特效
2021/04/24 jQuery