Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
轻松创建nodejs服务器(10):处理POST请求
Dec 18 NodeJs
nodejs实现获取某宝商品分类
May 28 NodeJs
浅谈Nodejs观察者模式
Oct 13 NodeJs
解析NodeJs的调试方法
Dec 11 NodeJs
初识NodeJS服务端开发入门(Express+MySQL)
Apr 07 NodeJs
详解nodejs微信公众号开发——1.接入微信公众号
Apr 10 NodeJs
nodejs获取微信小程序带参数二维码实现代码
Apr 12 NodeJs
NodeJS实现视频转码的示例代码
Nov 18 NodeJs
nodejs调取微信收货地址的方法
Dec 20 NodeJs
nodejs搭建本地服务器并访问文件操作示例
May 11 NodeJs
NodeJs 模仿SIP话机注册的方法
Jun 21 NodeJs
NodeJS开发人员常见五个错误理解
Oct 14 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
为查询结果建立向后/向前按钮
2006/10/09 PHP
CentOS下PHP安装Oracle扩展
2015/02/15 PHP
PHP折半(二分)查找算法实例分析
2018/05/12 PHP
CI框架(CodeIgniter)实现的数据库增删改查操作总结
2018/05/23 PHP
实现php删除链表中重复的结点
2018/09/27 PHP
解决Laravel blade模板转义html标签的问题
2019/09/03 PHP
PHP使用PDO实现mysql防注入功能详解
2019/12/20 PHP
js检测客户端不是firefox则提示下载
2007/04/07 Javascript
浏览器解析js生成的html出现样式问题的解决方法
2012/04/16 Javascript
AJAX跨域请求json数据的实现方法
2013/11/11 Javascript
js实现缓冲运动效果的方法
2015/04/10 Javascript
js获得当前系统日期时间的方法
2015/05/06 Javascript
AngularJS学习笔记之依赖注入详解
2016/05/16 Javascript
JS获取鼠标选中的文字
2016/08/10 Javascript
javascript数组常用方法汇总
2016/09/10 Javascript
jquery实现表单获取短信验证码代码
2017/03/13 Javascript
JavaScript中常见的八个陷阱总结
2017/06/28 Javascript
antd Upload 文件上传的示例代码
2018/12/14 Javascript
js中arguments对象的深入理解
2019/05/14 Javascript
Python实现比较两个文件夹中代码变化的方法
2015/07/10 Python
Python简单操作sqlite3的方法示例
2017/03/22 Python
Python设计模式之桥接模式原理与用法实例分析
2019/01/10 Python
Python面向对象魔法方法和单例模块代码实例
2020/03/25 Python
keras之权重初始化方式
2020/05/21 Python
python求解汉诺塔游戏
2020/07/09 Python
Python将字典转换为XML的方法
2020/08/01 Python
使用AJAX和Django获取数据的方法实例
2020/10/25 Python
伦敦最著名的老字号百货公司:Selfridges(塞尔福里奇百货)
2016/07/25 全球购物
美国家用电器和电子产品商店:Abt
2016/09/06 全球购物
面向对象概念面试题(.NET)
2016/11/04 面试题
参观考察邀请函范文
2014/01/29 职场文书
小班上学期评语
2014/05/05 职场文书
公安机关党的群众路线教育实践活动剖析材料
2014/10/10 职场文书
酒店保洁员岗位职责
2015/02/26 职场文书
幼儿园门卫安全责任书
2015/05/08 职场文书
婚育证明格式
2015/06/17 职场文书