Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
基于NodeJS的前后端分离的思考与实践(四)安全问题解决方案
Sep 26 NodeJs
NodeJS制作爬虫全过程(续)
Dec 22 NodeJs
NodeJS学习笔记之MongoDB模块
Jan 13 NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 NodeJs
详解nodejs 文本操作模块-fs模块(一)
Dec 22 NodeJs
详解nodeJS中读写文件方法的区别
Mar 06 NodeJs
深入学习nodejs中的async模块的使用方法
Jul 12 NodeJs
基于nodejs+express4.X实现文件下载的实例代码
Jul 13 NodeJs
nodejs 如何手动实现服务器
Aug 20 NodeJs
nodejs+koa2 实现模仿springMVC框架
Oct 21 NodeJs
在nodejs中创建child process的方法
Jan 26 NodeJs
nodejs处理tcp连接的核心流程
Feb 26 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
php 在文件指定行插入数据的代码
2010/05/08 PHP
php实现微信公众号主动推送消息
2015/12/31 PHP
PHP面向对象五大原则之接口隔离原则(ISP)详解
2018/04/04 PHP
PHP Laravel中的Trait使用方法
2019/01/20 PHP
PHP isset()及empty()用法区别详解
2020/08/29 PHP
javascript 贪吃蛇实现代码
2008/11/22 Javascript
Firefox window.close()的使用注意事项
2009/04/11 Javascript
JavaScript常用对象的方法和属性小结
2012/01/24 Javascript
jquery不会自动回收xmlHttpRequest对象 导致了内存溢出
2012/06/18 Javascript
浅析tr的隐藏和显示问题
2014/03/05 Javascript
js返回前一页刷新本页重载页面
2014/07/29 Javascript
JS拖拽插件实现步骤
2015/08/03 Javascript
JS实现仿FLASH效果的竖排导航代码
2015/09/15 Javascript
JS实现Fisheye效果动感放大菜单代码
2015/10/21 Javascript
基于PHP和Mysql相结合使用jqGrid读取数据并显示
2015/12/02 Javascript
简单实现轮播图效果的实例
2016/07/15 Javascript
jQuery实现模拟搜索引擎的智能提示功能简单示例
2019/01/27 jQuery
js使用文档就绪函数动态改变页面内容示例【innerHTML、innerText】
2019/11/07 Javascript
python原始套接字编程示例分享
2014/02/21 Python
python从入门到精通(DAY 1)
2015/12/20 Python
TensorFlow实现MLP多层感知机模型
2018/03/09 Python
python验证身份证信息实例代码
2019/05/06 Python
Python计算两个矩形重合面积代码实例
2019/09/16 Python
PyCharm 2019.3发布增加了新功能一览
2019/12/08 Python
python对数组进行排序,并输出排序后对应的索引值方式
2020/02/28 Python
用css3写出气球样式的示例代码
2017/09/11 HTML / CSS
CSS实现进度条和订单进度条的示例
2020/11/05 HTML / CSS
可口可乐唇膏:Lip Smackers
2019/08/27 全球购物
台湾全方位线上课程与职能学习平台:TibaMe
2019/12/04 全球购物
优秀毕业生求职信范文
2014/01/02 职场文书
教师群众路线教育实践活动学习笔记
2014/11/05 职场文书
2015年计生协会工作总结
2015/04/24 职场文书
供应商食品安全承诺书
2015/04/29 职场文书
员工福利申请报告
2015/05/15 职场文书
教你怎么用python实现字符串转日期
2021/05/24 Python
Django集成富文本编辑器summernote的实现步骤
2021/05/31 Python