Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
Windows 系统下设置Nodejs NPM全局路径
Apr 26 NodeJs
NodeJS遍历文件生产文件列表功能示例
Jan 22 NodeJs
NodeJS测试框架mocha入门教程
Mar 28 NodeJs
nodejs中sleep功能实现暂停几秒的方法
Jul 12 NodeJs
Nodejs模块载入运行原理
Feb 23 NodeJs
Nodejs 发布自己的npm包并制作成命令行工具的实例讲解
May 15 NodeJs
NodeJS 实现多语言的示例代码
Sep 11 NodeJs
Nodejs模块的调用操作实例分析
Dec 25 NodeJs
Nodejs对postgresql基本操作的封装方法
Feb 20 NodeJs
PHPStorm中如何对nodejs项目进行单元测试详解
Feb 28 NodeJs
Nodejs让异步变成同步的方法
Mar 02 NodeJs
nodejs如何在package.json中设置多条启动命令
Mar 16 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
大师制作的中短波矿石收音机
2020/04/02 无线电
php中将字符串转为HTML的实体引用的一个类
2013/02/03 PHP
php中mt_rand()随机数函数用法
2014/11/24 PHP
是 WordPress 让 PHP 更流行了 而不是框架
2016/02/03 PHP
PHP使用FFmpeg获取视频播放总时长与码率等信息
2016/09/13 PHP
PHP检测一个数组有没有定义的方法步骤
2019/07/20 PHP
css+js实现部分区域高亮可编辑遮罩层
2014/03/04 Javascript
json字符串之间的相互转换示例代码
2014/08/21 Javascript
PHP配置文件php.ini中打开错误报告的设置方法
2015/01/09 PHP
JavaScript通过事件代理高亮显示表格行的方法
2015/05/27 Javascript
javascript对象的相关操作小结
2016/05/16 Javascript
使用jQuery中的wrap()函数操作HTML元素的教程
2016/05/24 Javascript
Ajax的概述与实现过程
2016/11/18 Javascript
jquery做个日期选择适用于手机端示例
2017/01/10 Javascript
微信小程序 五星评价功能的实现
2017/03/09 Javascript
深入理解ES6 Promise 扩展always方法
2017/09/26 Javascript
Vue 第三方字体图标引入 Font Awesome的方法
2018/09/28 Javascript
详解基于node.js的脚手架工具开发经历
2019/01/28 Javascript
JavaScript函数式编程(Functional Programming)组合函数(Composition)用法分析
2019/05/22 Javascript
解决vue项目input输入框双向绑定数据不实时生效问题
2020/08/05 Javascript
Python 网络编程起步(Socket发送消息)
2008/09/06 Python
Python常用模块用法分析
2014/09/08 Python
Python 3.x 连接数据库示例(pymysql 方式)
2017/01/19 Python
Python迭代器和生成器定义与用法示例
2018/02/10 Python
Linux-ubuntu16.04 Python3.5配置OpenCV3.2的方法
2018/04/02 Python
python 浅谈serial与stm32通信的编码问题
2019/12/18 Python
谈谈Python:为什么类中的私有属性可以在外部赋值并访问
2020/03/05 Python
浅谈TensorFlow中读取图像数据的三种方式
2020/06/30 Python
python利用google翻译方法实例(翻译字幕文件)
2020/09/21 Python
基于HTML5超酷摄像头(HTML5 webcam)拍照功能实现代码
2012/12/13 HTML / CSS
毕业求职自荐信格式是什么
2013/11/19 职场文书
学生爱国演讲稿
2014/01/14 职场文书
好学生评语大全
2014/05/05 职场文书
教师作风建设剖析材料
2014/10/11 职场文书
Go 在 MongoDB 中常用查询与修改的操作
2021/05/07 Golang
Nginx反向代理、重定向
2022/04/13 Servers