Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
nodejs入门详解(多篇文章结合)
Mar 07 NodeJs
nodejs中操作mysql数据库示例
Dec 20 NodeJs
解析NodeJs的调试方法
Dec 11 NodeJs
详谈Angular路由与Nodejs路由的区别
Mar 05 NodeJs
深入理解nodejs中Express的中间件
May 19 NodeJs
Nodejs之TCP服务端与客户端聊天程序详解
Jul 07 NodeJs
详解nodejs的express如何自动生成项目框架
Jul 12 NodeJs
nodejs微信扫码支付功能实现
Feb 17 NodeJs
NodeJs搭建本地服务器之使用手机访问的实例讲解
May 12 NodeJs
nodejs检测因特网是否断开的解决方案
Apr 17 NodeJs
纯异步nodejs文件夹(目录)复制功能
Sep 03 NodeJs
nodejs各种姿势断点调试的方法
Jun 18 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
php中Y2K38的漏洞解决方法实例分析
2014/09/22 PHP
Zend Framework实现留言本分页功能(附demo源码下载)
2016/03/22 PHP
Thinkphp框架开发移动端接口(1)
2016/08/18 PHP
thinkPHP商城公告功能开发问题分析
2016/12/01 PHP
Laravel5.4简单实现app接口Api Token认证方法
2019/08/29 PHP
Javascript面向对象编程(三) 非构造函数的继承
2011/08/28 Javascript
js防止表单重复提交实现代码
2012/09/05 Javascript
js实现的倒计时按钮实例
2015/06/24 Javascript
JS实现具备延时功能的滑动门菜单效果
2015/09/17 Javascript
浅谈JavaScript for循环 闭包
2016/06/22 Javascript
JavaScript中Form表单技术汇总(推荐)
2016/06/26 Javascript
ztree简介_动力节点Java学院整理
2017/07/19 Javascript
JavaScript requestAnimationFrame动画详解
2017/09/14 Javascript
微信小程序实现图片上传功能实例(前端+PHP后端)
2018/01/10 Javascript
Vue之Vue.set动态新增对象属性方法
2018/02/23 Javascript
Angular4 ElementRef的应用
2018/02/26 Javascript
微信小程序实现打卡日历功能
2020/09/21 Javascript
webpack 动态批量加载文件的实现方法
2020/03/19 Javascript
JS获取一个字符串中指定字符串第n次出现的位置
2021/02/10 Javascript
[02:32]DOTA2英雄基础教程 美杜莎
2014/01/07 DOTA
[02:20]DOTA2亚洲邀请赛 IG战队出场宣传片
2015/02/07 DOTA
[57:53]DOTA2上海特级锦标赛主赛事日 - 2 败者组第二轮#3OG VS VP
2016/03/03 DOTA
python简单实现计算过期时间的方法
2015/06/09 Python
Python3编码问题 Unicode utf-8 bytes互转方法
2018/10/26 Python
对Python的多进程锁的使用方法详解
2019/02/18 Python
django 数据库连接模块解析及简单长连接改造方法
2019/08/29 Python
Selenium关闭INFO:CONSOLE提示的解决
2020/12/07 Python
在Ubuntu中安装并配置Pycharm教程的实现方法
2021/01/06 Python
使用HTML5 Canvas API中的clip()方法裁剪区域图像
2016/03/25 HTML / CSS
HTML5+CSS3实现机器猫
2016/10/17 HTML / CSS
中国最大的名表商城:万表网
2016/08/29 全球购物
Pure Collection美国官网:来自英国羊绒专家的奢华羊绒
2017/11/19 全球购物
大学生个人自我鉴定
2013/12/03 职场文书
师范生见习报告范文
2014/11/03 职场文书
学校勤俭节约倡议书
2015/04/29 职场文书
预备党员介绍人意见
2015/06/01 职场文书