Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
nodejs实现获取某宝商品分类
May 28 NodeJs
解析NodeJs的调试方法
Dec 11 NodeJs
使用nodejs下载风景壁纸
Feb 05 NodeJs
Nodejs搭建wss服务器教程
May 24 NodeJs
使用nodeJs来安装less及编译less文件为css文件的方法
Nov 20 NodeJs
Nodejs模块载入运行原理
Feb 23 NodeJs
Nodejs Express 通过log4js写日志到Logstash(ELK)
Aug 30 NodeJs
Nodejs实现的操作MongoDB数据库功能完整示例
Feb 02 NodeJs
深入理解nodejs搭建静态服务器(实现命令行)
Feb 05 NodeJs
nodejs实现的http、https 请求封装操作示例
Feb 06 NodeJs
nodejs+koa2 实现模仿springMVC框架
Oct 21 NodeJs
分享五个Node.js开发的优秀实践 
Apr 07 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
总集篇&特番节目先行播出!《SAO Alicization War of Underworld》第2季度TV动画4月25日放送!
2020/03/06 日漫
虹吸式咖啡壶操作
2021/03/03 冲泡冲煮
ThinkPHP令牌验证实例
2014/06/18 PHP
PHP实现的注册,登录及查询用户资料功能API接口示例
2017/06/06 PHP
PHP获取数据库表中的数据插入新的表再原删除数据方法
2018/10/12 PHP
js 鼠标点击事件及其它捕获
2009/06/04 Javascript
javascript或asp实现的判断身份证号码是否正确两种验证方法
2009/11/26 Javascript
JavaScript 学习笔记(十二) dom
2010/01/21 Javascript
jquery 年会抽奖程序
2011/12/22 Javascript
浅析BootStrap Treeview的简单使用
2016/10/12 Javascript
jquery点击展示与隐藏更多内容
2016/12/03 Javascript
微信小程序 设置启动页面的两种方法
2017/03/09 Javascript
tab栏切换原理
2017/03/22 Javascript
react开发教程之React 组件之间的通信方式
2017/08/12 Javascript
vue定义全局变量和全局方法的方法示例
2018/08/01 Javascript
详解vue更改头像功能实现
2019/04/28 Javascript
jQuery提示框插件SweetAlert用法分析
2019/08/05 jQuery
jQuery实现二级导航菜单的示例
2020/09/30 jQuery
python3实现域名查询和whois查询功能
2018/06/21 Python
浅谈python3.x pool.map()方法的实质
2019/01/16 Python
Python批量生成幻影坦克图片实例代码
2019/06/04 Python
python 列表转为字典的两个小方法(小结)
2019/06/28 Python
python 实现一个反向单位矩阵示例
2019/11/29 Python
Pytorch对Himmelblau函数的优化详解
2020/02/29 Python
python递归函数求n的阶乘,优缺点及递归次数设置方式
2020/04/02 Python
最简单的matplotlib安装教程(小白)
2020/07/28 Python
美国中西部家用医疗设备商店:Med Mart(轮椅、踏板车、升降机等)
2019/04/26 全球购物
小学生期末评语
2014/04/21 职场文书
服务行业口号
2014/06/11 职场文书
奥巴马当选演讲稿
2014/09/10 职场文书
离婚协议书范本2014
2014/10/27 职场文书
母亲节主题班会
2015/08/14 职场文书
党章学习心得体会2016
2016/01/14 职场文书
高二语文教学反思
2016/02/16 职场文书
Redis之RedisTemplate配置方式(序列和反序列化)
2022/03/13 Redis
CentOS7 minimal 最小化安装网络设置过程
2022/12/24 Servers