Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
Nodejs学习笔记之入门篇
Apr 16 NodeJs
使用Angular和Nodejs、socket.io搭建聊天室及多人聊天室
Aug 21 NodeJs
快速掌握Node.js之Window下配置NodeJs环境
Mar 21 NodeJs
NodeJS创建基础应用并应用模板引擎
Apr 12 NodeJs
简单实现nodejs上传功能
Jan 14 NodeJs
详解nodejs中exports和module.exports的区别
Feb 17 NodeJs
nodejs批量下载图片的实现方法
May 19 NodeJs
详解使用PM2管理nodejs进程
Oct 24 NodeJs
详解NODEJS基于FFMPEG视频推流测试
Nov 17 NodeJs
NodeJs实现定时任务的示例代码
Dec 05 NodeJs
NodeJS 将文件夹按照存放路径变成一个对应的JSON的方法
Oct 17 NodeJs
nodejs一个简单的文件服务器的创建方法
Sep 13 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
漂亮但不安全的CTB
2006/10/09 PHP
PHP setcookie指定domain参数后,在IE下设置cookie失效的解决方法
2011/09/09 PHP
PHP+JQUERY操作JSON实例
2017/03/23 PHP
Javascript 继承机制实例
2009/08/12 Javascript
js的表单操作 简单计算器
2011/12/29 Javascript
JS中实现简单Formatter函数示例代码
2014/08/19 Javascript
jQuery制作简洁的图片轮播效果
2015/04/03 Javascript
基于jQuery仿淘宝产品图片放大镜特效
2020/10/19 Javascript
jQuery实现简单倒计时功能的方法
2016/07/04 Javascript
JS中的==运算: [''] == false —>true
2016/07/24 Javascript
JavaScript 详解预编译原理
2017/01/22 Javascript
图片上传之FileAPI与NodeJs
2017/01/24 NodeJs
json数据处理及数据绑定
2017/01/25 Javascript
利用 spin.js 生成等待效果(js 等待效果)
2017/06/25 Javascript
微信小程序 密码输入(源码下载)
2017/06/27 Javascript
vue通过点击事件读取音频文件的方法
2018/05/30 Javascript
js代码规范之Eslint安装与配置详解
2018/09/08 Javascript
如何能分清npm cnpm npx nvm
2019/01/17 Javascript
微信小程序 SOTER 生物认证DEMO 指纹识别功能
2019/12/13 Javascript
JS+css3实现幻灯片轮播图
2020/08/14 Javascript
vue调用本地摄像头实现拍照功能
2020/08/14 Javascript
关于element的表单组件整理笔记
2021/02/05 Javascript
Python使用asyncio包处理并发详解
2017/09/09 Python
python如何爬取网站数据并进行数据可视化
2019/07/08 Python
Python argparse模块应用实例解析
2019/11/15 Python
PyTorch加载自己的数据集实例详解
2020/03/18 Python
在主流系统之上安装Pygame的方法
2020/05/20 Python
python rsa-oaep加密的示例代码
2020/09/23 Python
CSS3中线性颜色渐变的一些实现方法
2015/07/14 HTML / CSS
Omio意大利:全欧洲低价大巴、火车和航班搜索和比价
2017/12/02 全球购物
奥斯汀独木舟和皮划艇:Austin Canoe & Kayak
2018/05/22 全球购物
美国折扣香水网站:The Perfume Spot
2020/12/12 全球购物
期末总结的个人自我评价
2013/11/02 职场文书
党的群众路线教育实践活动自我剖析材料
2014/10/08 职场文书
小学运动会宣传稿
2015/07/23 职场文书
通过feDisplacementMap和feImage实现水波特效
2022/04/24 HTML / CSS