Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
nodejs 后缀名判断限制代码
Mar 31 NodeJs
nodejs下打包模块archiver详解
Dec 03 NodeJs
nodejs导出excel的方法
Jun 30 NodeJs
nodejs修复ipa处理过的png图片
Feb 17 NodeJs
nodejs微信公众号支付开发
Sep 19 NodeJs
详解使用vscode+es6写nodejs服务端调试配置
Sep 21 NodeJs
nodejs读取本地中文json文件出现乱码解决方法
Oct 10 NodeJs
NodeJs生成sitemap站点地图的方法示例
Jun 11 NodeJs
nodejs中各种加密算法的实现详解
Jul 11 NodeJs
nodejs简单抓包工具使用详解
Aug 23 NodeJs
Nodejs封装类似express框架的路由实例详解
Jan 05 NodeJs
NodeJS配置CORS实现过程详解
Dec 02 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
完美实现GIF动画缩略图的php代码
2011/01/02 PHP
php缓存技术详细总结
2013/08/07 PHP
php获取当前时间的毫秒数的方法
2014/01/26 PHP
ThinkPHP3.1新特性之对页面压缩输出的支持
2014/06/19 PHP
php微信开发之上传临时素材
2016/06/24 PHP
Javascript倒计时代码
2010/08/12 Javascript
什么是json和jsonp,jQuery json实例详详细说明
2012/12/11 Javascript
图片无缝滚动代码(向左/向下/向上)
2013/04/10 Javascript
可兼容IE的获取及设置cookie的jquery.cookie函数方法
2013/09/02 Javascript
js 实现菜单上下显示附效果图
2013/11/21 Javascript
jqGrid 学习笔记整理——进阶篇(一 )
2016/04/17 Javascript
Angularjs 实现一个幻灯片示例代码
2016/09/08 Javascript
详解微信小程序开发之——wx.showToast(OBJECT)的使用
2017/01/18 Javascript
vue实现ToDoList简单实例
2017/02/07 Javascript
JS批量替换内容中关键词为超链接
2017/02/20 Javascript
vue通过指令(directives)实现点击空白处收起下拉框
2018/12/06 Javascript
详解package.json版本号规则
2019/08/01 Javascript
vue中beforeRouteLeave实现页面回退不刷新的示例代码
2019/11/01 Javascript
react-native聊天室|RN版聊天App仿微信实例|RN仿微信界面
2019/11/12 Javascript
JavaScript Window浏览器对象模型原理解析
2020/05/30 Javascript
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
2018/02/24 Python
python如何实现视频转代码视频
2019/06/17 Python
python2.7的flask框架之引用js&css等静态文件的实现方法
2019/08/22 Python
使用Python爬取弹出窗口信息的实例
2020/03/14 Python
PyTorch: Softmax多分类实战操作
2020/07/07 Python
Python3 + Appium + 安卓模拟器实现APP自动化测试并生成测试报告
2021/01/27 Python
python 基于DDT实现数据驱动测试
2021/02/18 Python
CSS3田字格列表的样式编写方法
2018/11/22 HTML / CSS
Douglas意大利官网:购买香水和化妆品
2020/05/27 全球购物
校园报刊亭创业计划书
2014/01/02 职场文书
房地产活动策划方案
2014/05/14 职场文书
法院反腐倡廉心得体会
2014/09/09 职场文书
公安机关查摆剖析材料
2014/10/10 职场文书
2015年学生会部门工作总结
2015/04/21 职场文书
埃及王子观后感
2015/06/16 职场文书
Python 内置函数速查表一览
2021/06/02 Python