Python读取网页内容的方法


Posted in Python onJuly 30, 2015

本文实例讲述了Python读取网页内容的方法。分享给大家供大家参考。具体如下:

import urllib2
#encoding = utf-8
class Crawler:
  def main(self):
    #req = urllib2.Request('http://www.baidu.com/')
    #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)')
    #urllib2.socket.setdefaulttimeout(10) # 超时10秒
    #page = urllib2.urlopen(req)
    page = urllib2.urlopen('http://www.google.com', timeout=10)
    data = page.read()
    print data
    print len(data) #计算字节长度
if __name__ == '__main__':
  me=Crawler()
  me.main()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python计算三角函数之asin()方法的使用
May 15 Python
Python登录并获取CSDN博客所有文章列表代码实例
Dec 28 Python
CentOS7.3编译安装Python3.6.2的方法
Jan 22 Python
python3+PyQt5+Qt Designer实现扩展对话框
Apr 20 Python
详解Python给照片换底色(蓝底换红底)
Mar 22 Python
Python 分发包中添加额外文件的方法
Aug 16 Python
pygame实现俄罗斯方块游戏(基础篇2)
Oct 29 Python
Python中__repr__和__str__区别详解
Nov 07 Python
如何获取Python简单for循环索引
Nov 21 Python
python定义类self用法实例解析
Jan 22 Python
pytorch 中的重要模块化接口nn.Module的使用
Apr 02 Python
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
Jul 02 Python
python查看FTP是否能连接成功的方法
Jul 30 #Python
python如何实现excel数据添加到mongodb
Jul 30 #Python
python学习之第三方包安装方法(两种方法)
Jul 30 #Python
Python实现的Excel文件读写类
Jul 30 #Python
Djang中静态文件配置方法
Jul 30 #Python
Python实现根据IP地址和子网掩码算出网段的方法
Jul 30 #Python
Python实现配置文件备份的方法
Jul 30 #Python
You might like
PHP 定界符 使用技巧
2009/06/14 PHP
解析php取整的几种方式
2013/06/25 PHP
php调用mysql存储过程实例分析
2014/12/29 PHP
PHP实现RSA签名生成订单功能【支付宝示例】
2017/06/06 PHP
ThinkPHP5 的简单搭建和使用详解
2018/11/15 PHP
js实现的网页颜色代码表全集
2007/07/17 Javascript
跨浏览器开发经验总结(四) 怎么写入剪贴板
2010/05/13 Javascript
鼠标事件延时切换插件
2011/03/12 Javascript
jQuery Form 页面表单提交的小例子
2013/11/15 Javascript
node.js中的console用法总结
2014/12/15 Javascript
JavaScript通过setTimeout实时显示当前时间的方法
2015/04/16 Javascript
使用DNode实现php和nodejs之间通信的简单实例
2015/07/06 NodeJs
jQuery+PHP星级评分实现方法
2015/10/02 Javascript
JavaScript的Backbone.js框架环境搭建及Hellow world示例
2016/05/07 Javascript
一个简易时钟效果js实现代码
2020/03/25 Javascript
C#实现将一个字符转换为整数
2017/12/12 Javascript
vue.js vue-router如何实现无效路由(404)的友好提示
2017/12/20 Javascript
当vue路由变化时,改变导航栏的样式方法
2018/08/22 Javascript
详解使用angular框架离线你的应用(pwa指南)
2019/01/31 Javascript
Vue-input框checkbox强制刷新问题
2019/04/18 Javascript
微信小程序动态显示项目倒计时
2019/06/20 Javascript
electron 安装,调试,打包的具体使用
2019/11/06 Javascript
python计算最大优先级队列实例
2013/12/18 Python
Python 异常处理实例详解
2014/03/12 Python
浅析Python中yield关键词的作用与用法
2016/11/29 Python
Python基础之变量基本用法与进阶详解
2020/01/03 Python
python3:excel操作之读取数据并返回字典 + 写入的案例
2020/09/01 Python
canvas 绘图时位置偏离的问题解决
2020/09/16 HTML / CSS
大学生个人求职信范文
2013/09/21 职场文书
党员民主评议总结
2014/10/20 职场文书
房屋分割离婚协议书范本
2014/12/01 职场文书
汽车4S店销售经理岗位职责
2015/04/02 职场文书
2015年高二班主任工作总结
2015/05/25 职场文书
高中班主任心得体会
2016/01/07 职场文书
react使用antd的上传组件实现文件表单一起提交功能(完整代码)
2021/06/29 Javascript
SpringBoot 拦截器妙用你真的了解吗
2021/07/01 Java/Android