Python读取网页内容的方法


Posted in Python onJuly 30, 2015

本文实例讲述了Python读取网页内容的方法。分享给大家供大家参考。具体如下:

import urllib2
#encoding = utf-8
class Crawler:
  def main(self):
    #req = urllib2.Request('http://www.baidu.com/')
    #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)')
    #urllib2.socket.setdefaulttimeout(10) # 超时10秒
    #page = urllib2.urlopen(req)
    page = urllib2.urlopen('http://www.google.com', timeout=10)
    data = page.read()
    print data
    print len(data) #计算字节长度
if __name__ == '__main__':
  me=Crawler()
  me.main()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
关于你不想知道的所有Python3 unicode特性
Nov 28 Python
Python变量和数据类型详解
Feb 15 Python
Python中元组,列表,字典的区别
May 21 Python
Python用Pillow(PIL)进行简单的图像操作方法
Jul 07 Python
Python实现的购物车功能示例
Feb 11 Python
APIStar:一个专为Python3设计的API框架
Sep 26 Python
Python pyinotify模块实现对文档的实时监控功能方法
Oct 13 Python
使用python对excle和json互相转换的示例
Oct 23 Python
Python3利用Dlib实现摄像头实时人脸检测和平铺显示示例
Feb 21 Python
Python基于Tensor FLow的图像处理操作详解
Jan 15 Python
Python 开发工具PyCharm安装教程图文详解(新手必看)
Feb 28 Python
python 使用paramiko模块进行封装,远程操作linux主机的示例代码
Dec 03 Python
python查看FTP是否能连接成功的方法
Jul 30 #Python
python如何实现excel数据添加到mongodb
Jul 30 #Python
python学习之第三方包安装方法(两种方法)
Jul 30 #Python
Python实现的Excel文件读写类
Jul 30 #Python
Djang中静态文件配置方法
Jul 30 #Python
Python实现根据IP地址和子网掩码算出网段的方法
Jul 30 #Python
Python实现配置文件备份的方法
Jul 30 #Python
You might like
验证token、回复图文\文本、推送消息的实用微信类php代码
2016/06/28 PHP
PHP实现的注册,登录及查询用户资料功能API接口示例
2017/06/06 PHP
详谈symfony window下的安装 安装时候出现的问题以及解决方法
2017/09/28 PHP
PHP自动载入类文件函数__autoload的使用方法
2019/03/25 PHP
JS控制表格隔行变色
2006/06/26 Javascript
javascript小数计算出现近似值的解决办法
2010/02/06 Javascript
JS返回上一页实例代码通过图片和按钮分别实现
2013/08/16 Javascript
JS判断两个时间大小的示例代码
2014/01/28 Javascript
让jQuery Mobile不显示讨厌loading界面的方法
2014/02/19 Javascript
Backbone.js框架中简单的View视图编写学习笔记
2016/02/14 Javascript
jQuery实现的鼠标经过时变宽的效果(附demo源码)
2016/04/28 Javascript
jQuery遍历json的方法(推荐)
2016/06/12 Javascript
利用Javascript实现BMI计算器
2016/08/16 Javascript
JavaScript中的遍历详解(多种遍历)
2017/04/07 Javascript
jQuery实现锚点向下平滑滚动特效示例
2017/08/29 jQuery
微信小程序tabBar用法实例详解
2017/12/04 Javascript
BootStrap自定义popover,点击区域隐藏功能的实现
2018/01/23 Javascript
使用JavaScript实现node.js中的path.join方法
2018/08/12 Javascript
JS学习笔记之贪吃蛇小游戏demo实例详解
2019/05/29 Javascript
[03:32]2014DOTA2西雅图邀请赛 CIS外卡赛赛前black专访
2014/07/09 DOTA
Linux 发邮件磁盘空间监控(python)
2016/04/23 Python
python使用json序列化datetime类型实例解析
2018/02/11 Python
新手常见6种的python报错及解决方法
2018/03/09 Python
解决python3捕获cx_oracle抛出的异常错误问题
2018/10/18 Python
python celery分布式任务队列的使用详解
2019/07/08 Python
解决使用export_graphviz可视化树报错的问题
2019/08/09 Python
python爬取股票最新数据并用excel绘制树状图的示例
2021/03/01 Python
CSS3近阶段篇之酷炫的3D旋转透视
2016/04/28 HTML / CSS
HTML5表单验证特性(知识点小结)
2020/03/10 HTML / CSS
We Fashion荷兰:一家国际时装公司
2018/04/18 全球购物
深圳-东方伟业笔试部分
2015/02/11 面试题
小学数学教学经验交流材料
2014/05/22 职场文书
传播学专业毕业生自荐书
2014/07/01 职场文书
高三英语教学计划
2015/01/23 职场文书
质量保证书格式
2015/02/27 职场文书
2015年街道办事处工作总结
2015/05/22 职场文书