Python读取网页内容的方法


Posted in Python onJuly 30, 2015

本文实例讲述了Python读取网页内容的方法。分享给大家供大家参考。具体如下:

import urllib2
#encoding = utf-8
class Crawler:
  def main(self):
    #req = urllib2.Request('http://www.baidu.com/')
    #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)')
    #urllib2.socket.setdefaulttimeout(10) # 超时10秒
    #page = urllib2.urlopen(req)
    page = urllib2.urlopen('http://www.google.com', timeout=10)
    data = page.read()
    print data
    print len(data) #计算字节长度
if __name__ == '__main__':
  me=Crawler()
  me.main()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python 实现文件的全备份和差异备份详解
Dec 27 Python
Python中Django发送带图片和附件的邮件
Mar 31 Python
Python处理时间日期坐标轴过程详解
Jun 25 Python
使用Python计算玩彩票赢钱概率
Jun 26 Python
基于python3 pyQt5 QtDesignner实现窗口化猜数字游戏功能
Jul 15 Python
Python通过正则库爬取淘宝商品信息代码实例
Mar 02 Python
解决Python中报错TypeError: must be str, not bytes问题
Apr 07 Python
解决pymysql cursor.fetchall() 获取不到数据的问题
May 15 Python
Python SMTP配置参数并发送邮件
Jun 16 Python
深入浅析python 中的self和cls的区别
Jun 20 Python
基于python模拟bfs和dfs代码实例
Nov 19 Python
Python办公自动化PPT批量转换操作
Sep 15 Python
python查看FTP是否能连接成功的方法
Jul 30 #Python
python如何实现excel数据添加到mongodb
Jul 30 #Python
python学习之第三方包安装方法(两种方法)
Jul 30 #Python
Python实现的Excel文件读写类
Jul 30 #Python
Djang中静态文件配置方法
Jul 30 #Python
Python实现根据IP地址和子网掩码算出网段的方法
Jul 30 #Python
Python实现配置文件备份的方法
Jul 30 #Python
You might like
PHP的拦截器实例分析
2014/11/03 PHP
php数组索引与键值操作技巧实例分析
2015/06/24 PHP
javascript动态加载三
2012/08/22 Javascript
js使用for循环与innerHTML获取选中tr下td值
2014/09/26 Javascript
Javascript前端UI框架Kit使用指南之kitjs的对话框组件
2014/11/28 Javascript
thinkphp 表名 大小写 窍门
2015/02/01 Javascript
JavaScript原生对象之String对象的属性和方法详解
2015/03/13 Javascript
微信浏览器内置JavaScript对象WeixinJSBridge使用实例
2015/05/25 Javascript
js中 javascript:void(0) 用法详解
2015/08/11 Javascript
javascript正则表达式中分组详解
2016/07/17 Javascript
关于jquery中动态增加select,事件无效的快速解决方法
2016/08/29 Javascript
IE8利用自带的setCapture和releaseCapture解决iframe的拖拽事件方法
2016/10/25 Javascript
AngularJS中的拦截器实例详解
2017/04/07 Javascript
移动端触摸滑动插件swiper使用方法详解
2017/08/11 Javascript
vue.js项目中实用的小技巧汇总
2017/11/29 Javascript
浅析前端路由简介以及vue-router实现原理
2018/06/01 Javascript
vue实现密码显示与隐藏按钮的自定义组件功能
2019/04/23 Javascript
微信小程序swiper使用网络图片不显示问题解决
2019/12/13 Javascript
微信小程序点击item使之滚动到屏幕中间位置
2020/03/25 Javascript
ant-design-vue中tree增删改的操作方法
2020/11/03 Javascript
vue自定义组件实现双向绑定
2021/01/13 Vue.js
解析Python中的二进制位运算符
2015/05/13 Python
Python机器学习之决策树算法实例详解
2017/12/06 Python
tensorflow实现tensor中满足某一条件的数值取出组成新的tensor
2020/01/04 Python
Python学习笔记之装饰器
2020/08/06 Python
关于Kotlin中SAM转换的那些事
2020/09/15 Python
AmazeUI在模态框中嵌入表单形成模态输入框
2020/08/20 HTML / CSS
智利最大的网上商店:Linio智利
2016/11/24 全球购物
保安拾金不昧表扬信
2014/01/15 职场文书
见义勇为事迹材料
2014/12/24 职场文书
2015年度招聘工作总结
2015/05/28 职场文书
师德师风培训感言
2015/08/03 职场文书
Pytorch使用shuffle打乱数据的操作
2021/05/20 Python
Redis高级数据类型Hyperloglog、Bitmap的使用
2021/05/24 Redis
使用react-virtualized实现图片动态高度长列表的问题
2021/05/28 Javascript
使用redis生成唯一编号及原理示例详解
2021/09/15 Redis