Python读取网页内容的方法


Posted in Python onJuly 30, 2015

本文实例讲述了Python读取网页内容的方法。分享给大家供大家参考。具体如下:

import urllib2
#encoding = utf-8
class Crawler:
  def main(self):
    #req = urllib2.Request('http://www.baidu.com/')
    #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)')
    #urllib2.socket.setdefaulttimeout(10) # 超时10秒
    #page = urllib2.urlopen(req)
    page = urllib2.urlopen('http://www.google.com', timeout=10)
    data = page.read()
    print data
    print len(data) #计算字节长度
if __name__ == '__main__':
  me=Crawler()
  me.main()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python实现115网盘自动下载的方法
Sep 30 Python
Python中获取网页状态码的两个方法
Nov 03 Python
Python基于Tkinter的HelloWorld入门实例
Jun 17 Python
Django基础知识与基本应用入门教程
Jul 20 Python
pandas.DataFrame删除/选取含有特定数值的行或列实例
Nov 07 Python
Python中作用域的深入讲解
Dec 10 Python
在python中用url_for构造URL的方法
Jul 25 Python
Linux下通过python获取本机ip方法示例
Sep 06 Python
Python流程控制常用工具详解
Feb 24 Python
树莓派升级python的具体步骤
Jul 05 Python
python pymysql库的常用操作
Oct 16 Python
利用Python实现Picgo图床工具
Nov 23 Python
python查看FTP是否能连接成功的方法
Jul 30 #Python
python如何实现excel数据添加到mongodb
Jul 30 #Python
python学习之第三方包安装方法(两种方法)
Jul 30 #Python
Python实现的Excel文件读写类
Jul 30 #Python
Djang中静态文件配置方法
Jul 30 #Python
Python实现根据IP地址和子网掩码算出网段的方法
Jul 30 #Python
Python实现配置文件备份的方法
Jul 30 #Python
You might like
重置版战役片段
2020/04/09 魔兽争霸
在WIN98下以apache模块方式安装php
2006/10/09 PHP
php遍历文件夹所有文件子文件夹函数代码
2013/11/27 PHP
php异步多线程swoole用法实例
2014/11/14 PHP
php写app接口并返回json数据的实例(分享)
2017/05/20 PHP
php 读写json文件及修改json的方法
2018/03/07 PHP
thinkPHP框架实现多表查询的方法
2018/06/14 PHP
Laravel5框架添加自定义辅助函数的方法
2018/08/01 PHP
浅谈javascript中的作用域
2012/04/07 Javascript
js通过地址栏给action传值(中文乱码全是问号)
2013/05/02 Javascript
微信小程序 本地数据读取实例
2017/04/27 Javascript
利用pm2部署多个node.js项目的配置教程
2017/10/22 Javascript
element UI upload组件上传附件格式限制方法
2018/09/04 Javascript
element-ui的回调函数Events的用法详解
2018/10/16 Javascript
vue的滚动条插件实现代码
2019/09/07 Javascript
前端开发之便利店收银系统代码
2019/12/27 Javascript
纯js+css实现在线时钟
2020/08/18 Javascript
[01:06]DOTA2隆重推出2016冬季勇士令状 内含上海特级锦标赛互动指南
2016/02/17 DOTA
[46:37]LGD vs TNC 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
用pycharm开发django项目示例代码
2018/10/24 Python
如何在Django中设置定时任务的方法示例
2019/01/18 Python
python 整数越界问题详解
2019/06/27 Python
Django使用Jinja2模板引擎的示例代码
2019/08/09 Python
tensorflow如何批量读取图片
2019/08/29 Python
python socket 聊天室实例代码详解
2019/11/14 Python
澳大利亚领先的内衣店:Bendon Lingerie澳大利亚
2020/05/15 全球购物
校园达人秀策划书
2014/01/12 职场文书
工会主席岗位责任制
2014/02/11 职场文书
机关党员2014全国两会学习心得体会
2014/03/10 职场文书
爱护公共设施的标语
2014/06/24 职场文书
新课培训心得体会
2014/09/03 职场文书
玄武湖导游词
2015/02/05 职场文书
手术室消毒隔离制度
2015/08/05 职场文书
教你用python实现一个无界面的小型图书管理系统
2021/05/21 Python
python基础之错误和异常处理
2021/10/24 Python
使用Python拟合函数曲线
2022/04/14 Python