Python简单实现网页内容抓取功能示例


Posted in Python onJune 07, 2018

本文实例讲述了Python简单实现网页内容抓取功能。分享给大家供大家参考,具体如下:

使用模块:

import urllib2 
import urllib

普通抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

Get请求抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python类的基础入门知识
Nov 24 Python
python实现web方式logview的方法
Aug 10 Python
Python在信息学竞赛中的运用及Python的基本用法(详解)
Aug 15 Python
Pandas 数据处理,数据清洗详解
Jul 10 Python
python抓取需要扫微信登陆页面
Apr 29 Python
python生成器推导式用法简单示例
Oct 08 Python
python opencv实现gif图片分解的示例代码
Dec 13 Python
python3+opencv生成不规则黑白mask实例
Feb 19 Python
Python3.x+pyqtgraph实现数据可视化教程
Mar 14 Python
Python生成器next方法和send方法区别详解
May 30 Python
解决django migrate报错ORA-02000: missing ALWAYS keyword
Jul 02 Python
python3实现语音转文字(语音识别)和文字转语音(语音合成)
Oct 14 Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
使用python画个小猪佩奇的示例代码
Jun 06 #Python
python re模块的高级用法详解
Jun 06 #Python
Python实现的爬取网易动态评论操作示例
Jun 06 #Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 #Python
You might like
用PHP和ACCESS写聊天室(三)
2006/10/09 PHP
动态生成gif格式的图像要注意?
2006/10/09 PHP
ThinkPHP之foreach标签使用概述
2014/06/30 PHP
PHP编程计算日期间隔天数的方法
2017/04/26 PHP
tp5.1框架数据库子查询操作实例分析
2020/05/26 PHP
jQuery 技巧小结
2010/04/02 Javascript
jQuery Study Notes学习笔记 (二)
2010/08/04 Javascript
Jquery.LazyLoad.js修正版下载,实现图片延迟加载插件
2011/03/12 Javascript
图片在浏览器中底部对齐 解决方法之一
2011/11/30 Javascript
背景图跟随鼠标移动的Mootools插件实现代码
2011/12/12 Javascript
eclipse导入jquery包后报错的解决方法
2014/02/17 Javascript
avalon js实现仿微博拖动图片排序
2015/08/14 Javascript
jquery图片滚动放大代码分享(2)
2015/08/28 Javascript
JS截取字符串实例详解
2015/11/24 Javascript
jQuery基础知识点总结(DOM操作)
2016/06/01 Javascript
Jquery组件easyUi实现手风琴(折叠面板)示例
2016/08/23 Javascript
localStorage实现便签小程序
2016/11/28 Javascript
BootStrap实现文件上传并带有进度条效果
2017/09/11 Javascript
微信小程序之滚动视图容器的实现方法
2017/09/26 Javascript
node.js文件上传重命名以及移动位置的示例代码
2018/01/19 Javascript
ES6基础之数组和对象的拓展实例详解
2019/08/22 Javascript
Layui 解决表格异步调用后台分页的问题
2019/10/26 Javascript
跟老齐学Python之私有函数和专有方法
2014/10/24 Python
Python 使用with上下文实现计时功能
2018/03/09 Python
python GUI图形化编程wxpython的使用
2019/07/19 Python
Python实现时间序列可视化的方法
2019/08/06 Python
利用python3 的pygame模块实现塔防游戏
2019/12/30 Python
前端实现弹幕效果的方法总结(包含css3和canvas的实现方式)
2018/07/12 HTML / CSS
武汉瑞得软件笔试题
2015/10/27 面试题
合伙经营协议书
2014/04/18 职场文书
二年级小学生评语
2014/04/21 职场文书
办理房产证委托书
2014/09/18 职场文书
作风转变年心得体会
2014/10/22 职场文书
2015团员个人年度总结
2015/11/24 职场文书
golang如何去除多余空白字符(含制表符)
2021/04/25 Golang
Centos7中MySQL数据库使用mysqldump进行每日自动备份的编写
2021/08/02 MySQL