Python简单实现网页内容抓取功能示例


Posted in Python onJune 07, 2018

本文实例讲述了Python简单实现网页内容抓取功能。分享给大家供大家参考,具体如下:

使用模块:

import urllib2 
import urllib

普通抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

Get请求抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python远程登录代码
Apr 29 Python
wxPython窗口中文乱码解决方法
Oct 11 Python
python检查URL是否正常访问的小技巧
Feb 25 Python
windows系统下Python环境搭建教程
Mar 28 Python
使用python遍历指定城市的一周气温
Mar 31 Python
浅谈用Python实现一个大数据搜索引擎
Nov 28 Python
python re模块findall()函数实例解析
Jan 19 Python
python中pylint使用方法(pylint代码检查)
Apr 06 Python
python编写简易聊天室实现局域网内聊天功能
Jul 28 Python
Python实现的拉格朗日插值法示例
Jan 08 Python
用Python将结果保存为xlsx的方法
Jan 28 Python
Python调用shell命令常用方法(4种)
May 11 Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
使用python画个小猪佩奇的示例代码
Jun 06 #Python
python re模块的高级用法详解
Jun 06 #Python
Python实现的爬取网易动态评论操作示例
Jun 06 #Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 #Python
You might like
destoon实现公司新闻详细页添加评论功能的方法
2014/07/15 PHP
适合PHP初学者阅读的4本经典书籍
2016/09/23 PHP
js清空form表单中的内容示例
2014/05/20 Javascript
JS实现点击颜色块切换指定区域背景颜色的方法
2015/02/25 Javascript
jQuery垂直多级导航菜单代码分享
2015/08/18 Javascript
浅谈javascript中的call、apply、bind
2016/03/06 Javascript
jQuery事件绑定on()与弹窗实现代码
2016/04/28 Javascript
Vue.js每天必学之方法与事件处理器
2016/09/06 Javascript
jquery获取点击控件的绝对位置简单实例
2016/10/13 Javascript
js实现购物车功能
2018/06/12 Javascript
微信小程序在ios下Echarts图表不能滑动的问题解决
2019/07/10 Javascript
jQuery zTree插件使用简单教程
2019/08/16 jQuery
[01:51]历届DOTA2国际邀请赛举办地回顾 TI9落地上海
2018/08/26 DOTA
python字典get()方法用法分析
2015/04/17 Python
在Python的Django框架中用流响应生成CSV文件的教程
2015/05/02 Python
python类的方法属性与方法属性的动态绑定代码详解
2017/12/27 Python
Python读csv文件去掉一列后再写入新的文件实例
2017/12/28 Python
python实现一组典型数据格式转换
2018/12/15 Python
浅析python的Lambda表达式
2019/02/27 Python
Python GUI编程 文本弹窗的实例
2019/06/11 Python
Python使用sklearn库实现的各种分类算法简单应用小结
2019/07/04 Python
Django模板语言 Tags使用详解
2019/09/09 Python
PyQT5 emit 和 connect的用法详解
2019/12/13 Python
Python3打包exe代码2种方法实例解析
2020/02/17 Python
Python爬虫爬取、解析数据操作示例
2020/03/27 Python
python zip()函数的使用示例
2020/09/23 Python
css3教程之倾斜页面
2014/01/27 HTML / CSS
mysql的最长数据库名,表名,字段名可以是多长
2014/04/21 面试题
护士实习求职信
2014/06/22 职场文书
供用电专业求职信
2014/07/07 职场文书
股东授权委托书范文
2014/09/13 职场文书
见习报告怎么写
2014/10/31 职场文书
自我推荐信怎么写
2015/03/24 职场文书
2019年大学推荐信
2019/06/24 职场文书
「SHOW BY ROCK!!」“雫シークレットマインド”组合单曲MV公开
2022/03/21 日漫
Java 使用类型为Object的变量指向任意类型的对象
2022/04/13 Java/Android