Python简单实现网页内容抓取功能示例


Posted in Python onJune 07, 2018

本文实例讲述了Python简单实现网页内容抓取功能。分享给大家供大家参考,具体如下:

使用模块:

import urllib2 
import urllib

普通抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

Get请求抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python和pyqt实现360的CLable控件
Feb 21 Python
python多线程抓取天涯帖子内容示例
Apr 03 Python
python生成器generator用法实例分析
Jun 04 Python
python中 logging的使用详解
Oct 25 Python
用Python shell简化开发
Aug 08 Python
TensorFlow实现Logistic回归
Sep 07 Python
django自定义模板标签过程解析
Dec 14 Python
基于tensorflow for循环 while循环案例
Jun 30 Python
python三引号如何输入
Jul 06 Python
Python类成员继承重写的实现
Sep 16 Python
Python爬取英雄联盟MSI直播间弹幕并生成词云图
Jun 01 Python
OpenCV-Python实现轮廓的特征值
Jun 09 Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
使用python画个小猪佩奇的示例代码
Jun 06 #Python
python re模块的高级用法详解
Jun 06 #Python
Python实现的爬取网易动态评论操作示例
Jun 06 #Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 #Python
You might like
php daodb插入、更新与删除数据
2009/03/19 PHP
PHP导出MySQL数据到Excel文件(fputcsv)
2011/07/03 PHP
PHP图片加水印实现方法
2016/05/06 PHP
PHP使用 Pear 进行安装和卸载包的方法详解
2019/07/08 PHP
yii 框架实现按天,月,年,自定义时间段统计数据的方法分析
2020/04/04 PHP
[全兼容哦]--实用、简洁、炫酷的页面转入效果loing
2007/05/07 Javascript
运用jquery实现table单双行不同显示并能单行选中
2009/07/25 Javascript
JQuery-tableDnD 拖拽的基本使用介绍
2013/07/04 Javascript
javascript中的window.location.search方法简介
2013/09/02 Javascript
JS使用oumousemove和oumouseout动态改变图片显示的方法
2015/03/31 Javascript
JavaScript获取页面中第一个锚定文本的方法
2015/04/03 Javascript
JQuery删除DOM节点的方法
2015/06/11 Javascript
AngularJS入门教程之AngularJS 模板
2016/08/18 Javascript
详解Node.js中的事件机制
2016/09/22 Javascript
JS 动态加载js文件和css文件 同步/异步的两种简单方式
2016/09/23 Javascript
vue+Element-ui实现分页效果实例代码详解
2018/12/10 Javascript
如何让node运行es6模块文件及其原理详解
2018/12/11 Javascript
jQuery实时统计输入框字数及限制
2020/06/24 jQuery
JS实现手风琴特效
2020/11/08 Javascript
[01:11]辉夜杯战队访谈宣传片—CDEC.Y
2015/12/26 DOTA
Python translator使用实例
2008/09/06 Python
Python使用django获取用户IP地址的方法
2015/05/11 Python
python导入时小括号大作用
2017/01/10 Python
Python入门_浅谈字符串的分片与索引、字符串的方法
2017/05/16 Python
scrapy-redis源码分析之发送POST请求详解
2019/05/15 Python
python2与python3爬虫中get与post对比解析
2019/09/18 Python
python实现把两个二维array叠加成三维array示例
2019/11/29 Python
python实现输入三角形边长自动作图求面积案例
2020/04/12 Python
selenium+python实现基本自动化测试的示例代码
2021/01/27 Python
CSS3近阶段篇之酷炫的3D旋转透视
2016/04/28 HTML / CSS
加拿大户外探险购物网站:SAIL
2020/06/27 全球购物
Linux管理员面试题 Linux admin interview questions
2016/07/08 面试题
党员公开承诺践诺书
2014/03/25 职场文书
运动员入场前导词
2015/07/20 职场文书
Vue.js 带下拉选项的输入框(Textbox with Dropdown)组件
2021/04/17 Vue.js
springboot中rabbitmq实现消息可靠性机制详解
2021/09/25 Java/Android