一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
Python中的Classes和Metaclasses详解
Apr 02 Python
python中OrderedDict的使用方法详解
May 05 Python
Java分治归并排序算法实例详解
Dec 12 Python
Python使用装饰器进行django开发实例代码
Feb 06 Python
python+ffmpeg视频并发直播压力测试
Mar 06 Python
python字符串与url编码的转换实例
May 10 Python
在python中利用最小二乘拟合二次抛物线函数的方法
Dec 29 Python
python读取并定位excel数据坐标系详解
Jun 26 Python
python图像处理模块Pillow的学习详解
Oct 09 Python
使用Pyhton集合set()实现成果查漏的例子
Nov 24 Python
如何在python中处理配置文件代码实例
Sep 27 Python
python opencv检测直线 cv2.HoughLinesP的实现
Jun 18 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
php文件操作实例代码
2012/05/10 PHP
php实现向javascript传递数组的方法
2015/07/27 PHP
删除重复数据的算法
2006/11/23 Javascript
JavaScript入门教程(3) js面向对象
2009/01/31 Javascript
理解JavaScript的caller,callee,call,apply
2009/04/28 Javascript
JQuery 选择器 xpath 语法应用
2010/05/13 Javascript
jQuery数据显示插件整合实现代码
2011/10/24 Javascript
JavaScript高级程序设计(第3版)学习笔记8 js函数(中)
2012/10/11 Javascript
javascript 保存文件到本地实现方法
2012/11/29 Javascript
jQuery学习笔记(2)--用jquery实现各种模态提示框代码及项目构架
2013/04/08 Javascript
js数值和和字符串进行转换时可以对不同进制进行操作
2014/03/05 Javascript
对比分析AngularJS中的$http.post与jQuery.post的区别
2015/02/27 Javascript
javascript背景时钟实现方法
2015/06/18 Javascript
使用jquery如何获取时间
2016/10/13 Javascript
搭建Bootstrap离线文档的方法
2016/12/02 Javascript
TableSort.js表格排序插件使用方法详解
2017/02/10 Javascript
node.js操作MongoDB的实例详解
2017/10/11 Javascript
浅谈vue-router2路由参数注意的问题
2017/11/08 Javascript
JavaScript实现的反序列化json字符串操作示例
2018/07/18 Javascript
vue源码中的检测方法的实现
2019/09/26 Javascript
在vue中使用Echarts利用watch做动态数据渲染操作
2020/07/20 Javascript
vue+iview实现分页及查询功能
2020/11/17 Vue.js
jQuery实现简单弹幕制作
2020/12/10 jQuery
Python 字典(Dictionary)操作详解
2014/03/11 Python
详解Python中类的定义与使用
2017/04/11 Python
python实现朴素贝叶斯分类器
2018/03/28 Python
TensorFlow的权值更新方法
2018/06/14 Python
python 机器学习之支持向量机非线性回归SVR模型
2019/06/26 Python
结合 CSS3 transition transform 实现简单的跑马灯效果的示例
2018/02/07 HTML / CSS
校长先进事迹材料
2014/02/01 职场文书
美术国培研修感言
2014/02/12 职场文书
机械加工与数控专业自荐书
2014/06/04 职场文书
2014年仓库工作总结
2014/11/20 职场文书
革命电影观后感
2015/06/18 职场文书
锦旗赠语
2015/06/23 职场文书
八年级地理课件资料及考点知识分享
2019/08/30 职场文书