一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
py中的目录与文件判别代码
Jul 16 Python
常见的python正则用法实例讲解
Jun 21 Python
python多进程实现进程间通信实例
Nov 24 Python
Python全局变量与局部变量区别及用法分析
Sep 03 Python
python2 与 pyhton3的输入语句写法小结
Sep 10 Python
详解Python requests 超时和重试的方法
Dec 18 Python
在Qt中正确的设置窗体的背景图片的几种方法总结
Jun 19 Python
Python学习笔记之迭代器和生成器用法实例详解
Aug 08 Python
OpenCV+Python--RGB转HSI的实现
Nov 27 Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 Python
浅谈tensorflow模型保存为pb的各种姿势
May 25 Python
python爬虫分布式获取数据的实例方法
Nov 26 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
CI(CodeIgniter)框架中的增删改查操作
2014/06/10 PHP
php生成xml时添加CDATA标签的方法
2014/10/17 PHP
PHP SplObjectStorage使用实例
2015/05/12 PHP
Prototype ObjectRange对象学习
2009/07/19 Javascript
javascript级联下拉列表实例代码(自写)
2013/05/10 Javascript
jquery队列queue与原生模仿其实现方法分享
2014/03/25 Javascript
jQuery中:last-child选择器用法实例
2014/12/31 Javascript
js CSS3实现卡牌旋转切换效果
2017/07/04 Javascript
浅谈JS中的反柯里化( uncurrying)
2017/08/17 Javascript
echarts学习笔记之图表自适应问题详解
2017/11/22 Javascript
zTree节点文字过多的处理方法
2017/11/24 Javascript
解决Layui 表格自适应高度的问题
2019/11/15 Javascript
[02:47]2018年度DOTA2最佳辅助位选手4号位-完美盛典
2018/12/17 DOTA
[44:40]KG vs LGD 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
python实现给字典添加条目的方法
2014/09/25 Python
django+mysql的使用示例
2018/11/23 Python
python画双y轴图像的示例代码
2019/07/07 Python
python实现将文件夹内的每张图片批量分割成多张
2019/07/22 Python
Python对列表的操作知识点详解
2019/08/20 Python
Tensorflow 1.0之后模型文件、权重数值的读取方式
2020/02/12 Python
快速解释如何使用pandas的inplace参数的使用
2020/07/23 Python
python tkinter实现连连看游戏
2020/11/16 Python
世界上最伟大的马产品:Equiderma
2020/01/07 全球购物
LINUX下线程,GDI类的解释
2016/12/14 面试题
Java如何获得ResultSet的总行数
2016/09/03 面试题
超市实习总结自我鉴定
2013/09/19 职场文书
工作自我评价分享
2013/12/01 职场文书
饮料业务员岗位职责
2013/12/15 职场文书
物业管理计划书
2014/01/10 职场文书
秘书英文求职信范文
2014/01/31 职场文书
企业消防安全责任书
2014/07/23 职场文书
义务教育学校标准化建设汇报材料
2014/08/16 职场文书
文明单位申报材料
2014/12/23 职场文书
人事任命通知书
2015/04/21 职场文书
JavaScript 去重和重复次数统计
2021/03/31 Javascript
超外差式晶体管收音机的组装与统调
2021/04/22 无线电