一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
Python中return语句用法实例分析
Aug 04 Python
详解Python编程中对Monkey Patch猴子补丁开发方式的运用
May 27 Python
Python的Flask框架及Nginx实现静态文件访问限制功能
Jun 27 Python
详解Python中for循环是如何工作的
Jun 30 Python
pandas object格式转float64格式的方法
Apr 10 Python
Tensorflow 同时载入多个模型的实例讲解
Jul 27 Python
通过selenium抓取某东的TT购买记录并分析趋势过程解析
Aug 15 Python
docker django无法访问redis容器的解决方法
Aug 21 Python
Tensorflow 1.0之后模型文件、权重数值的读取方式
Feb 12 Python
Python图片处理模块PIL操作方法(pillow)
Apr 07 Python
无惧面试,带你搞懂python 装饰器
Aug 17 Python
TensorFlow的自动求导原理分析
May 26 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
PHP+jQuery实现自动补全功能源码
2013/05/15 PHP
PHP7之Mongodb API使用详解
2015/12/26 PHP
PHP的介绍以及优势详细分析
2019/09/05 PHP
php使用yield对性能提升的测试实例分析
2019/09/19 PHP
showModelessDialog()使用详解
2006/09/21 Javascript
javascript Select标记中options操作方法集合
2008/10/22 Javascript
Document对象内容集合(比较全)
2010/09/06 Javascript
15个款优秀的 jQuery 图片特效插件推荐
2011/11/21 Javascript
parentElement,srcElement的使用小结
2014/01/13 Javascript
jQuery实现切换字体大小的方法
2015/03/10 Javascript
BootStrap的JS插件之轮播效果案例详解
2016/05/16 Javascript
深入理解jQuery事件绑定
2016/06/02 Javascript
原生js封装的一些jquery方法(详解)
2016/09/20 Javascript
js querySelector() 使用方法
2016/12/21 Javascript
vue.js+Echarts开发图表放大缩小功能实例
2017/06/09 Javascript
jQuery.Form实现Ajax上传文件同时设置headers的方法
2017/06/26 jQuery
浅谈Vue 性能优化之深挖数组
2018/12/11 Javascript
详解如何使用nvm管理Node.js多版本
2019/05/06 Javascript
[15:28]DOTA2 HEROS教学视频教你分分钟做大人-剧毒术士
2014/06/13 DOTA
pyqt4教程之实现windows窗口小示例分享
2014/03/07 Python
收集的几个Python小技巧分享
2014/11/22 Python
python机器学习实战之最近邻kNN分类器
2017/12/20 Python
python实现微信远程控制电脑
2018/02/22 Python
python的dataframe和matrix的互换方法
2018/04/11 Python
python 重定向获取真实url的方法
2018/05/11 Python
CSS3 网页下拉菜单代码解释 中文翻译
2010/02/27 HTML / CSS
美国最大的网上冲印店:Shutterfly
2017/01/01 全球购物
StudentUniverse英国:学生航班、酒店和旅游
2019/08/25 全球购物
办公自动化专业大学生职业规划书
2014/03/06 职场文书
社区志愿者活动总结
2014/06/26 职场文书
孝敬父母的活动方案
2014/08/28 职场文书
2014年乡镇领导个人整改措施
2014/09/19 职场文书
城管执法人员个人对照检查材料思想汇报
2014/09/29 职场文书
党员干部公开承诺书范文
2015/04/27 职场文书
2016公司中秋节寄语
2015/12/07 职场文书
Spring Boot 排除某个类加载注入IOC的操作
2021/08/02 Java/Android