一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
Python 深入理解yield
Sep 06 Python
python计算对角线有理函数插值的方法
May 07 Python
详解Python编程中包的概念与管理
Oct 16 Python
Python标准库sched模块使用指南
Jul 06 Python
利用Tkinter和matplotlib两种方式画饼状图的实例
Nov 06 Python
Selenium定位元素操作示例
Aug 10 Python
python实现在遍历列表时,直接对dict元素增加字段的方法
Jan 15 Python
Django外键(ForeignKey)操作以及related_name的作用详解
Jul 29 Python
用Python调用win命令行提高工作效率的实例
Aug 14 Python
django 简单实现登录验证给你
Nov 06 Python
Python倒排索引之查找包含某主题或单词的文件
Nov 13 Python
详解pyqt5的UI中嵌入matplotlib图形并实时刷新(挖坑和填坑)
Aug 07 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
在PHP里得到前天和昨天的日期的代码
2007/08/16 PHP
PHP 基于Yii框架中使用smarty模板的方法详解
2013/06/13 PHP
PHP向浏览器输出内容的4个函数总结
2014/11/17 PHP
PHP的AES加密算法完整实例
2016/07/20 PHP
PHP实现类似于C语言的文件读取及解析功能
2017/09/01 PHP
JavaScript制作的可折叠弹出式菜单示例
2014/04/04 Javascript
jquery解析json格式数据的方法(对象、字符串)
2015/11/24 Javascript
深入学习JavaScript的AngularJS框架中指令的使用方法
2016/03/05 Javascript
jQuery 中ajax异步调用的四种方式
2016/06/28 Javascript
JS实现六边形3D拖拽翻转效果的方法
2016/09/11 Javascript
JavaScript实现使用Canvas绘制图形的基本教程
2016/10/27 Javascript
使用smartupload组件实现jsp+jdbc上传下载文件实例解析
2017/01/05 Javascript
纯js的右下角弹窗实例
2017/03/12 Javascript
推荐三款不错的图片压缩上传插件(webuploader、localResizeIMG4、LUploader)
2017/04/21 Javascript
js实现数组内数据的上移和下移的实例
2017/11/14 Javascript
vue插件开发之使用pdf.js实现手机端在线预览pdf文档的方法
2018/07/12 Javascript
Vue.js组件props数据验证实现详解
2019/10/19 Javascript
python网络编程之TCP通信实例和socketserver框架使用例子
2014/04/25 Python
Python中的index()方法使用教程
2015/05/18 Python
Python常用的内置序列结构(列表、元组、字典)学习笔记
2016/07/08 Python
Python构建XML树结构的方法示例
2017/06/30 Python
在python win系统下 打开TXT文件的实例
2018/04/29 Python
python实现图片批量压缩程序
2018/07/23 Python
Python实现平行坐标图的绘制(plotly)方式
2019/11/22 Python
解决Python二维数组赋值问题
2019/11/28 Python
python调用百度AI接口实现人流量统计
2021/02/03 Python
使用canvas实现黑客帝国数字雨效果
2020/01/02 HTML / CSS
Python面试题:Python里面如何生成随机数
2015/03/12 面试题
Laravel中Kafka的使用详解
2021/03/24 PHP
医药专业推荐信
2013/11/15 职场文书
《油菜花开了》教学反思
2014/02/22 职场文书
《落花生》教学反思
2014/02/25 职场文书
任命书模板
2014/06/04 职场文书
主题党日活动总结
2014/07/08 职场文书
人力资源管理专业求职信
2014/07/23 职场文书
社保委托书怎么写
2014/08/02 职场文书