一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
Python中强大的命令行库click入门教程
Dec 26 Python
Python 内置函数memoryview(obj)的具体用法
Nov 23 Python
python如何在循环引用中管理内存
Mar 20 Python
Python简单实现两个任意字符串乘积的方法示例
Apr 12 Python
python3+dlib实现人脸识别和情绪分析
Apr 21 Python
浅析python中numpy包中的argsort函数的使用
Aug 30 Python
python sort、sort_index方法代码实例
Mar 28 Python
解决pyshp UnicodeDecodeError的问题
Dec 06 Python
Python3直接爬取图片URL并保存示例
Dec 18 Python
tensorflow之tf.record实现存浮点数数组
Feb 17 Python
基于打开pycharm有带图片md文件卡死问题的解决
Apr 24 Python
解决tensorflow模型压缩的问题_踩坑无数,总算搞定
Mar 02 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
php筛选不存在的图片资源
2015/04/28 PHP
php数字运算验证码的实现代码
2015/07/30 PHP
thinkPHP5.0框架引入Traits功能实例分析
2017/03/18 PHP
php unlink()函数使用教程
2018/07/12 PHP
thinkphp5框架扩展redis类方法示例
2019/05/06 PHP
JavaScript高级程序设计 扩展--关于动态原型
2010/11/09 Javascript
javascript 使用 NodeList需要注意的问题
2013/03/04 Javascript
javascript 获取iframe里页面中元素值的方法
2014/02/17 Javascript
JS获取文本框,下拉框,单选框的值的简单实例
2014/02/26 Javascript
js实现文本框中焦点在最后位置
2014/03/04 Javascript
javascript事件绑定学习要点
2016/03/09 Javascript
基于JavaScript实现带缩略图的轮播效果
2017/01/12 Javascript
JavaScript数据类型和变量_动力节点Java学院整理
2017/06/26 Javascript
angularjs select 赋值 ng-options配置方法
2018/02/28 Javascript
从零开始实现Vue简单的Toast插件
2018/12/03 Javascript
vue flex 布局实现div均分自动换行的示例代码
2020/08/05 Javascript
python调用java的Webservice示例
2014/03/10 Python
Python之日期与时间处理模块(date和datetime)
2017/02/16 Python
python中使用正则表达式的连接符示例代码
2017/10/10 Python
python版微信跳一跳游戏辅助
2018/01/11 Python
python如何给字典的键对应的值为字典项的字典赋值
2019/07/05 Python
Python无损压缩图片的示例代码
2020/08/06 Python
Python类class参数self原理解析
2020/11/19 Python
The Kooples美国官方网站:为情侣提供的法国当代时尚品牌
2019/01/03 全球购物
可爱的童装和鞋子:Fabkids
2019/08/16 全球购物
高中军训第一天感言
2014/03/06 职场文书
三年级学生评语
2014/04/23 职场文书
高三霸气励志标语
2014/06/24 职场文书
2014年网络管理员工作总结
2014/12/01 职场文书
死者家属慰问信
2015/03/24 职场文书
行政人事专员岗位职责
2015/04/07 职场文书
防汛通知
2015/04/25 职场文书
老公出轨后的保证书
2015/05/08 职场文书
2016中学教师读书心得体会
2016/01/13 职场文书
一文搞懂php的垃圾回收机制
2021/06/18 PHP
Win10服务主机占用内存怎么办?Win10服务主机进程占用大量内存解决方法
2022/09/23 数码科技