一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
Python中dictionary items()系列函数的用法实例
Aug 21 Python
在Python的Flask框架下收发电子邮件的教程
Apr 21 Python
使用Python脚本来获取Cisco设备信息的示例
May 04 Python
Python实现删除当前目录下除当前脚本以外的文件和文件夹实例
Jul 27 Python
Python实现二分查找与bisect模块详解
Jan 13 Python
使用python语言,比较两个字符串是否相同的实例
Jun 29 Python
python 中字典嵌套列表的方法
Jul 03 Python
基于python使用tibco ems代码实例
Dec 20 Python
利用Python代码实现一键抠背景功能
Dec 29 Python
python GUI库图形界面开发之PyQt5窗口类QMainWindow详细使用方法
Feb 26 Python
python调用win32接口进行截图的示例
Nov 11 Python
Python jiaba库的使用详解
Nov 23 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
PHP的FTP学习(二)[转自奥索]
2006/10/09 PHP
PHP下用rmdir实现删除目录的三种方法小结
2008/04/20 PHP
php实现按指定大小等比缩放生成上传图片缩略图的方法
2014/12/15 PHP
PHP制作百度词典查词采集器
2015/01/29 PHP
Yii2中设置与获取别名的函数(setAlias和getAlias)用法分析
2016/07/25 PHP
ThinkPHP框架整合微信支付之Native 扫码支付模式一图文详解
2019/04/09 PHP
Laravel 5.5 异常处理 &amp; 错误日志的解决
2019/10/17 PHP
使用jscript实现二进制读写脚本代码
2008/06/09 Javascript
UI Events 用户界面事件
2012/06/27 Javascript
图片轮换效果实现代码(点击按钮停止执行)
2013/04/12 Javascript
js实现文字跟随鼠标移动而移动的方法
2015/02/28 Javascript
javascript实现控制浏览器全屏
2015/03/30 Javascript
利用Angularjs和bootstrap实现购物车功能
2016/08/31 Javascript
JavaScript中cookie工具函数封装的示例代码
2016/10/11 Javascript
javascript基本常用排序算法解析
2017/09/27 Javascript
vue-cli3使用 DllPlugin 实现预编译提升构建速度
2019/04/24 Javascript
从零撸一个pc端vue的ui组件库( 计数器组件 )
2019/08/08 Javascript
element中table高度自适应的实现
2020/10/21 Javascript
[01:05:41]EG vs Optic Supermajor 败者组 BO3 第二场 6.6
2018/06/07 DOTA
[01:22:29]真视界:2019年国际邀请赛总决赛
2020/01/29 DOTA
python实现生命游戏的示例代码(Game of Life)
2018/01/24 Python
一篇文章带你学习CSS3图片边框
2020/11/04 HTML / CSS
html5时钟实现代码
2010/10/22 HTML / CSS
html5 css3实例教程 一款html5和css3实现的小机器人走路动画
2014/10/20 HTML / CSS
HTML5 客户端数据库简易使用:IndexedDB
2019/12/19 HTML / CSS
德国低价购买灯具和家具网站:Style-home.de
2016/11/25 全球购物
shell程序中如何注释
2012/02/17 面试题
医院总经理职责
2013/12/26 职场文书
一年级数学教学反思
2014/02/01 职场文书
计算机学生的自我评价分享
2014/02/18 职场文书
初中高效课堂实施方案
2014/02/26 职场文书
石油工程专业毕业生求职信
2014/04/13 职场文书
财务部会计岗位职责
2015/02/03 职场文书
忠诚与背叛观后感
2015/06/04 职场文书
php去除数组中为0的元素的实例分析
2021/11/17 PHP
利用Redis实现点赞功能的示例代码
2022/06/28 Redis