一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
django请求返回不同的类型图片json,xml,html的实例
May 22 Python
利用python实现对web服务器的目录探测的方法
Feb 26 Python
浅谈Python中函数的定义及其调用方法
Jul 19 Python
Flask教程之重定向与错误处理实例分析
Aug 01 Python
Django 对IP访问频率进行限制的例子
Aug 30 Python
Python 函数用法简单示例【定义、参数、返回值、函数嵌套】
Sep 20 Python
python Plotly绘图工具的简单使用
Mar 03 Python
python使用paramiko实现ssh的功能详解
Mar 06 Python
解决python Jupyter不能导入外部包问题
Apr 15 Python
python调用有道智云API实现文件批量翻译
Oct 10 Python
基于Python的图像阈值化分割(迭代法)
Nov 20 Python
python3定位并识别图片验证码实现自动登录功能
Jan 29 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
php Static关键字实用方法
2010/06/04 PHP
PHP中对用户身份认证实现两种方法
2011/06/04 PHP
Yii框架调试心得--在页面输出执行sql语句
2014/12/25 PHP
php+ajax实现无刷新的新闻留言系统
2020/12/21 PHP
javascript跨域原因以及解决方案分享
2015/04/08 Javascript
js 求时间差的实现代码
2016/04/26 Javascript
javascript之Array 数组对象详解
2016/06/07 Javascript
解决vue 按钮多次点击重复提交数据问题
2018/05/10 Javascript
js实现ajax的用户简单登入功能
2020/06/18 Javascript
浅谈JavaScript节流和防抖函数
2020/08/25 Javascript
[13:18]《一刀刀一天》之DOTA全时刻21:详解TI新赛制 A队再露獠牙
2014/06/24 DOTA
[01:32:22]DOTA2-DPC中国联赛 正赛 Ehome vs VG BO3 第一场 2月5日
2021/03/11 DOTA
pycharm 使用心得(一)安装和首次使用
2014/06/05 Python
python基于windows平台锁定键盘输入的方法
2015/03/05 Python
Python制作Windows系统服务
2017/03/25 Python
Python实现Linux的find命令实例分享
2017/06/04 Python
python模块之time模块(实例讲解)
2017/09/13 Python
Python连接phoenix的方法示例
2017/09/29 Python
python实现感知器算法详解
2017/12/19 Python
Python实现破解12306图片验证码的方法分析
2017/12/29 Python
Python内置模块logging用法实例分析
2018/02/12 Python
Python实现的远程登录windows系统功能示例
2018/06/21 Python
numpy.random.shuffle打乱顺序函数的实现
2019/09/10 Python
Django中使用MySQL5.5的教程
2019/12/18 Python
python获取栅格点和面值的实现
2020/03/10 Python
python关于倒排列的知识点总结
2020/10/13 Python
英国现代家具和装饰网站:PN Home
2018/08/16 全球购物
西班牙最大的婴儿用品网上商店:Bebitus
2019/05/30 全球购物
外企C语言笔试题
2013/11/10 面试题
挑战杯创业计划书的写作指南
2014/01/07 职场文书
宣传活动总结范文
2014/07/01 职场文书
乡镇消防安全责任书
2014/07/23 职场文书
司机岗位职责说明书
2014/07/29 职场文书
公务员上班玩游戏检讨书
2014/09/17 职场文书
朋友聚会开场白
2015/06/01 职场文书
vue项目配置sass及引入外部scss文件
2022/04/14 Vue.js