一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
给Python初学者的一些编程技巧
Apr 03 Python
python中pass语句用法实例分析
Apr 30 Python
python 内置函数filter
Jun 01 Python
Python实现基于多线程、多用户的FTP服务器与客户端功能完整实例
Aug 18 Python
selenium python浏览器多窗口处理代码示例
Jan 15 Python
python实现计数排序与桶排序实例代码
Mar 28 Python
python装饰器简介---这一篇也许就够了(推荐)
Apr 01 Python
python使用参数对嵌套字典进行取值的方法
Apr 26 Python
基于python实现高速视频传输程序
May 05 Python
Python TCP通信客户端服务端代码实例
Nov 21 Python
Pycharm内置终端及远程SSH工具的使用教程图文详解
Mar 19 Python
详解python3类型注释annotations实用案例
Jan 20 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
Laravel自定义 封装便捷返回Json数据格式的引用方法
2019/09/29 PHP
JS Timing
2007/04/21 Javascript
js window.onload 加载多个函数的方法
2009/11/02 Javascript
javascript学习笔记(十五) js间歇调用和超时调用
2012/06/20 Javascript
使用JavaScript构建JSON格式字符串实现步骤
2013/03/22 Javascript
jQuery简易图片放大特效示例代码
2014/06/09 Javascript
jquery调取json数据实现省市级联的方法
2015/01/29 Javascript
jQuery实现根据类型自动显示和隐藏表单
2015/03/18 Javascript
JS+CSS实现自适应选项卡宽度的圆角滑动门效果
2015/09/15 Javascript
值得分享的Bootstrap Ace模板实现菜单和Tab页效果
2015/12/30 Javascript
在javascript中创建对象的各种模式解析
2016/05/16 Javascript
jQuery插件HighCharts实现2D柱状图、折线图的组合多轴图效果示例【附demo源码下载】
2017/03/09 Javascript
利用jQuery解析获取JSON数据
2017/04/08 jQuery
记录一次开发微信网页分享的步骤
2019/05/07 Javascript
element-ui 文件上传修改文件名的方法示例
2019/11/05 Javascript
vue修改Element的el-table样式的4种方法
2020/09/17 Javascript
React倒计时功能实现代码——解耦通用
2020/09/18 Javascript
原生JS实现拖拽功能
2020/12/16 Javascript
利用打码兔和超人打码自封装的打码类分享
2014/03/16 Python
在 Python 应用中使用 MongoDB的方法
2017/01/05 Python
python3+selenium自动化测试框架详解
2019/03/17 Python
pandas进行时间数据的转换和计算时间差并提取年月日
2019/07/06 Python
在django中图片上传的格式校验及大小方法
2019/07/28 Python
PyTorch 对应点相乘、矩阵相乘实例
2019/12/27 Python
详解Python 重学requests发起请求的基本方式
2020/02/07 Python
Python控制台实现交互式环境执行
2020/06/09 Python
波兰家居和花园家具专家:4Home
2019/05/26 全球购物
德国婴儿服装和婴儿用品购买网站:Baby Sweets
2019/12/08 全球购物
什么是封装
2013/03/26 面试题
施工班组长岗位职责
2014/01/05 职场文书
承办会议欢迎词
2014/01/17 职场文书
先进党支部事迹材料
2014/12/24 职场文书
在校学生证明格式
2015/06/24 职场文书
Python竟然能剪辑视频
2021/05/25 Python
关于CentOS 8 搭建MongoDB4.4分片集群的问题
2021/10/24 MongoDB
基于Python实现一个春节倒计时脚本
2022/01/22 Python