Python实现遍历数据库并获取key的值


Posted in Python onMay 17, 2015

遍历Redis数据库中有以格式为PREFIX_*的按照key-value方式存储的key,并打印其值.

遍历使用SCAN,因为KEYS PREFIX_*可能会造成Redis长时间阻塞。
查询使用pipeline减少交互,提高效率。

import redis
import hiredis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379, db=0)
r = redis.Redis(connection_pool=pool)

pipe = r.pipeline()
pipe_size = 100000

len = 0
key_list = []
for key in r.scan_iter(match='PREFIX_*', count=100000):
key_list.append(key)
pipe.get(key)
 if len < pipe_size:
 len += 1
else:
 for (k, v) in zip(key_list, pipe.execute()):
 print k, v
 len = 0
 key_list = []

for (k, v) in zip(key_list, pipe.execute()):
 print k, v

附上其他网页的代码,参考下吧

# filename itertaorfilefolder 
import os 
import os.path

filePath = raw_input('Enter filepath : ')

#遍历文件夹 
#三个参数:分别返回1.父目录 2.所有文件夹名字(不含路径) 3.所有文件名字 
for parent ,dirnames , filenames in os.walk(filePath): 
  #输出文件夹信息 
  for dirname in dirnames: 
    print 'parent is :'+parent 
    print 'dirname is '+ dirname 
  #输出文件信息 
  for filename in filenames : 
    print 'parent is :'+parent 
    print 'filename is :' + filename 
    #输出文件路径信息 
    currentPath = os.path.join(parent,filename) 
    print 'the fulll name of the file is :'+ currentPath 
    filesize = os.path.getsize(currentPath)/1024/1024 
    print 'the file size is : %.3f MB' %(filesize) 
    #删除大于50m的文件 
    if filesize > 50: 
      delete = raw_input(' are you sure to delete ?') 
      if delete == 'yes': 
        os.remove(currentPath)

以上所述就是本文的全部内容了,希望大家能够喜欢。

Python 相关文章推荐
在Python的Flask中使用WTForms表单框架的基础教程
Jun 07 Python
Python tornado队列示例-一个并发web爬虫代码分享
Jan 09 Python
djang常用查询SQL语句的使用代码
Feb 15 Python
Python3.4学习笔记之 idle 清屏扩展插件用法分析
Mar 01 Python
使用Python实现文字转语音并生成wav文件的例子
Aug 08 Python
python连接、操作mongodb数据库的方法实例详解
Sep 11 Python
python GUI库图形界面开发之PyQt5滑块条控件QSlider详细使用方法与实例
Feb 28 Python
基于Python爬虫采集天气网实时信息
Jun 05 Python
python实现马丁策略回测3000只股票的实例代码
Jan 22 Python
K近邻法(KNN)相关知识总结以及如何用python实现
Jan 28 Python
python利用proxybroker构建爬虫免费IP代理池的实现
Feb 21 Python
代码复现python目标检测yolo3详解预测
May 06 Python
Python对列表排序的方法实例分析
May 16 #Python
python中base64加密解密方法实例分析
May 16 #Python
python中threading超线程用法实例分析
May 16 #Python
python实现合并两个数组的方法
May 16 #Python
python简单实现基数排序算法
May 16 #Python
Python使用cx_Oracle模块将oracle中数据导出到csv文件的方法
May 16 #Python
python中循环语句while用法实例
May 16 #Python
You might like
深入PHP变量存储的详解
2013/06/13 PHP
php的array数组和使用实例简明教程(容易理解)
2014/03/20 PHP
php统计数组元素个数的方法
2015/07/02 PHP
PHP使用strtotime获取上个月、下个月、本月的日期
2015/12/30 PHP
php设计模式之原型模式分析【星际争霸游戏案例】
2020/03/23 PHP
jQuery 1.0.4 - New Wave Javascript(js源文件)
2007/01/15 Javascript
js实现的日期操作类DateTime函数代码
2010/03/16 Javascript
javascript 隔行换色函数代码
2010/10/24 Javascript
Javascript图像处理—平滑处理实现原理
2012/12/28 Javascript
从数据结构分析看:用for each...in 比 for...in 要快些
2013/04/17 Javascript
Jquery中LigerUi的弹出编辑框(实现方法)
2013/07/09 Javascript
clipboard.js无需Flash无需依赖任何JS库实现文本复制与剪切
2015/10/10 Javascript
AngularJS的ng-repeat指令与scope继承关系实例详解
2017/01/21 Javascript
JS实现汉字与Unicode码相互转换的方法详解
2017/04/28 Javascript
Angular中支持SCSS的方法
2017/11/18 Javascript
js+html5 canvas实现ps钢笔抠图
2019/04/28 Javascript
Vue项目实现换肤功能的一种方案分析
2019/08/28 Javascript
Node.js fs模块(文件模块)创建、删除目录(文件)读取写入文件流的方法
2019/09/03 Javascript
node运行js获得输出的三种方式示例详解
2020/07/02 Javascript
python实现web方式logview的方法
2015/08/10 Python
使用Python编写爬虫的基本模块及框架使用指南
2016/01/20 Python
Python实现上下班抢个顺风单脚本
2018/02/07 Python
Python3中的json模块使用详解
2018/05/05 Python
python3.5 email实现发送邮件功能
2018/05/22 Python
Sanic框架基于类的视图用法示例
2018/07/18 Python
Python爬虫小技巧之伪造随机的User-Agent
2018/09/13 Python
Windows系统下PhantomJS的安装和基本用法
2018/10/21 Python
解决pycharm工程启动卡住没反应的问题
2019/01/19 Python
PyQt Qt Designer工具的布局管理详解
2019/08/07 Python
基于python判断字符串括号是否闭合{}[]()
2020/09/21 Python
纯CSS3代码实现文字描边
2016/04/25 HTML / CSS
法国一家芭蕾舞鞋公司:Repetto
2018/11/12 全球购物
高中数学教学反思
2014/01/30 职场文书
本科毕业自我鉴定
2014/03/20 职场文书
法学专业毕业生求职信
2014/06/12 职场文书
教师党员群众路线教育实践活动心得体会
2014/11/04 职场文书