python使用心得之获得github代码库列表


Posted in Python onJune 25, 2014

1.背景

项目需求,要求获得github的repo的api,以便可以提取repo的数据进行分析。研究了一天,终于解决了这个问题,虽然效率还是比较低下。

因为github的那个显示repo的api,列出了每个repo的详细信息,而且是json格式的。现在貌似还没有找到可以分析多个json格式数据的方法,所以用的是比较蠢得splite加re的方法。如果大家有更好的方法,不发留言讨论!

2.代码

import re
import os

def GetUrl(num):
 str = os.popen("curl -G https://api.github.com/repositories?since=%d"%(num)).read()
 pattern = '"url"'
 pattern1='repos'
 urls=str.split(',\n')  
 for i in urls:
  if pattern in i and pattern1 in i:   
#  text1=i.splite(':')
  text=re.compile('"(.*?)"').findall(i)[1]
  print text
if __name__=='__main__':
 GetUrl(1000)

    其中num的值指的是页面的id,我们可以做一个循环,不断增大num的值,就可以无限提取repo。因为github的api对于流量是有限制的,所以这么做是一个可行的方法。

效果如下(提取下来的repo的api地址):

https://api.github.com/repos/wycats/merb-core

https://api.github.com/repos/rubinius/rubinius

https://api.github.com/repos/mojombo/god

https://api.github.com/repos/vanpelt/jsawesome

https://api.github.com/repos/wycats/jspec

https://api.github.com/repos/defunkt/exception_logger

https://api.github.com/repos/defunkt/ambition

https://api.github.com/repos/technoweenie/restful-authentication

https://api.github.com/repos/technoweenie/attachment_fu

https://api.github.com/repos/topfunky/bong

https://api.github.com/repos/Caged/microsis

https://api.github.com/repos/anotherjesse/s3

https://api.github.com/repos/anotherjesse/taboo

https://api.github.com/repos/anotherjesse/foxtracs

https://api.github.com/repos/anotherjesse/fotomatic

https://api.github.com/repos/mojombo/glowstick

https://api.github.com/repos/defunkt/starling

https://api.github.com/repos/wycats/merb-more

https://api.github.com/repos/macournoyer/thin

https://api.github.com/repos/jamesgolick/resource_controller

https://api.github.com/repos/jamesgolick/markaby

https://api.github.com/repos/jamesgolick/enum_field

https://api.github.com/repos/defunkt/subtlety

https://api.github.com/repos/defunkt/zippy

https://api.github.com/repos/defunkt/cache_fu

https://api.github.com/repos/KirinDave/phosphor

Python 相关文章推荐
python实现360的字符显示界面
Feb 21 Python
python使用cookielib库示例分享
Mar 03 Python
pycharm 使用心得(八)如何调用另一文件中的函数
Jun 06 Python
python实现简单ftp客户端的方法
Jun 28 Python
Python脚本实现Web漏洞扫描工具
Oct 25 Python
Python 对象中的数据类型
May 13 Python
Python实现选择排序
Jun 04 Python
python版opencv摄像头人脸实时检测方法
Aug 03 Python
Python定义函数功能与用法实例详解
Apr 08 Python
用django-allauth实现第三方登录的示例代码
Jun 24 Python
Python 类方法和实例方法(@classmethod),静态方法(@staticmethod)原理与用法分析
Sep 20 Python
python如何写个俄罗斯方块
Nov 06 Python
在Python中使用异步Socket编程性能测试
Jun 25 #Python
Python开发的单词频率统计工具wordsworth使用方法
Jun 25 #Python
python 字典(dict)遍历的四种方法性能测试报告
Jun 25 #Python
用python登录Dr.com思路以及代码分享
Jun 25 #Python
python正则表达式re模块详解
Jun 25 #Python
Python通过websocket与js客户端通信示例分析
Jun 25 #Python
Flask框架学习笔记(一)安装篇(windows安装与centos安装)
Jun 25 #Python
You might like
PHP中$_SERVER使用说明
2015/07/05 PHP
php开发工具有哪五款
2015/11/09 PHP
利用Fix Rss Feeds插件修复WordPress的Feed显示错误
2015/12/19 PHP
PHP让网站移动访问更加友好方法
2019/02/14 PHP
php使用scandir()函数扫描指定目录下所有文件示例
2019/06/08 PHP
laravel-admin自动生成模块,及相关基础配置方法
2019/10/08 PHP
jQuery timers计时器简单应用说明
2010/10/28 Javascript
jQuery实现带滑动条的菜单效果代码
2015/08/26 Javascript
JavaScript实现的简单烟花特效代码
2015/10/20 Javascript
学习JavaScript设计模式(链式调用)
2015/11/26 Javascript
深入理解Angularjs向指令传递数据双向绑定机制
2016/12/31 Javascript
jquery实现多次上传同一张图片
2017/01/09 Javascript
jQuery页面弹出框实现文件上传
2017/02/09 Javascript
常用的几个JQuery代码片段
2017/03/13 Javascript
Vue input控件通过value绑定动态属性及修饰符的方法
2017/05/03 Javascript
JavaScript贪吃蛇小组件实例代码
2017/08/20 Javascript
详谈Vue.js框架下main.js,App.vue,page/index.vue之间的区别
2020/08/12 Javascript
js实现简单图片拖拽效果
2021/02/22 Javascript
[00:23]魔方之谜解锁款式
2018/12/20 DOTA
python通过wxPython打开一个音频文件并播放的方法
2015/03/25 Python
python获取当前时间对应unix时间戳的方法
2015/05/15 Python
django站点管理详解
2017/12/12 Python
python使用mysql的两种使用方式
2018/03/07 Python
python实现排序算法解析
2018/09/08 Python
python根据url地址下载小文件的实例
2018/12/18 Python
python使用tomorrow实现多线程的例子
2019/07/20 Python
python画微信表情符的实例代码
2019/10/09 Python
python tkinter实现连连看游戏
2020/11/16 Python
Python项目打包成二进制的方法
2020/12/30 Python
国家励志奖学金获奖感言
2014/01/09 职场文书
三年级数学教学反思
2014/01/31 职场文书
走进敬老院活动总结
2014/07/10 职场文书
离婚协议书范本(2014版)
2014/09/28 职场文书
酒店保洁员岗位职责
2015/02/26 职场文书
会计岗位工作总结
2015/08/12 职场文书
小学校园广播稿
2015/08/18 职场文书