python 域名分析工具实现代码


Posted in Python onJuly 15, 2009

代码如下:

import sys, urllib 
import datetime,time 
def getDate(): 
strday=datetime.datetime.now().__str__() 
strday=strday.split()[0] 
return strday 
#url = "http://www.kingnic.com/list/2009-06-16.txt" 
def getUrl(dateStr=None): 
baseUrl ="http://www.kingnic.com/list/" 
if dateStr: 
return baseUrl+dateStr+".txt" 
thisDate = getDate(); 
if not thisDate: 
print "Error Date!" 
return None; 
url = baseUrl+thisDate+".txt" 
return url 
def getSource(url): 
source = urllib.urlopen(url).read() 
return source def save(source,filename="domains.txt"): 
fp = open(filename,"w") 
fp.write(source) 
fp.close() 
return True; 
def loadList(fileName="domains.txt"): 
fp = open("domains.txt","r") 
source = fp.readlines() 
fp.close() 
return source; 
def getPrefix(domain): 
return domain.split('.')[0] 
def getPostfix(domain): 
return domain.split('.')[1] 
def hasMidLine(domain): 
if '-' in domain: 
return True 
else: 
return False 
def parser(domains): 
max =4 
min =0 
keyword =('sky','see','job') 
result=[] 
len_num =0; 
mid_line_num =0; 
for domain in domains: 
prefix = getPrefix(domain) 
postfix = getPostfix(domain) 
domainlen = len(prefix) 
if (domainlen < min) or (domainlen > max): 
len_num +=1 
continue 
if hasMidLine(prefix): 
mid_line_num +=1 
continue 
result.append(domain) 
print " log : \n" 
print "all: \t",len(domains) 
print "len not in [%s,%s] \t: %s"%(max,min,len_num) 
print "contain '-' :\t",mid_line_num 
print "remain:\t",len(result) 
return result; 
if __name__ == "__main__": 
url = getUrl() 
source = getSource(url) 
save(source) 
domains =loadList() 
result = parser(domains) 
save("".join(result),"result.txt") 
print("\n\n\nfinished!!")

输出文件:
domains.txt : kingnic.com 据当天释放的 域名;
result.txt    : 符合过滤条件的域名;
log输出:
all: 55500 
len not in [4,0] : 55019 
contain '-' : 32 
remain: 449 
finished!!

对 后缀、长度和有无“-”过滤,过滤条件有点少,其它以后如有需要再加。
Python 相关文章推荐
Python中处理unchecked未捕获异常实例
Jan 17 Python
python单例模式实例分析
Apr 08 Python
Python中Scrapy爬虫图片处理详解
Nov 29 Python
python kmeans聚类简单介绍和实现代码
Feb 23 Python
对python中raw_input()和input()的用法详解
Apr 22 Python
pyQT5 实现窗体之间传值的示例
Jun 20 Python
深入浅析python3中的unicode和bytes问题
Jul 03 Python
python基于TCP实现的文件下载器功能案例
Dec 10 Python
Python3的unicode编码转换成中文的问题及解决方案
Dec 10 Python
Python通过正则库爬取淘宝商品信息代码实例
Mar 02 Python
Python爬虫程序架构和运行流程原理解析
Mar 09 Python
在Anaconda3下使用清华镜像源安装TensorFlow(CPU版)
Apr 19 Python
python 自动提交和抓取网页
Jul 13 #Python
python self,cls,decorator的理解
Jul 13 #Python
python 解析html之BeautifulSoup
Jul 07 #Python
打印出python 当前全局变量和入口参数的所有属性
Jul 01 #Python
python 查找文件夹下所有文件 实现代码
Jul 01 #Python
python 运算符 供重载参考
Jun 11 #Python
python getopt 参数处理小示例
Jun 09 #Python
You might like
站长助手-网站web在线管理程序 v1.0 下载
2007/05/12 PHP
PHP中一些可以替代正则表达式函数的字符串操作函数
2014/11/17 PHP
PHP+mysql实现从数据库获取下拉树功能示例
2017/01/06 PHP
JavaScript中:表达式和语句的区别[译]
2012/09/17 Javascript
jquery的冒泡事件的阻止与允许(三种实现方法)
2013/02/01 Javascript
jquery div拖动效果示例代码
2013/12/08 Javascript
借助javascript代码判断网页是静态还是伪静态
2014/05/05 Javascript
JavaScript中扩展Array contains方法实例
2020/08/23 Javascript
JavaScript原生xmlHttp与jquery的ajax方法json数据格式实例
2015/12/04 Javascript
BootStrap3学习笔记(一)之网格系统
2016/05/20 Javascript
Bootstrap CSS组件之输入框组
2016/12/17 Javascript
AngularJS打开页面隐藏显示表达式用法示例
2016/12/25 Javascript
js鼠标经过tab选项卡时实现切换延迟
2017/03/24 Javascript
jQuery实现select下拉框获取当前选中文本、值、索引
2017/05/08 jQuery
浅谈js的解析顺序 作用域 严格模式
2017/10/23 Javascript
node文字生成图片的示例代码
2017/10/26 Javascript
前端vue-cli项目中使用img图片和background背景图的几种方法
2019/11/13 Javascript
vue-cli3.X快速创建项目的方法步骤
2019/11/14 Javascript
VUE+Element实现增删改查的示例源码
2020/11/23 Vue.js
[44:40]Spirit vs Navi Supermajor小组赛 A组败者组第一轮 BO3 第一场 6.2
2018/06/03 DOTA
Python多线程实例教程
2014/09/06 Python
Python内置函数之filter map reduce介绍
2014/11/30 Python
Python实现提取谷歌音乐搜索结果的方法
2015/07/10 Python
python f-string式格式化听语音流程讲解
2019/06/18 Python
python 爬虫 实现增量去重和定时爬取实例
2020/02/28 Python
Python脚本破解压缩文件口令实例教程(zipfile)
2020/06/14 Python
python实现模拟器爬取抖音评论数据的示例代码
2021/01/06 Python
美国最好的钓鱼、狩猎和划船装备商店:Bass Pro Shops
2018/12/02 全球购物
工程力学专业毕业生求职信
2013/10/06 职场文书
护士自我鉴定怎么写
2014/02/07 职场文书
学校献爱心活动总结
2014/07/08 职场文书
企业党员个人自我评价
2014/09/20 职场文书
防暑降温通知书
2015/04/27 职场文书
2016七夕情人节感言
2015/12/09 职场文书
2016入党培训心得体会范文
2016/01/08 职场文书
师德师风心得体会(2016精选篇)
2016/01/12 职场文书