Python实现一个转存纯真IP数据库的脚本分享


Posted in Python onMay 21, 2017

前言

之前写过很多关于扫描脚本的文章,一直都没写自己的扫描IP段是哪里搞来的,也会有朋友经常来问一些扫描经验,说实话我觉得这个工具并没有实际的技术含量,但是能提高工作效率,就共享出来给大家耍耍~

谈到扫描经验,我个人通常都会针对不同的设备,不同的应用选择不同类型的段。

比如我现在扫描的目标是一款电信光猫,那自然是选择电信的IP段,光猫一般是家庭用户,我们筛选下家庭用户的活跃IP段,这样我们就有针对性了。

再比如我现在想扫一款企业路由设备,那么我就可以选择企业公司多的段。

纯真IP真心是个不错的工具,我通常用来检索某个地区的IP段,但是这个工具有个非常致命的缺点,就是不能联合查询,这就令人非常蛋疼了,而且这玩意每次用都要切换到win下面操作,对于我这种Linux党来说自然是无法忍,索性写个把纯真IP转存到mysql数据库的脚本,这样不用每次查询都去win下面,还可以直接部署到远程,查询方便了很多,最主要的还是支持多条件查询。

需求

Python写这个脚本技术上难度不大,主要还是用到了MySQLdb库,关于MySQLdb库的安装就不多说了,博客之前有写相关的文章。这里咱们需要先分析下纯真IP数据库的数据文件结构,发现其实每一行的结构都是固定的,那么写起来就简单了。

编码这块我就不详细说了,简单几个方法就能轻松实现,贴出来代码

#!/usr/bin/env python
# coding=utf-8
# kbdancer@92ez.com

import MySQLdb
import sys

reload(sys)
sys.setdefaultencoding('utf8')


def save_data_to_mysql(mysql_object, ip_line):
 try:
  begin = ip_line[0:16].replace(' ', '')
  end = ip_line[16:32].replace(' ', '')
  try:
   location = line[32:].split(' ')[0]
  except:
   location = ''
  try:
   isp_type = line[32:].replace(' ', ' ').split(' ')[1].replace('\n', '').replace('\r', '')
  except:
   isp_type = ''

  this_line_value = [begin + "-" + end, location, isp_type]
  do_insert(mysql_object, this_line_value)
 except Exception, e:
  print e


def do_insert(mysql_object, row_data):
 try:
  insert_sql = """INSERT INTO `ipdb` (`iprange`,`location`, `type`) VALUES ( %s, %s, %s )"""
  mysql_object.insert(insert_sql, row_data)
 except Exception, e:
  print row_data
  print e


class Database:
 host = 'localhost'
 user = 'ipdb'
 password = '3u9whrpcEUBTnNNn'
 db = 'ipinfo'
 charset = 'utf8'

 def __init__(self):
  self.connection = MySQLdb.connect(self.host, self.user, self.password, self.db, charset=self.charset)
  self.cursor = self.connection.cursor()

 def insert(self, query, params):
  try:
   self.cursor.execute(query, params)
   self.connection.commit()
  except Exception, e:
   print e
   self.connection.rollback()

 def query(self, query, params):
  cursor = self.connection.cursor(MySQLdb.cursors.DictCursor)
  cursor.execute(query, params)
  return cursor.fetchall()

 def __del__(self):
  self.connection.close()


if __name__ == '__main__':
 mysql = Database()
 ip_file = open(sys.path[0] + "/ip.txt")
 print 'Start save to mysql ...'
 for line in ip_file:
  save_data_to_mysql(mysql, line)
 ip_file.close()
 print 'Save complete.'

注意

这里存在一个性能问题,就是遍历所有数据的时候需要进行插入数据库的操作,单行插入的效率是非常低的,建议使用多行插入,比如说写个缓存数组,当缓存数组达到规定的条数,比如达到100条的时候,一次性把100条存入到数据库,这个速度比单条存入要快得多。博主我在这里就挖个坑,希望使用脚本的朋友能自己修改,改起来也不难。

由于纯真IP数据库导出的txt文件并不是标准的无BOM UTF8编码,直接解析肯定是失败的,建议使用Notepad++先转码一下

效果

原始数据

Python实现一个转存纯真IP数据库的脚本分享

转存之后的数据

Python实现一个转存纯真IP数据库的脚本分享

使用

首先需要导出纯真ip数据库为txt文档,这里我导出为ip.txt

然后放到Py脚本同一目录

对了,首先你还得有mysql数据库

然后导入数据库结构,就是那个sql文件

接着你还得修改脚本里面的mysql连接密码等

最后执行Py脚本就好了

说明

所有代码都托管在Github

地址 https://github.com/kbdancer/myTools/tree/master/czip2mysql

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python模块学习 datetime介绍
Aug 27 Python
Python天气预报采集器实现代码(网页爬虫)
Oct 07 Python
Python使用代理抓取网站图片(多线程)
Mar 14 Python
Python通过for循环理解迭代器和生成器实例详解
Feb 16 Python
详解PyTorch中Tensor的高阶操作
Aug 18 Python
Python通过递归获取目录下指定文件代码实例
Nov 07 Python
Python任务自动化工具tox使用教程
Mar 17 Python
详解python with 上下文管理器
Sep 02 Python
使用Python操作MySQL的小技巧
Sep 10 Python
python 利用panda 实现列联表(交叉表)
Feb 06 Python
k-means & DBSCAN 总结
Apr 27 Python
Python 一键获取电脑浏览器的账号密码
May 11 Python
Python学习小技巧之利用字典的默认行为
May 20 #Python
Python学习小技巧之列表项的排序
May 20 #Python
Python学习小技巧之列表项的推导式与过滤操作
May 20 #Python
Python yield 使用方法浅析
May 20 #Python
Python学习小技巧之列表项的拼接
May 20 #Python
Django验证码的生成与使用示例
May 20 #Python
Linux RedHat下安装Python2.7开发环境
May 20 #Python
You might like
Views rows style模板重写代码
2011/05/16 PHP
php 日期和时间的处理-郑阿奇(续)
2011/07/04 PHP
yii框架无限极分类的实现方法
2017/04/08 PHP
PHP实现的贪婪算法实例
2017/10/17 PHP
Javascript 面向对象 命名空间
2010/05/13 Javascript
JQuery操作三大控件(下拉,单选,复选)的方法
2013/08/06 Javascript
浅谈JS中String()与 .toString()的区别
2016/10/20 Javascript
react-router实现跳转传值的方法示例
2017/05/27 Javascript
JavaScript实现简单生成随机颜色的方法
2017/09/21 Javascript
使用vue的transition完成滑动过渡的示例代码
2018/06/25 Javascript
JavaScript设计模式之职责链模式应用示例
2018/08/07 Javascript
原生JS实现图片懒加载之页面性能优化
2019/04/26 Javascript
JS中作用域以及变量范围分析
2020/07/18 Javascript
JS addEventListener()和attachEvent()方法实现注册事件
2021/01/11 Javascript
[00:53]TI3正赛第三天 DK怒破A队不败金身 现场国旗飘扬热血激昂
2013/08/10 DOTA
[36:43]NB vs Optic 2018国际邀请赛小组赛BO1 B组加赛 8.19
2018/08/21 DOTA
python正则表达式中的括号匹配问题
2014/12/14 Python
Python 中开发pattern的string模板(template) 实例详解
2017/04/01 Python
Python使用plotly绘制数据图表的方法
2017/07/18 Python
Python 列表理解及使用方法
2017/10/27 Python
python实现数据写入excel表格
2018/03/25 Python
python中的数据结构比较
2019/05/13 Python
Python中一个for循环循环多个变量的示例
2019/07/16 Python
对python中基于tcp协议的通信(数据传输)实例讲解
2019/07/22 Python
在Python中等距取出一个数组其中n个数的实现方式
2019/11/27 Python
怎么快速自学python
2020/06/22 Python
简述 Python 的类和对象
2020/08/21 Python
python调用百度AI接口实现人流量统计
2021/02/03 Python
利用Python批量识别电子账单数据的方法
2021/02/08 Python
HTML5播放实现rtmp流直播
2020/06/16 HTML / CSS
C#如何允许一个类被继承但是避免这个类的方法被重载?
2015/02/24 面试题
车祸赔偿收入证明
2014/01/09 职场文书
保护环境倡议书
2014/04/14 职场文书
教师学习中国梦心得体会
2016/01/05 职场文书
解决Golang中goroutine执行速度的问题
2021/05/02 Golang
让文件路径提取变得更简单的Python Path库
2021/05/27 Python