Python实现一个转存纯真IP数据库的脚本分享


Posted in Python onMay 21, 2017

前言

之前写过很多关于扫描脚本的文章,一直都没写自己的扫描IP段是哪里搞来的,也会有朋友经常来问一些扫描经验,说实话我觉得这个工具并没有实际的技术含量,但是能提高工作效率,就共享出来给大家耍耍~

谈到扫描经验,我个人通常都会针对不同的设备,不同的应用选择不同类型的段。

比如我现在扫描的目标是一款电信光猫,那自然是选择电信的IP段,光猫一般是家庭用户,我们筛选下家庭用户的活跃IP段,这样我们就有针对性了。

再比如我现在想扫一款企业路由设备,那么我就可以选择企业公司多的段。

纯真IP真心是个不错的工具,我通常用来检索某个地区的IP段,但是这个工具有个非常致命的缺点,就是不能联合查询,这就令人非常蛋疼了,而且这玩意每次用都要切换到win下面操作,对于我这种Linux党来说自然是无法忍,索性写个把纯真IP转存到mysql数据库的脚本,这样不用每次查询都去win下面,还可以直接部署到远程,查询方便了很多,最主要的还是支持多条件查询。

需求

Python写这个脚本技术上难度不大,主要还是用到了MySQLdb库,关于MySQLdb库的安装就不多说了,博客之前有写相关的文章。这里咱们需要先分析下纯真IP数据库的数据文件结构,发现其实每一行的结构都是固定的,那么写起来就简单了。

编码这块我就不详细说了,简单几个方法就能轻松实现,贴出来代码

#!/usr/bin/env python
# coding=utf-8
# kbdancer@92ez.com

import MySQLdb
import sys

reload(sys)
sys.setdefaultencoding('utf8')


def save_data_to_mysql(mysql_object, ip_line):
 try:
  begin = ip_line[0:16].replace(' ', '')
  end = ip_line[16:32].replace(' ', '')
  try:
   location = line[32:].split(' ')[0]
  except:
   location = ''
  try:
   isp_type = line[32:].replace(' ', ' ').split(' ')[1].replace('\n', '').replace('\r', '')
  except:
   isp_type = ''

  this_line_value = [begin + "-" + end, location, isp_type]
  do_insert(mysql_object, this_line_value)
 except Exception, e:
  print e


def do_insert(mysql_object, row_data):
 try:
  insert_sql = """INSERT INTO `ipdb` (`iprange`,`location`, `type`) VALUES ( %s, %s, %s )"""
  mysql_object.insert(insert_sql, row_data)
 except Exception, e:
  print row_data
  print e


class Database:
 host = 'localhost'
 user = 'ipdb'
 password = '3u9whrpcEUBTnNNn'
 db = 'ipinfo'
 charset = 'utf8'

 def __init__(self):
  self.connection = MySQLdb.connect(self.host, self.user, self.password, self.db, charset=self.charset)
  self.cursor = self.connection.cursor()

 def insert(self, query, params):
  try:
   self.cursor.execute(query, params)
   self.connection.commit()
  except Exception, e:
   print e
   self.connection.rollback()

 def query(self, query, params):
  cursor = self.connection.cursor(MySQLdb.cursors.DictCursor)
  cursor.execute(query, params)
  return cursor.fetchall()

 def __del__(self):
  self.connection.close()


if __name__ == '__main__':
 mysql = Database()
 ip_file = open(sys.path[0] + "/ip.txt")
 print 'Start save to mysql ...'
 for line in ip_file:
  save_data_to_mysql(mysql, line)
 ip_file.close()
 print 'Save complete.'

注意

这里存在一个性能问题,就是遍历所有数据的时候需要进行插入数据库的操作,单行插入的效率是非常低的,建议使用多行插入,比如说写个缓存数组,当缓存数组达到规定的条数,比如达到100条的时候,一次性把100条存入到数据库,这个速度比单条存入要快得多。博主我在这里就挖个坑,希望使用脚本的朋友能自己修改,改起来也不难。

由于纯真IP数据库导出的txt文件并不是标准的无BOM UTF8编码,直接解析肯定是失败的,建议使用Notepad++先转码一下

效果

原始数据

Python实现一个转存纯真IP数据库的脚本分享

转存之后的数据

Python实现一个转存纯真IP数据库的脚本分享

使用

首先需要导出纯真ip数据库为txt文档,这里我导出为ip.txt

然后放到Py脚本同一目录

对了,首先你还得有mysql数据库

然后导入数据库结构,就是那个sql文件

接着你还得修改脚本里面的mysql连接密码等

最后执行Py脚本就好了

说明

所有代码都托管在Github

地址 https://github.com/kbdancer/myTools/tree/master/czip2mysql

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
在Python中使用dict和set方法的教程
Apr 27 Python
用Python中的字典来处理索引统计的方法
May 05 Python
python实现合并两个数组的方法
May 16 Python
微信小程序跳一跳游戏 python脚本跳一跳刷高分技巧
Jan 04 Python
教你用一行Python代码实现并行任务(附代码)
Feb 02 Python
python处理multipart/form-data的请求方法
Dec 26 Python
8种用Python实现线性回归的方法对比详解
Jul 10 Python
基于TensorFlow中自定义梯度的2种方式
Feb 04 Python
python与pycharm有何区别
Jul 01 Python
Python如何在单元测试中给对象打补丁
Aug 03 Python
Django如何批量创建Model
Sep 01 Python
Python Django框架介绍之模板标签及模板的继承
May 27 Python
Python学习小技巧之利用字典的默认行为
May 20 #Python
Python学习小技巧之列表项的排序
May 20 #Python
Python学习小技巧之列表项的推导式与过滤操作
May 20 #Python
Python yield 使用方法浅析
May 20 #Python
Python学习小技巧之列表项的拼接
May 20 #Python
Django验证码的生成与使用示例
May 20 #Python
Linux RedHat下安装Python2.7开发环境
May 20 #Python
You might like
建立动态的WML站点(三)
2006/10/09 PHP
PHP n个不重复的随机数生成代码
2009/06/23 PHP
PHP+MYSQL实现用户的增删改查
2015/03/24 PHP
php实现压缩合并js的方法【附demo源码下载】
2016/09/22 PHP
php动态读取数据清除最右边距的方法
2017/04/12 PHP
PHP编程快速实现数组去重的方法详解
2017/07/22 PHP
PHP 断点续传实例详解
2017/11/11 PHP
php+layui数据表格实现数据分页渲染代码
2019/10/26 PHP
javascript当onmousedown、onmouseup、onclick同时应用于同一个标签节点Element
2010/01/05 Javascript
js有序数组的连接问题
2013/10/01 Javascript
jQuery学习笔记之 Ajax操作篇(三) - 过程处理
2014/06/23 Javascript
nodejs npm package.json中文文档
2014/09/04 NodeJs
JS实现超精简响应鼠标显示二级菜单代码
2015/09/12 Javascript
Bootstrap框架实现广告轮播效果
2016/11/28 Javascript
ajax异步请求详解
2017/01/06 Javascript
JavaScript中最常见的三个面试题解析
2017/03/04 Javascript
jQuery+pjax简单示例汇总
2017/04/21 jQuery
jQuery ajax调用webservice注意事项
2017/10/08 jQuery
webpack+vue2构建vue项目骨架的方法
2018/01/09 Javascript
浅谈vue项目用到的mock数据接口的两种方式
2019/10/09 Javascript
node.js制作一个简单的登录拦截器
2020/02/10 Javascript
js屏蔽F12审查元素,禁止修改页面代码等实现代码
2020/10/02 Javascript
跟老齐学Python之print详解
2014/09/28 Python
python 转换 Javascript %u 字符串为python unicode的代码
2016/09/06 Python
机器学习之KNN算法原理及Python实现方法详解
2018/07/09 Python
canvas 绘图时位置偏离的问题解决
2020/09/16 HTML / CSS
Linux的主要特性
2016/09/03 面试题
内科护士实习自我鉴定
2013/10/17 职场文书
英语自荐信范文
2013/12/11 职场文书
会计电算化毕业生自荐信
2014/03/03 职场文书
绿色学校实施方案
2014/03/31 职场文书
2014学习优秀共产党员先进事迹材料思想汇报
2014/09/14 职场文书
群众路线对照检查剖析材料
2014/10/09 职场文书
2014年房地产工作总结范文
2014/11/19 职场文书
SpringBoot SpringEL表达式的使用
2021/07/25 Java/Android
JavaScript利用html5新方法操作元素类名详解
2021/11/27 Javascript