基于Python实现船舶的MMSI的获取(推荐)


Posted in Python onOctober 21, 2019

目的

工作中遇到一个需求,通过需要通过网站查询船舶名称得到MMSI码,网站来自船讯网。

基于Python实现船舶的MMSI的获取(推荐)

分析请求

根据以往爬虫的经验,打开F12,通过输入船舶名称,观察发送的请求,发现返回数据的网址

基于Python实现船舶的MMSI的获取(推荐)基于Python实现船舶的MMSI的获取(推荐)

本身网址是一个get请求,直接用这个网址请求,也能返回数据,即网址本身并没有加密,这就简单许多,直接通过改变参数,就能实现数据的获取,马上开始动手

基于Python实现船舶的MMSI的获取(推荐)

编写代码

代码中,通过request发送请求,为了不给服务器造成太大压力,每隔0.5秒发送一个请求,因为会出现查询不到的情况,通过exception判断,数据结果一是通过pandas中的to_excel存为excel文件,或者是直接通过pymysql入数据库,为了提高入库的速度,采用一次拼接三百条的方式入库

import requests
import os
import time
import pymysql
import pandas as pd
import re
'''
author:shikailiang
function:通过读取船舶数据,分别请求拿到json数据入库
'''

#定义入库的类
class company_ship_in_database:
  def __init__(self):
    self.conn = pymysql.connect(host="192.168.1.222", user="root", password="Cjh#Sjzx@", database="test", charset="utf8")
    self.cursor = self.conn.cursor()
    #获取当前文件的父级地址
    self.last_path = os.path.abspath(os.path.dirname(os.getcwd()))
  #写入mysql
  def in_database(self,data_list):
  	#j用来对数据进行计数
    j=1
    #定义sql
    sql = ""
    #定义sql头
    sql0 = "insert into bms_company_ship_test(oc_name,ship_name,mmsi) values"
    rowcount=len(data_list)
    for i in data_list:
    	#定义拼接sql
      sql2 = (("(" + "'{}'," * 3)[:-1] + ")").format(i[1][0],i[1][1],i[0])
      sql = sql + "," + sql2
      # print(sql0 + sql[1:])
      if divmod(j, 300)[1] == 0 or j == rowcount:
        #如果执行错误回滚当前事务
        # print(sql0 + sql[1:])
        try:
          self.cursor.execute(sql0 + sql[1:])

        except:
        	#执行错误,回滚事务
          self.conn.rollback()
          continue
        sql= ""
      self.conn.commit()
      j=j+1
  #通过pandas写入excel
  def in_xls(self, data_list):
    df=pd.DataFrame(data_list)
    #通过pandas实现存为excel
    df.to_excel(self.last_path + r"\data\result.xls",header=False,index=False)
  #请求船的方法
  def company_ship_in_database(self):
    data_path = self.last_path + r"\data"
    file=open(data_path + "\company.txt")
    data=[]
    j = 0
    for i in file.readlines():
    	#将船公司和船舶名称分开
      chuan=i.strip().split()
      dic={
      'f':'auto',
      'kw':chuan[1]
      }
      rq=requests.get("http://searchv3.shipxy.com/shipdata/search3.ashx",params=dic)
      #判断是否请求成功
      if rq.status_code==200:
        try:
          result_json=rq.json()
          result=result_json['ship'][0]
          #判断船舶数字部分是否相同
          if re.search('\d+',result['n']).group()==re.search('\d+',chuan[1]).group():
            result=result['m']
            data.append([result,chuan])
          else:
            data.append(["", chuan])
        except:
          data.append(["",chuan])

      else:
        print(chuan + "请求错误")
      time.sleep(0.5)
      j = j + 1
      if divmod(j,100)[1] == 0:
        print("已经请求" + str(j) + "条")
      # if j > 10:
      #  self.in_xls(data)
        # break
    self.in_database(data)

if __name__=="__main__":
  company_ship=company_ship_in_database()
  company_ship.company_ship_in_database()

尾记

写程序的过程中其实有发现一个问题,即我们请求的其实是输入文字时候自动发送的请求,其实有一个问题,如果我们需要查询的是"华为5"的船,但是如果系统中没有这个船,就是返回"华为548"?Y船,所以在代码中需要做一个判断

基于Python实现船舶的MMSI的获取(推荐) 

即用正则提取出船的数字,然后和返回的船的数字进行比对,如果一致,即为同一条船舶

基于Python实现船舶的MMSI的获取(推荐)

总结

以上所述是小编给大家介绍的基于Python实现船舶的MMSI的获取,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
一则python3的简单爬虫代码
May 26 Python
使用Python脚本在Linux下实现部分Bash Shell的教程
Apr 17 Python
介绍Python的Django框架中的静态资源管理器django-pipeline
Apr 25 Python
浅谈Python由__dict__和dir()引发的一些思考
Oct 30 Python
Django 路由系统URLconf的使用
Oct 11 Python
Python3安装Pillow与PIL的方法
Apr 03 Python
把JSON数据格式转换为Python的类对象方法详解(两种方法)
Jun 04 Python
python3+PyQt5 使用三种不同的简便项窗口部件显示数据的方法
Jun 17 Python
python使用原始套接字发送二层包(链路层帧)的方法
Jul 22 Python
pygame实现烟雨蒙蒙下彩虹雨
Nov 11 Python
Biblibili视频投稿接口分析并以Python实现自动投稿功能
Feb 05 Python
使用Python+OpenCV进行卡类型及16位卡号数字的OCR功能
Aug 30 Python
基于Python解密仿射密码
Oct 21 #Python
python多继承(钻石继承)问题和解决方法简单示例
Oct 21 #Python
python超时重新请求解决方案
Oct 21 #Python
详解python中*号的用法
Oct 21 #Python
python中bytes和str类型的区别
Oct 21 #Python
python中@property和property函数常见使用方法示例
Oct 21 #Python
vim自动补全插件YouCompleteMe(YCM)安装过程解析
Oct 21 #Python
You might like
基于文本的搜索
2006/10/09 PHP
PHP中的session安全吗?
2016/01/22 PHP
thinkPHP显示不出验证码的原因与解决方法分析
2017/05/20 PHP
PHP分页显示的方法分析【附PHP通用分页类】
2018/05/10 PHP
仅Firefox中链接A无法实现模拟点击以触发其默认行为
2011/07/31 Javascript
JS简单实现登陆验证附效果图
2013/11/19 Javascript
js中用window.open()打开多个窗口的name问题
2014/03/13 Javascript
javascript回车完美实现tab切换功能
2014/03/13 Javascript
js实现表单Radio切换效果的方法
2015/08/17 Javascript
js动态生成Html元素实现Post操作(createElement)
2015/09/14 Javascript
第十章之巨幕页头缩略图与警告框组件
2016/04/25 Javascript
Bootstrap Fileinput文件上传组件用法详解
2016/05/10 Javascript
Javascript 判断两个IP是否在同一网段实例代码
2016/11/28 Javascript
用JavaScript实现让浏览器停止载入页面的方法
2017/01/19 Javascript
Angular实现购物车计算示例代码
2017/02/21 Javascript
利用types增强vscode中js代码提示功能详解
2017/07/07 Javascript
bootstrap table方法之expandRow-collapseRow展开或关闭当前行数据
2020/08/09 Javascript
javascript实现前端input密码输入强度验证
2020/06/24 Javascript
以一段代码为实例快速入门Python2.7
2015/03/31 Python
python简单获取数组元素个数的方法
2015/07/13 Python
详解Python中映射类型的内建函数和工厂函数
2015/08/19 Python
PYTHON 中使用 GLOBAL引发的一系列问题
2016/10/12 Python
python编程实现12306的一个小爬虫实例
2017/12/27 Python
Python字符串格式化%s%d%f详解
2018/02/02 Python
Sanic框架基于类的视图用法示例
2018/07/18 Python
pygame实现俄罗斯方块游戏(基础篇3)
2019/10/29 Python
Python测试Kafka集群(pykafka)实例
2019/12/23 Python
python实现控制台输出彩色字体
2020/04/05 Python
Pycharm Git 设置方法
2020/09/15 Python
python 根据列表批量下载网易云音乐的免费音乐
2020/12/03 Python
美国背景检查、公共记录和人物搜索网站:BeenVerified
2018/02/25 全球购物
英国医生在线预约:Top Doctors
2019/10/30 全球购物
智能钱包:Ekster
2019/11/21 全球购物
护理学专业推荐信
2013/12/03 职场文书
采购意向书范本
2014/03/31 职场文书
CSS list-style-type属性使用方法
2023/05/21 HTML / CSS