python自动从arxiv下载paper的示例代码


Posted in Python onDecember 05, 2020
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time  : 2020/02/11 21:44
# @Author : dangxusheng
# @Email  : dangxusheng163@163.com
# @File  : download_by_href.py
'''
自动从arxiv.org 下载文献
'''

import os
import os.path as osp
import requests
from lxml import etree
from pprint import pprint
import re
import time
import glob

headers = {
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36",
  "Host": 'arxiv.org'
}

HREF_CN = 'http://cn.arxiv.org/pdf/'
HREF_SRC = 'http://cn.arxiv.org/pdf/'
SAVE_PATH = '/media/dangxs/E/Paper/download_at_20200730'
os.makedirs(SAVE_PATH, exist_ok=True)

FAIL_URLS = []
FAIL_URLS_TXT = f'{SAVE_PATH}/fail_urls.txt'


def download(url, title):
  pattern = r'[\\/:*?"\'<>|\r\n]+'
  new_title = re.sub(pattern, " ", title)
  print(f'new title: {new_title}')
  save_filepath = '%s/%s.pdf' % (SAVE_PATH, new_title)
  if osp.exists(save_filepath) and osp.getsize(save_filepath) > 50 * 1024:
    print(f'this pdf is be existed.')
    return True
  try:
    with open(save_filepath, 'wb') as file:
      # 分字节下载
      r = requests.get(url, stream=True, timeout=None)
      for i in r.iter_content(2048):
        file.write(i)
    if osp.getsize(save_filepath) >= 10 * 1024:
      print('%s 下载成功.' % title)
      return True
  except Exception as e:
    print(e)
  return False


# 从arxiv.org 去下载
def search(start_size=0, title_keywords='Facial Expression'):
  # 访问地址: https://arxiv.org/find/grp_eess,grp_stat,grp_cs,grp_econ,grp_math/1/ti:+Face/0/1/0/past,2018,2019/0/1?skip=200&query_id=1c582e6c8afc6146&client_host=cn.arxiv.org
  req_url = 'https://arxiv.org/search/advanced'
  req_data = {
    'advanced': 1,
    'terms-0-operator': 'AND',
    'terms-0-term': title_keywords,
    'terms-0-field': 'title',
    'classification-computer_science': 'y',
    'classification-physics_archives': 'all',
    'classification-include_cross_list': 'include',
    'date-filter_by': 'date_range', # date_range | specific_year
    # 'date-year': DOWN_YEAR,
    'date-year': '',
    'date-from_date': '2015',
    'date-to_date': '2020',
    'date-date_type': 'announced_date_first', # submitted_date | submitted_date_first | announced_date_first
    'abstracts': 'show',
    'size': 50,
    'order': '-announced_date_first',
    'start': start_size,
  }
  res = requests.get(req_url, params=req_data, headers=headers)
  html = res.content.decode()
  html = etree.HTML(html)

  total_text = html.xpath('//h1[@class="title is-clearfix"]/text()')
  total_text = ''.join(total_text).replace('\n', '').lstrip(' ').strip(' ')
  # i.e. : Showing 1?50 of 355 results
  num = re.findall('\d+', total_text)
  # Sorry, your query returned no results
  if len(num) == 0: return [], 0

  total = int(num[-1]) # 查询总条数
  paper_list = html.xpath('//ol[@class="breathe-horizontal"]/li')
  info_list = []
  for p in paper_list:
    title = p.xpath('./p[@class="title is-5 mathjax"]//text()')
    title = ''.join(title).replace('\n', '').lstrip(' ').strip(' ')
    href = p.xpath('./div/p/a/@href')[0]
    info_list.append({'title': title, 'href': href})

  return info_list, total


# 去指定页面下载
def search_special():
  res = requests.get('https://gitee.com/weberyoung/the-gan-zoo?_from=gitee_search')
  html = res.content.decode()
  html = etree.HTML(html)

  paper_list = html.xpath('//div[@class="file_content markdown-body"]//li')
  info_list = []
  for p in paper_list:
    title = p.xpath('.//text()')
    title = ''.join(title).replace('\n', '').lstrip(' ').strip(' ')
    href = p.xpath('./a/@href')[0]
    info_list.append({'title': title, 'href': href})

  pprint(info_list)
  return info_list


if __name__ == '__main__':
  page_idx = 0
  total = 1000
  keywords = 'Facial Action Unit'
  while page_idx <= total // 50:
    paper_list, total = search(page_idx * 50, keywords)
    print(f'total: {total}')
    if total == 0:
      print('no found .')
      exit(0)

    for p in paper_list:
      title = p['title']
      href = HREF_CN + p['href'].split('/')[-1] + '.pdf'
      print(href)
      if not download(href, title):
        print('从国内镜像下载失败,从源地址开始下载 >>>>')
        # 使用国际URL再下载一次
        href = HREF_SRC + p['href'].split('/')[-1] + '.pdf'
        if not download(href, title):
          FAIL_URLS.append(p)
    page_idx += 1

  # 下载最后的部分
  last_1 = total - page_idx * 50
  paper_list, total = search(last_1, keywords)
  for p in paper_list:
    title = p['title']
    href = HREF_CN + p['href'].split('/')[-1] + '.pdf'
    if not download(href, title):
      FAIL_URLS.append(p)
    time.sleep(1)

  pprint(FAIL_URLS)
  with open(FAIL_URLS_TXT, 'a+') as f:
    for item in FAIL_URLS:
      href = item['href']
      title = item['title']
      f.write(href + '\n')

  print('done.')

以上就是python自动从arxiv下载paper的示例代码的详细内容,更多关于python 从arxiv下载paper的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
用Python和MD5实现网站挂马检测程序
Mar 13 Python
python函数中return后的语句一定不会执行吗?
Jul 06 Python
python实现xlsx文件分析详解
Jan 02 Python
Python 确定多项式拟合/回归的阶数实例
Dec 29 Python
python getopt模块使用实例解析
Dec 18 Python
python实现图像全景拼接
Mar 27 Python
解决python多线程报错:AttributeError: Can't pickle local object问题
Apr 08 Python
Python实现AI换脸功能
Apr 10 Python
使用python操作lmdb对数据读取的实例
Dec 11 Python
解决pycharm不能自动保存在远程linux中的问题
Feb 06 Python
浅谈Python数学建模之线性规划
Jun 23 Python
Python使用openpyxl批量处理数据
Jun 23 Python
python使用dlib进行人脸检测和关键点的示例
Dec 05 #Python
python从ftp获取文件并下载到本地
Dec 05 #Python
python基于socket模拟实现ssh远程执行命令
Dec 05 #Python
Python实现PS滤镜中的USM锐化效果
Dec 04 #Python
python 模拟登陆github的示例
Dec 04 #Python
python中round函数保留两位小数的方法
Dec 04 #Python
python中pow函数用法及功能说明
Dec 04 #Python
You might like
打造计数器DIY三步曲(下)
2006/10/09 PHP
解析PayPal支付接口的PHP开发方式
2010/11/28 PHP
php不使用copy()函数复制文件的方法
2015/03/13 PHP
php实现的mongodb操作类
2015/05/28 PHP
php 运算符与表达式详细介绍
2016/11/30 PHP
Aster vs Newbee BO3 第三场2.18
2021/03/10 DOTA
半角全角相互转换的js函数
2009/10/16 Javascript
javascript中input中readonly和disabled区别介绍
2012/10/23 Javascript
js中精确计算加法和减法示例
2014/03/28 Javascript
一个简单的jQuery插件ajaxfileupload.js实现ajax上传文件例子
2014/06/26 Javascript
JavaScript模拟实现继承的方法
2015/03/30 Javascript
原生js实现的贪吃蛇网页版游戏完整实例
2015/05/18 Javascript
javascript每日必学之多态
2016/02/23 Javascript
js中删除数组中的某一元素实例(无下标时)
2017/02/28 Javascript
JS实现点击链接切换显示隐藏内容的方法
2017/10/19 Javascript
mpvue微信小程序的接口请求fly全局拦截代码实例
2019/11/13 Javascript
Python中遍历字典过程中更改元素导致异常的解决方法
2016/05/12 Python
linecache模块加载和缓存文件内容详解
2018/01/11 Python
python监控文件并且发送告警邮件
2018/06/21 Python
python计算两个数的百分比方法
2018/06/29 Python
在Pytorch中使用样本权重(sample_weight)的正确方法
2019/08/17 Python
python GUI库图形界面开发之PyQt5动态加载QSS样式文件
2020/02/25 Python
美国第二大连锁书店:Books-A-Million
2017/12/28 全球购物
销售个人求职信范文
2014/04/28 职场文书
家长给学校的建议书
2014/05/15 职场文书
增员口号大全
2014/06/18 职场文书
森马旗舰店双十一营销方案
2014/09/29 职场文书
2015年初中元旦晚会活动总结
2014/11/28 职场文书
优秀班主任推荐材料
2014/12/17 职场文书
污水处理保证书
2015/05/09 职场文书
运动会5000米加油稿
2015/07/21 职场文书
求职信:求职应该注意的问题
2019/04/24 职场文书
企业内部管理控制:银行存款控制制度范本
2020/01/10 职场文书
Golang并发操作中常见的读写锁详析
2021/08/30 Golang
Elasticsearch Recovery 详细介绍
2022/04/19 Java/Android
一文了解Java动态代理的原理及实现
2022/07/07 Java/Android