Python 利用Entrez库筛选下载PubMed文献摘要的示例


Posted in Python onNovember 24, 2020

作者:xiaolanLin

声明 :本文版权归作者和博客园共有,来源网址:https://www.cnblogs.com/xiaolan-Lin

一个不是学生物的孩子来搞生物,当真是变成了一块废铁啊,但也是让我体会到了一把生物信息的力量。

废话不多说,开整!

任务:快速高效从PubMed上下载满足条件的文献PMID、标题(TI)、摘要(AB)。

PubMed官网 https://pubmed.ncbi.nlm.nih.gov

此处有几种选择可以达到目的:

(1)官网上匹配筛选条件(注:匹配快速,但是下载下来的数量受到限制,每次只能下载10000条数据,甚至更少。)

Python 利用Entrez库筛选下载PubMed文献摘要的示例

 可以看到,我需要的数据是有三十多万条,但是每次只能下载10000条,那我岂不是要手动n次。。很明显,在大批量下载文献的情况下,官网不是很友好。

(2)R语言有个R包,叫做easyPubMed,这里我也给大家贴上学习指南(https://cran.r-project.org/web/packages/easyPubMed/vignettes/getting_started_with_easyPubMed.html)

由于我不喜欢用R写代码,所以我写一半还是换了Python,熟练R的小伙伴可以自行根据指南走通需求。

(3)重量级库来了,Python自带的Bio包中的Entrez检索库,简直就是我的救星,以下是我的代码:

注:Entrez在Bio包中,Bio的安装请移步 https://www.cnblogs.com/xiaolan-Lin/p/14023147.html

import numpy as np
 from Bio import Medline, Entrez # 一般是通过BioPython的Bio.Entrez模块访问Entrez
 from collections import Counter
 
 Entrez.email = "(此处写你自己在官网注册的邮箱账号)" # 应用自己的账号访问NCBI数据库
 
 # 此处需将服务器协议指定为1.0,否则会出现报错。http.client.IncompleteRead: IncompleteRead(0 bytes read)
 # 服务器http协议1.0,而python的是1.1,解决办法就是指定客户端http协议版本
 import http.client
 http.client.HTTPConnection._http_vsn = 10
 http.client.HTTPConnection._http_vsn_str = 'HTTP/1.0'
 
 """
 Entrez 是一个检索系统,可以用其访问NCBI数据库,比如说PubMed,GenBank,GEO等。
 获得有关 global PBDE 的所有文献的PubMed IDs
 """
 # handle_0 = Entrez.esearch(db="pubmed", term="drug therapy[Subheading] AND adverse effects[Subheading] AND humans[MeSH Terms]", retmax=306431)
 handle_0 = Entrez.esearch(db="pubmed", term="drug therapy[MeSH Subheading] AND adverse effects[MeSH Subheading] AND humans[MeSH Terms] AND (2000/01/01[Date - Publication] : 2021/12/31[Date - Publication])",
              ptyp="Review", usehistory="y", retmax=306431)
 record = Entrez.read(handle_0) # 获取检索条件的所有文献
 idlist = record["IdList"] # 提取出文献id
 print ("Total: ", record["Count"])
 No_Papers = len(idlist)  # 共306431篇文献 2000-01-01:2021-12-31
 webenv = record['WebEnv']
 query_key = record['QueryKey']
 
 total = No_Papers
 step = 1300
 print("Result items:", total)
 with open("./Data_PubMed/PBDE1.txt", 'w') as f:
   for start in range(0, total, step):
     print("Download record %i to %i" % (start + 1, int(start + step)))
     handle_1 = Entrez.efetch(db="pubmed", retstart=start, rettype="medline", retmode="text",
                 retmax=step, webenv=webenv, query_key=query_key) # 获取上述所有文献的PubMed IDs
     records = Medline.parse(handle_1)
     records = list(records) # 将迭代器转换至列表(list)
     for index in np.arange(len(records)):
       id = records[index].get("PMID", "?")
       title = records[index].get("TI", "?")
       title = title.replace('[', '').replace('].', '') # 若提取的标题出现[].符号,则去除
       abstract = records[index].get("AB", "?")
       f.write(id)
       f.write("\n")
       f.write(title)
       f.write("\n")
       f.write(abstract)
       f.write("\n")

话不多说,结果跑出来了我真的很快乐~

Python 利用Entrez库筛选下载PubMed文献摘要的示例

最后的结果是存放在txt文件中,大伙儿根据自己的需求改变代码所需字段啊。

现在我来解释一下,我贴上的这串代码的实现原理,首先是通过Entrez检索到符合我筛选条件的文献,里边的限制条件包括了几个词汇匹配以及时间限制,时间我限制在了2000年1月1日到2021年的12月31日(这里的时间我选用的是Date - Publication,时间选取Date - Completion、Date - Modification还是Date - Publication其实还是有争议的,大家自行考虑选取)。

Entrez.esearch的作用就是用来检索的,里边的参数db指向你要检索的数据库,代码中的注释也写了,Entrez作为一个接口检索,除了能够检索PubMed中的文献,也能去到别的数据库检索文献;term是写你的筛选语句,注意你写的检索语句不能带有引号,单引号也不行,否则会检索不到,如果不知道检索语句怎么写,或者是不知道字段是否被定义,可以在官网的检索那里https://pubmed.ncbi.nlm.nih.gov/advanced/选择字段输入内容自动生成query,但是生成的语句是不太智能的,会有很多括号是你不需要的,自己写代码的时候要适当去掉;ptyp我这里用的是Review,usehistory是y,意思是后边我的检索要记住这个语句,根据历史查询来检索;retmax如果不进行设置的话,默认给你的最大数据量好像是只有1000,我要的检索内容是超过这个值的,因此我需要自定义检索的数量。

Entrez.read是对Entrez.esearch检索到的内容进行读取,里边包含了9种元素,我们主要是想从中得到文献的id号,只有拿到了文献的id号,我们后面进行摘要的提取才能准确定位。

Python 利用Entrez库筛选下载PubMed文献摘要的示例

最后是循环当中步长的设置,这里就要根据自己的需求来定义了,包括内容的提取,因为我只需要PMID、标题(TI)、摘要(AB),所以我就没有加载别的内容进来,这里也有一点要注意,标题下载下来是大部分带有[ ].的,方便操作我直接就在下载的时候给去除了,这也是上面replace代码的由来。

附上我参考的链接,如果我这篇文章解决不了你的问题,那么希望下面的渠道能够帮助到你

https://zhuanlan.zhihu.com/p/54611852

https://zhuanlan.zhihu.com/p/262957260

以上就是Python 利用Entrez库筛选下载PubMed文献摘要的示例的详细内容,更多关于Python Entrez库下载PubMed文献的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
gearman的安装启动及python API使用实例
Jul 08 Python
kNN算法python实现和简单数字识别的方法
Nov 18 Python
在Python中关于中文编码问题的处理建议
Apr 08 Python
利用python写个下载teahour音频的小脚本
May 08 Python
Python列表和元组的定义与使用操作示例
Jul 26 Python
Python实现简单文本字符串处理的方法
Jan 22 Python
用pandas中的DataFrame时选取行或列的方法
Jul 11 Python
微信小程序python用户认证的实现
Jul 29 Python
Django 实现 Websocket 广播、点对点发送消息的代码
Jun 03 Python
用Python自动清理电脑内重复文件,只要10行代码(自动脚本)
Jan 09 Python
python实现b站直播自动发送弹幕功能
Feb 20 Python
Python MNIST手写体识别详解与试练
Nov 07 Python
python实现企业微信定时发送文本消息的示例代码
Nov 24 #Python
python爬虫快速响应服务器的做法
Nov 24 #Python
PyCharm Community安装与配置的详细教程
Nov 24 #Python
python3爬虫GIL修改多线程实例讲解
Nov 24 #Python
Django URL参数Template反向解析
Nov 24 #Python
python3爬虫中引用Queue的实例讲解
Nov 24 #Python
python3爬虫中多线程的优势总结
Nov 24 #Python
You might like
追忆往昔!浅谈收音机的百年发展历史
2021/03/01 无线电
BBS(php & mysql)完整版(三)
2006/10/09 PHP
js和php邮箱地址验证的实现方法
2014/01/09 PHP
PHP中redis的用法深入解析
2014/02/20 PHP
Smarty最简单实现列表奇偶变色的方法
2015/07/01 PHP
PHP的mysqli_sqlstate()函数讲解
2019/01/23 PHP
点击广告后才能获得下载地址
2006/10/26 Javascript
屏蔽Flash右键信息的js代码
2010/01/17 Javascript
谈谈我对JavaScript中typeof和instanceof的深入理解
2015/12/25 Javascript
浅析javascript异步执行函数导致的变量变化问题解决思路
2016/05/13 Javascript
Javascript oop设计模式 面向对象编程简单实例介绍
2016/12/13 Javascript
BootStrap Datetimepicker 汉化的实现代码
2017/02/10 Javascript
jQuery remove()过滤被删除的元素(推荐)
2017/07/18 jQuery
js异步接口并发数量控制的方法示例
2020/11/22 Javascript
[57:59]完美世界DOTA2联赛循环赛 Ink Ice vs LBZS BO2第一场 11.05
2020/11/05 DOTA
在Python操作时间和日期之asctime()方法的使用
2015/05/22 Python
Python之csv文件从MySQL数据库导入导出的方法
2018/06/21 Python
pyqt5的QWebEngineView 使用模板的方法
2018/08/18 Python
python try 异常处理(史上最全)
2019/03/07 Python
python使用matplotlib绘制雷达图
2019/10/18 Python
Pandas DataFrame中的tuple元素遍历的实现
2019/10/23 Python
win10下安装Anaconda的教程(python环境+jupyter_notebook)
2019/10/23 Python
解决python 读取 log日志的编码问题
2019/12/24 Python
使用python tkinter开发一个爬取B站直播弹幕工具的实现代码
2021/02/07 Python
HTML5之SVG 2D入门11—用户交互性(动画)介绍及应用
2013/01/30 HTML / CSS
一些关于MySql加速和优化的面试题
2014/01/30 面试题
求职信的七个关键技巧
2014/02/05 职场文书
《绿色蝈蝈》教学反思
2014/03/02 职场文书
行政部岗位职责范本
2014/03/13 职场文书
护理专业毕业生自我鉴定总结
2014/03/24 职场文书
北京奥运会口号
2014/06/21 职场文书
人事专员岗位职责说明书
2014/07/30 职场文书
介绍信范文
2015/01/31 职场文书
迁徙的鸟观后感
2015/06/09 职场文书
100句人生哲理语录集锦:强者征服今天,懒汉坐等明天
2019/10/18 职场文书
Python使用DFA算法过滤内容敏感词
2022/04/22 Python