50行Python代码获取高考志愿信息的实现方法


Posted in Python onJuly 23, 2019

最近遇到个任务,需要将高考志愿信息保存成Excel表格,BOSS丢给我一个网址表格之后就让我自己干了。虽然我以前也学习过Python编写爬虫的知识,不过时间长了忘了,于是摸索了一天之后终于完成了任务。不得不说,Python干这个还是挺容易的,最后写完一看代码,只用了50行就完成了任务。

50行Python代码获取高考志愿信息的实现方法

准备工作

首先明确一下任务。首先我们要从网址表格中读取到一大串网址,然后访问每个网址,获取到页面上的学校信息,然后将它们在写到另一个Excel中。显然,我们需要一个爬虫库和一个Excel库来帮助我们完成任务。

第一步自然是安装它们,requests-html是一个非常好用的HTML解析库,拿来做简单的爬虫非常优雅;而openpyxl是一个Excel表格库,可以轻松创建和处理Excel数据。

pip install requests-html openpyxl

然后就是网址表格,大概长这样,总共大概一千七百多条数据。其中有少量网址是错误的,访问会得到404错误,所以在编写代码的时候还要注意错误处理。

50行Python代码获取高考志愿信息的实现方法

任务分析

任务的核心自然就是分析和获取网页内容了。首先现在浏览器里面打开一个网址,看看网页上的内容是什么。

50行Python代码获取高考志愿信息的实现方法

可以看到这个网页格式很乱,学校名字什么的都是混在一起的,一点也不规整,这给我们提取数据造成了不少的麻烦。不过仔细分析之后,其实问题也并不难。

首先要提取的是学校名字,可以看到学校名字和其他文字混在一起,例如"本科一批普通文科627集美大学报考情况"。本来我准备用正则表达式提取,然后发现用正则表达式好像很难。之后我多访问了几个网页,发现学校代码基本上都是数字,如果有字母的话也出现到第一位,所以我采用了以下的算法,首先将字符串从数字处分隔,右边的一个部分就包含了学校名字和“报考情况”几个字,然后删除“报考情况”即可得到学校名字。这个算法唯一的缺点就是,假如出现了字母在中间的代号,就没办法获取到学校名字了,不过实际运行之后,我幸运的发现并没有出现这种情况。

之后要提取的就是专业信息了,在网页源代码中这部分使用tr和td标签来呈现的。一开始我用的是tr加上选择器来提取,但是这个网页生成的时候很有问题,每个tr标签的样式居然还根据内容的多少而不同,导致我写死的选择器没法完美获取所有行。不过后来我发现整个网页内容都是一个表格, 除去表头和结尾的几个固定行之外,剩下的恰好就是要提取的数据行,所以直接获取tr标签,然后切片除去收尾即可。

50行Python代码获取高考志愿信息的实现方法

网页基本上分析完了,下面就是编写代码了。

编写代码

总共50行左右代码,我添加了注释,相信大家应该很容易就可以看懂。

第一部分代码是从网址表格读取所有url,一开始编写的时候,表格里的url是从另一个公式生成的,所以需要在加载的时候添加data_only=True才能读取到公式的结果,否则只能读取到公式本身。

第二部分是创建输出文件,然后编写表头。顺带为了调试方便,我让它如果检测到已经存在目标文件的话就删掉,在建立一个新的。

第三部分就是代码的核心了。Python代码看着可能有点奇怪,不过对照上面的分析,我想大家应该很容易看懂。需要注意保存文件在最后,假如半路代码出现异常,整个就白干了,而一千七百多条网址不可能保证都正常运行。由于输出格式是“学校名+专业信息”这样的格式,所以我获取学校名之后,还要将学校插入到每行专业信息之前。所以我这里索性直接用try-except包起来,如果出错的话只打印一下出错的网址。

import os 
from requests_html import HTMLSession 
from openpyxl import Workbook, load_workbook 
# 从网址表格获取urls 
def get_urls(): 
 input_file = 'source.xlsx' 
 wb = load_workbook(input_file, data_only=True) 
 ws = wb.active 
 urls = [row[0] for row in ws.values] 
 wb.close() 
 return urls 
# 输出Excel文件,如果已存在则删除已有的 
out_file = 'data.xlsx' 
if os.path.exists(out_file): 
 os.remove(out_file) 
wb = Workbook() 
ws = wb.active 
# 编写第一行表头 
ws['a1'] = '学校' 
ws['b1'] = '专业代号' 
ws['c1'] = '专业名称' 
ws['d1'] = '计划数' 
ws['e1'] = '预计1:1录取最低分(投档分)' 
ws['f1'] = '按院校投档比例投档线上已报人数' 
ws['g1'] = '学费' 
ws['h1'] = '办学地点' 
ws['i1'] = '专业备注' 
# 发起网络请求,解析网页信息,并写入文件 
session = HTMLSession() 
urls = get_urls() 
for url in urls: 
 import re 
 page = session.get(url) 
 page.html.encoding = 'gb2312' 
 try: 
 college_info = page.html.xpath('//td[@class="report1_1_1"]/text()', first=True) 
 college = re.split('\d+', college_info)[1].replace('报考情况', '') 
 rows = page.html.xpath('//tr')[3:-2] 
 for r in rows: 
 info = [x.text for x in r.xpath('//td')] 
 info.insert(0, college) 
 ws.append(info) 
 print(info) 
 except: 
 print(url) 
 
# 保存文件 
wb.save(out_file)

运行结果

好了,费了大半天的劲,代码终于完成了。让我们运行一下看看结果。整个代码大概需要运行7-8分钟,最后完成之后得到了一个500多k的Excel文件。

50行Python代码获取高考志愿信息的实现方法

打开之后,可以发现Excel文件填的满满的,最后总共获取到了大约一万多条数据,任务圆满完成。

50行Python代码获取高考志愿信息的实现方法

总结

以上所述是小编给大家介绍的50行Python代码获取高考志愿信息的实现方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
深入理解Django中内置的用户认证
Oct 06 Python
使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
Jun 22 Python
Python实现输入二叉树的先序和中序遍历,再输出后序遍历操作示例
Jul 27 Python
把django中admin后台界面的英文修改为中文显示的方法
Jul 26 Python
Django中的cookie和session
Aug 27 Python
Python利用FFT进行简单滤波的实现
Feb 26 Python
Python 面向对象部分知识点小结
Mar 09 Python
tensorflow pb to tflite 精度下降详解
May 25 Python
Python使用xlrd实现读取合并单元格
Jul 09 Python
PyTorch如何搭建一个简单的网络
Aug 24 Python
Python常用模块函数代码汇总解析
Aug 31 Python
python实现邮件循环自动发件功能
Sep 11 Python
python设计tcp数据包协议类的例子
Jul 23 #Python
Django 缓存配置Redis使用详解
Jul 23 #Python
Flask框架中request、请求钩子、上下文用法分析
Jul 23 #Python
python 的 scapy库,实现网卡收发包的例子
Jul 23 #Python
python3+django2开发一个简单的人员管理系统过程详解
Jul 23 #Python
Django框架之DRF 基于mixins来封装的视图详解
Jul 23 #Python
flask框架路由常用定义方式总结
Jul 23 #Python
You might like
phpMyadmin 用户权限中英对照
2010/04/02 PHP
div li的多行多列 无刷新分页示例代码
2013/10/16 PHP
ThinkPHP3.1新特性之查询条件预处理简介
2014/06/19 PHP
ThinkPHP框架实现的邮箱激活功能示例
2018/06/15 PHP
表头固定(利用jquery实现原理介绍)
2012/11/08 Javascript
jquery1.9 下检测浏览器类型和版本的方法
2013/12/26 Javascript
JSON取值前判断
2014/12/23 Javascript
js兼容火狐显示上传图片预览效果的方法
2015/05/21 Javascript
jQuery的promise与deferred对象在异步回调中的作用
2016/05/03 Javascript
jQuery easyui刷新当前tabs的方法
2016/09/23 Javascript
JavaScript中使用Async实现异步控制
2017/08/15 Javascript
jQuery实现的事件绑定功能基本示例
2017/10/11 jQuery
ES6中定义类和对象的方法示例
2019/07/31 Javascript
Vue 一键清空表单的实现方法
2020/02/07 Javascript
用vue 实现手机触屏滑动功能
2020/05/28 Javascript
Python实现去除代码前行号的方法
2015/03/10 Python
在Python的列表中利用remove()方法删除元素的教程
2015/05/21 Python
python 读取txt中每行数据,并且保存到excel中的实例
2018/04/29 Python
python删除本地夹里重复文件的方法
2020/11/19 Python
python2 与 python3 实现共存的方法
2018/07/12 Python
python爬虫之线程池和进程池功能与用法详解
2018/08/02 Python
Pytorch 多维数组运算过程的索引处理方式
2019/12/27 Python
python3 Scrapy爬虫框架ip代理配置的方法
2020/01/17 Python
Python实现打包成库供别的模块调用
2020/07/13 Python
德国化妆品和天然化妆品网上商店:kosmetikfuchs.de
2017/06/09 全球购物
KENZO官网:高田贤三在法国创立的品牌
2019/05/16 全球购物
师范大学音乐表演专业求职信
2013/10/23 职场文书
党员自我评价分享
2013/12/13 职场文书
总经理司机岗位职责
2014/02/06 职场文书
职务任命书范本
2014/06/05 职场文书
学校党委副书记个人对照检查材料思想汇报
2014/09/28 职场文书
群众路线查摆问题整改措施思想汇报
2014/10/10 职场文书
2016年感恩节活动总结大全
2016/04/01 职场文书
python基于opencv批量生成验证码的示例
2021/04/28 Python
Springboot使用Spring Data JPA实现数据库操作
2021/06/30 Java/Android
PostGIS的安装与入门使用指南
2022/01/18 PostgreSQL