使用Python爬取最好大学网大学排名


Posted in Python onFebruary 24, 2018

本文实例为大家分享了Python爬取最好大学网大学排名的具体代码,供大家参考,具体内容如下

源代码:

#-*-coding:utf-8-*- 
''''' 
Created on 2017年3月17日 
@author: lavi 
''' 
import requests 
from bs4 import BeautifulSoup 
import bs4 
def getHTMLText(url): 
  try: 
    r = requests.get(url) 
    r.raise_for_status 
    r.encoding = r.apparent_encoding 
    return r.text 
  except: 
    return "" 
 
def fillUnivList(univList,html): 
  soup = BeautifulSoup(html,"html.parser") 
  for tr in soup.find("tbody").children: 
    if isinstance(tr,bs4.element.Tag): #tobody有的节点是空串,属于要判断类型进行过滤 
      tds = tr("td") #等价于tr.find_all("td") 
      univList.append([tds[0].string,tds[1].string,tds[2].string]) #NavigableString可以跨越多个层次 
 
def printUnivList(univList,num): 
  tplt = "{0:^6}\t{1:^10}\t{2:^6}" #:前的数字说明使用format函数的第几个参数填充模板 
  print(tplt.format("排名","学校名称","总分",chr(12288))) 
  for i in range(num): 
    u = univList[i] 
    print(tplt.format(u[0],u[1],u[2],chr(12288))) 
def main(): 
  url= "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"; 
  html = getHTMLText(url) 
  univList=[] 
  fillUnivList(univList,html) 
  printUnivList(univList,20) 
   
main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过ElementTree操作XML获取结点读取属性美化XML
Dec 02 Python
初步解析Python下的多进程编程
Apr 28 Python
Python对list列表结构中的值进行去重的方法总结
May 07 Python
用Python写一段用户登录的程序代码
Apr 22 Python
Python学习小技巧总结
Jun 10 Python
python使用PIL模块获取图片像素点的方法
Jan 08 Python
Python中字符串List按照长度排序
Jul 01 Python
如何用Python来理一理红楼梦里的那些关系
Aug 14 Python
opencv实现简单人脸识别
Feb 19 Python
python异常处理和日志处理方式
Dec 24 Python
python add_argument()用法解析
Jan 29 Python
解决Python import docx出错DLL load failed的问题
Feb 13 Python
python opencv 直方图反向投影的方法
Feb 24 #Python
python爬虫爬取淘宝商品信息
Feb 23 #Python
python爬取淘宝商品详情页数据
Feb 23 #Python
Python如何抓取天猫商品详细信息及交易记录
Feb 23 #Python
python列表生成式与列表生成器的使用
Feb 23 #Python
1分钟快速生成用于网页内容提取的xslt
Feb 23 #Python
python使用xslt提取网页数据的方法
Feb 23 #Python
You might like
介绍一些PHP判断变量的函数
2012/04/24 PHP
php图像处理函数大全(推荐收藏)
2013/07/11 PHP
可输入的下拉框
2006/06/19 Javascript
javascript计算用户打开网页的停留时间
2014/01/09 Javascript
显示今天的日期js代码(阳历和农历)
2014/09/30 Javascript
Javascript中innerHTML用法实例分析
2015/01/12 Javascript
jquery实现的Accordion折叠面板效果代码
2015/09/02 Javascript
jQuery中通过ajax调用webservice传递数组参数的问题实例详解
2016/05/20 Javascript
学习Angular中作用域需要注意的坑
2016/08/17 Javascript
jQuery实现点击后高亮背景固定显示的菜单效果【附demo源码下载】
2016/09/21 Javascript
你真的了解BOM中的history对象吗
2017/02/13 Javascript
VsCode新建VueJs项目的详细步骤
2017/09/23 Javascript
基于JavaScript表单脚本(详解)
2017/10/18 Javascript
微信小程序商品详情页规格属性选择示例代码
2017/10/30 Javascript
微信小程序实现导航栏选项卡效果
2020/06/19 Javascript
纯JS实现可用于页码更换的飞页特效示例
2018/05/21 Javascript
Vue封装的组件全局注册并引用
2019/07/24 Javascript
js实现圆形菜单选择器
2020/12/03 Javascript
浅谈python中字典append 到list 后值的改变问题
2018/05/04 Python
让Django支持Sql Server作后端数据库的方法
2018/05/29 Python
python寻找list中最大值、最小值并返回其所在位置的方法
2018/06/27 Python
python opencv实现切变换 不裁减图片
2018/07/26 Python
python开启摄像头以及深度学习实现目标检测方法
2018/08/03 Python
django2.0扩展用户字段示例
2019/02/13 Python
python3使用腾讯企业邮箱发送邮件的实例
2019/06/28 Python
使用Python测试Ping主机IP和某端口是否开放的实例
2019/12/17 Python
Python3监控疫情的完整代码
2020/02/20 Python
django inspectdb 操作已有数据库数据的使用步骤
2021/02/07 Python
英国儿童图书网站:Scholastic
2017/03/26 全球购物
Sarenza德国:法国最大的时尚鞋和包包网上商店
2019/06/08 全球购物
Lookfantastic澳大利亚官网:英国知名美妆购物网站
2021/01/07 全球购物
路由表示做什么用的?在linux环境中怎么来配置一条默认路由?
2013/06/07 面试题
党员先进性教育整改措施
2014/09/18 职场文书
通知的写法
2015/04/23 职场文书
公司宣传语大全
2015/07/13 职场文书
redis 存储对象的方法对比分析
2021/08/02 Redis