python爬虫爬取网页表格数据


Posted in Python onMarch 07, 2018

用python爬取网页表格数据,供大家参考,具体内容如下

from bs4 import BeautifulSoup 
import requests 
import csv 
import bs4 
 
 
#检查url地址 
def check_link(url): 
 try: 
   
  r = requests.get(url) 
  r.raise_for_status() 
  r.encoding = r.apparent_encoding 
  return r.text 
 except: 
  print('无法链接服务器!!!') 
 
 
#爬取资源 
def get_contents(ulist,rurl): 
 soup = BeautifulSoup(rurl,'lxml') 
 trs = soup.find_all('tr') 
 for tr in trs: 
  ui = [] 
  for td in tr: 
   ui.append(td.string) 
  ulist.append(ui) 
  
#保存资源 
def save_contents(urlist): 
 with open("D:/2016年中国企业500强排行榜.csv",'w') as f: 
  writer = csv.writer(f) 
  writer.writerow(['2016年中国企业500强排行榜']) 
  for i in range(len(urlist)): 
   writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) 
def main(): 
 urli = [] 
 url = "http://www.maigoo.com/news/463071.html" 
 rs = check_link(url) 
 get_contents(urli,rs) 
 save_contents(urli) 
 
main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现二分查找算法实例
May 26 Python
python使用urllib2提交http post请求的方法
May 26 Python
Python减少循环层次和缩进的技巧分析
Mar 15 Python
Python使用BeautifulSoup库解析HTML基本使用教程
Mar 31 Python
python僵尸进程产生的原因
Jul 21 Python
Python编程实现蚁群算法详解
Nov 13 Python
PyQt5 pyqt多线程操作入门
May 05 Python
python实现抖音视频批量下载
Jun 20 Python
python中map的基本用法示例
Sep 10 Python
Python3爬虫学习入门教程
Dec 11 Python
python3射线法判断点是否在多边形内
Jun 28 Python
python删除csv文件的行列
Apr 06 Python
python使用mysql的两种使用方式
Mar 07 #Python
python表格存取的方法
Mar 07 #Python
Django中Model的使用方法教程
Mar 07 #Python
python使用opencv按一定间隔截取视频帧
Mar 06 #Python
python+ffmpeg视频并发直播压力测试
Mar 06 #Python
小白如何入门Python? 制作一个网站为例
Mar 06 #Python
python调用系统ffmpeg实现视频截图、http发送
Mar 06 #Python
You might like
老照片 - 几十年前的收音机与人
2021/03/02 无线电
php curl 登录163邮箱并抓取邮箱好友列表的代码(经测试)
2011/04/07 PHP
PHP实现简单实用的分页类代码
2016/04/08 PHP
JavaScript在for循环中绑定事件解决事件参数不同的情况
2014/01/20 Javascript
jQuery插件multiScroll实现全屏鼠标滚动切换页面特效
2015/04/12 Javascript
jQuery居中元素scrollleft计算方法示例
2017/01/16 Javascript
JS+DIV实现的卷帘效果示例
2017/03/22 Javascript
js实现按座位号抽奖
2017/04/05 Javascript
Angularjs中使用轮播图指令swiper
2017/05/30 Javascript
JS实现页面打印(整体、局部)
2017/08/18 Javascript
angular2中使用第三方js库的实例
2018/02/26 Javascript
VuePress 静态网站生成方法步骤
2019/02/14 Javascript
Vue源码学习之关于对Array的数据侦听实现
2019/04/23 Javascript
使用python编写批量卸载手机中安装的android应用脚本
2014/07/21 Python
Python实现拷贝多个文件到同一目录的方法
2016/09/19 Python
详解 Python中LEGB和闭包及装饰器
2017/08/03 Python
Python基于hashlib模块的文件MD5一致性加密验证示例
2018/02/10 Python
Python用for循环实现九九乘法表
2018/05/31 Python
如何使用Python 打印各种三角形
2019/06/28 Python
anaconda如何查看并管理python环境
2019/07/05 Python
python通过txt文件批量安装依赖包的实现步骤
2019/08/13 Python
OpenCV哈里斯(Harris)角点检测的实现
2020/01/15 Python
基于HTML5 Canvas 实现商场监控实例详解
2017/11/20 HTML / CSS
Java中的异常处理机制的简单原理和应用
2013/04/27 面试题
前台文员岗位职责及工作流程
2013/11/19 职场文书
酒店销售主管岗位职责
2014/01/04 职场文书
单位实习证明怎么写
2014/01/17 职场文书
幼儿园教研活动方案
2014/01/19 职场文书
工艺员岗位职责
2014/02/11 职场文书
《称象》教学反思
2014/04/25 职场文书
第一批党的群众路线教育实践活动总结报告
2014/07/03 职场文书
“六查”、“三学”、“三干”查摆问题整改措施
2014/09/27 职场文书
导师工作推荐信
2015/03/27 职场文书
小学一年级数学教学反思
2016/02/16 职场文书
2016年学校禁毒宣传活动工作总结
2016/04/05 职场文书
描写九月优美句子(39条)
2019/09/11 职场文书