python爬虫爬取网页表格数据


Posted in Python onMarch 07, 2018

用python爬取网页表格数据,供大家参考,具体内容如下

from bs4 import BeautifulSoup 
import requests 
import csv 
import bs4 
 
 
#检查url地址 
def check_link(url): 
 try: 
   
  r = requests.get(url) 
  r.raise_for_status() 
  r.encoding = r.apparent_encoding 
  return r.text 
 except: 
  print('无法链接服务器!!!') 
 
 
#爬取资源 
def get_contents(ulist,rurl): 
 soup = BeautifulSoup(rurl,'lxml') 
 trs = soup.find_all('tr') 
 for tr in trs: 
  ui = [] 
  for td in tr: 
   ui.append(td.string) 
  ulist.append(ui) 
  
#保存资源 
def save_contents(urlist): 
 with open("D:/2016年中国企业500强排行榜.csv",'w') as f: 
  writer = csv.writer(f) 
  writer.writerow(['2016年中国企业500强排行榜']) 
  for i in range(len(urlist)): 
   writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) 
def main(): 
 urli = [] 
 url = "http://www.maigoo.com/news/463071.html" 
 rs = check_link(url) 
 get_contents(urli,rs) 
 save_contents(urli) 
 
main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现文件分组复制到不同目录的例子
Jun 04 Python
Python多线程编程(四):使用Lock互斥锁
Apr 05 Python
关于python的bottle框架跨域请求报错问题的处理方法
Mar 19 Python
python正则表达式的使用
Jun 12 Python
Python中使用多进程来实现并行处理的方法小结
Aug 09 Python
python: line=f.readlines()消除line中\n的方法
Mar 19 Python
使用Python3+PyQT5+Pyserial 实现简单的串口工具方法
Feb 13 Python
Pytorch加载部分预训练模型的参数实例
Aug 18 Python
Python如何实现动态数组
Nov 02 Python
Keras自定义IOU方式
Jun 10 Python
Python-for循环的内部机制
Jun 12 Python
基于Python实现股票收益率分析
Apr 02 Python
python使用mysql的两种使用方式
Mar 07 #Python
python表格存取的方法
Mar 07 #Python
Django中Model的使用方法教程
Mar 07 #Python
python使用opencv按一定间隔截取视频帧
Mar 06 #Python
python+ffmpeg视频并发直播压力测试
Mar 06 #Python
小白如何入门Python? 制作一个网站为例
Mar 06 #Python
python调用系统ffmpeg实现视频截图、http发送
Mar 06 #Python
You might like
当年上海收录机产品生产,进口和价格情况
2021/03/04 无线电
转换中文日期的PHP程序
2006/10/09 PHP
php防止用户重复提交表单
2015/11/02 PHP
网站被恶意镜像怎么办 php一段代码轻松搞定(全面版)
2018/10/23 PHP
(推荐一个超好的JS函数库)S.Sams Lifexperience ScriptClassLib
2007/04/29 Javascript
IE与FireFox中的childNodes区别
2011/10/20 Javascript
javascript实现表格排序 编辑 拖拽 缩放
2015/01/02 Javascript
JavaScript如何调试有哪些建议和技巧附五款有用的调试工具
2015/10/28 Javascript
AngularJs 60分钟入门基础教程
2016/04/03 Javascript
Linux CentOS系统下安装node.js与express的方法
2017/04/01 Javascript
JavaScript实现兼容IE6的收起折叠与展开效果实例
2017/09/20 Javascript
详解vue+css3做交互特效的方法
2017/11/20 Javascript
JS+HTML5 Canvas实现简单的写字板功能示例
2018/08/30 Javascript
vue-cli 打包使用history模式的后端配置实例
2018/09/20 Javascript
react native 原生模块桥接的简单说明小结
2019/02/26 Javascript
一个Java程序猿眼中的前后端分离以及Vue.js入门(推荐)
2019/04/19 Javascript
深入理解令牌认证机制(token)
2019/08/22 Javascript
vue中英文切换实例代码
2020/01/21 Javascript
原生js实现随机点名
2020/07/05 Javascript
Vue解决echart在element的tab切换时显示不正确问题
2020/08/03 Javascript
在antd4.0中Form使用initialValue操作
2020/11/02 Javascript
js实现类选择器和name属性选择器的示例步骤
2021/02/07 Javascript
详解python中asyncio模块
2018/03/03 Python
python 阶乘累加和的实例
2019/02/01 Python
详解Python3中ceil()函数用法
2019/02/19 Python
Python异步操作MySQL示例【使用aiomysql】
2019/05/16 Python
django-利用session机制实现唯一登录的例子
2020/03/16 Python
师范大学音乐表演专业求职信
2013/10/23 职场文书
自我鉴定范文
2013/11/10 职场文书
音乐教学案例
2014/01/30 职场文书
专业技术职务聘任书
2014/03/29 职场文书
中班开学寄语
2014/04/04 职场文书
消防安全责任书
2014/04/14 职场文书
个人简历自荐信
2014/06/26 职场文书
公司领导九九重阳节发言稿2014
2014/09/25 职场文书
2016年第32个教师节红领巾广播稿
2015/12/18 职场文书