Python实现抓取网页生成Excel文件的方法示例


Posted in Python onAugust 05, 2017

本文实例讲述了Python实现抓取网页生成Excel文件的方法。分享给大家供大家参考,具体如下:

Python抓网页,主要用到了PyQuery,这个跟jQuery用法一样,超级给力

示例代码如下:

#-*- encoding:utf-8 -*-
import sys
import locale
import string
import traceback
import datetime
import urllib2
from pyquery import PyQuery as pq
# 确定运行环境的encoding
reload(sys);
sys.setdefaultencoding('utf8');
f = open('gongsi.csv', 'w');
for i in range(1,24):
  d = pq(url="http://www.yourwebname.com/?Code=HANGYELINGYU&myFlag=allShow&SiteID=122&PageIndex=%d"%(i));
  itemsa=d('dl dt a') #取title元素
  itemsb=d('dl dd') #取title元素
  for j in range(0,len(itemsa)):
    f.write("%s,\"%s\"\n"%(itemsa[j].get('title'),itemsb[j*2].text));
  #end for
#end for
f.close();

接下来就是用Notepad++打开gongsi.csv,然后转成ANSI编码格式,保存。再用Excel软件打开这个csv文件,另存为Excel文件

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python实现抓取页面上链接的简单爬虫分享
Jan 21 Python
Appium Python自动化测试之环境搭建的步骤
Jan 23 Python
python 去除二维数组/二维列表中的重复行方法
Jan 23 Python
Django中在xadmin中集成DjangoUeditor过程详解
Jul 24 Python
Python企业编码生成系统总体系统设计概述
Jul 26 Python
python正则爬取某段子网站前20页段子(request库)过程解析
Aug 10 Python
PyTorch中常用的激活函数的方法示例
Aug 20 Python
python支付宝支付示例详解
Aug 22 Python
使用OpenCV-python3实现滑动条更新图像的Canny边缘检测功能
Dec 12 Python
Python random库使用方法及异常处理方案
Mar 02 Python
使用Python Tkinter实现剪刀石头布小游戏功能
Oct 23 Python
Django Admin后台模型列表页面如何添加自定义操作按钮
Nov 11 Python
Python基于Socket实现的简单聊天程序示例
Aug 05 #Python
Python Socket实现简单TCP Server/client功能示例
Aug 05 #Python
对pandas的dataframe绘图并保存的实现方法
Aug 05 #Python
解决PyCharm中光标变粗的问题
Aug 05 #Python
Python实现的中国剩余定理算法示例
Aug 05 #Python
python爬虫_自动获取seebug的poc实例
Aug 05 #Python
python中的break、continue、exit()、pass全面解析
Aug 05 #Python
You might like
pdo中使用参数化查询sql
2011/08/11 PHP
session在php5.3中的变化 session_is_registered() is deprecated in
2013/11/12 PHP
ecshop实现smtp发送邮件
2015/02/03 PHP
php实现在服务器上创建目录的方法
2015/03/16 PHP
基于PHPexecl类生成复杂的报表表头示例
2016/10/14 PHP
laravel实现分页样式替换示例代码(增加首、尾页)
2017/09/22 PHP
PHP实现的数组和XML文件相互转换功能示例
2018/03/15 PHP
PHP排序算法之基数排序(Radix Sort)实例详解
2018/04/21 PHP
js实现DIV的一些简单控制
2007/06/04 Javascript
jQuery方法简洁实现隔行换色及toggleClass的使用
2013/03/15 Javascript
js实现右下角可关闭最小化div(可用于展示推荐内容)
2013/06/24 Javascript
jquery ajax跨域解决方法(json方式)
2014/02/04 Javascript
详解JavaScript函数
2015/12/01 Javascript
jQuery动画效果图片轮播特效
2016/01/12 Javascript
微信小程序 底部导航栏目开发资料
2016/12/05 Javascript
解决bootstrap中使用modal加载kindeditor时弹出层文本框不能输入的问题
2017/06/05 Javascript
微信小程序实现简单评论功能
2018/11/28 Javascript
javascript使用canvas实现饼状图效果
2020/09/08 Javascript
python获取当前时间对应unix时间戳的方法
2015/05/15 Python
python web框架学习笔记
2016/05/03 Python
使用Python & Flask 实现RESTful Web API的实例
2017/09/19 Python
python实现简易版计算器
2020/06/22 Python
python使用tensorflow保存、加载和使用模型的方法
2018/01/31 Python
Python matplotlib 画图窗口显示到gui或者控制台的实例
2018/05/24 Python
python 3.6.7实现端口扫描器
2019/09/04 Python
使用Python合成图片的实现代码(图片添加个性化文本,图片上叠加其他图片)
2020/04/30 Python
用CSS3的box-reflect设置文字倒影效果的方法讲解
2016/03/07 HTML / CSS
Europcar英国:英国汽车和货车租赁
2017/01/21 全球购物
教导处工作制度
2014/01/18 职场文书
动员大会主持词
2014/03/20 职场文书
2014年寒假社会实践活动心得体会
2014/04/07 职场文书
党的群众路线教育实践活动批评与自我批评发言稿
2014/10/16 职场文书
碧霞祠导游词
2015/02/09 职场文书
养成教育工作总结
2015/08/13 职场文书
先进工作者主要事迹材料
2015/11/03 职场文书
WebWorker 封装 JavaScript 沙箱详情
2021/11/02 Javascript