Python实现抓取网页生成Excel文件的方法示例


Posted in Python onAugust 05, 2017

本文实例讲述了Python实现抓取网页生成Excel文件的方法。分享给大家供大家参考,具体如下:

Python抓网页,主要用到了PyQuery,这个跟jQuery用法一样,超级给力

示例代码如下:

#-*- encoding:utf-8 -*-
import sys
import locale
import string
import traceback
import datetime
import urllib2
from pyquery import PyQuery as pq
# 确定运行环境的encoding
reload(sys);
sys.setdefaultencoding('utf8');
f = open('gongsi.csv', 'w');
for i in range(1,24):
  d = pq(url="http://www.yourwebname.com/?Code=HANGYELINGYU&myFlag=allShow&SiteID=122&PageIndex=%d"%(i));
  itemsa=d('dl dt a') #取title元素
  itemsb=d('dl dd') #取title元素
  for j in range(0,len(itemsa)):
    f.write("%s,\"%s\"\n"%(itemsa[j].get('title'),itemsb[j*2].text));
  #end for
#end for
f.close();

接下来就是用Notepad++打开gongsi.csv,然后转成ANSI编码格式,保存。再用Excel软件打开这个csv文件,另存为Excel文件

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python单线程实现多个定时器示例
Mar 30 Python
python实现的解析crontab配置文件代码
Jun 30 Python
Python中unittest用法实例
Sep 25 Python
Python Web框架Flask信号机制(signals)介绍
Jan 01 Python
编写Python脚本批量下载DesktopNexus壁纸的教程
May 06 Python
Python列表切片用法示例
Apr 19 Python
Python DataFrame.groupby()聚合函数,分组级运算
Sep 18 Python
python开发准备工作之配置虚拟环境(非常重要)
Feb 11 Python
Python动态参数/命名空间/函数嵌套/global和nonlocal
May 29 Python
pytorch 利用lstm做mnist手写数字识别分类的实例
Jan 10 Python
深入浅析pycharm中 Make available to all projects的含义
Sep 15 Python
Python更改pip镜像源的方法示例
Dec 01 Python
Python基于Socket实现的简单聊天程序示例
Aug 05 #Python
Python Socket实现简单TCP Server/client功能示例
Aug 05 #Python
对pandas的dataframe绘图并保存的实现方法
Aug 05 #Python
解决PyCharm中光标变粗的问题
Aug 05 #Python
Python实现的中国剩余定理算法示例
Aug 05 #Python
python爬虫_自动获取seebug的poc实例
Aug 05 #Python
python中的break、continue、exit()、pass全面解析
Aug 05 #Python
You might like
php面向对象全攻略 (十一)__toString()用法 克隆对象 __call处理调用错误
2009/09/30 PHP
Codeigniter中mkdir创建目录遇到权限问题和解决方法
2014/07/25 PHP
[原创]ThinkPHP中SHOW_RUN_TIME不能正常显示运行时间的解决方法
2015/10/10 PHP
PHP实现清除MySQL死连接的方法
2016/07/23 PHP
如何通过View::first使用Laravel Blade的动态模板详解
2017/09/21 PHP
JavaScript constructor和instanceof,JSOO中的一对欢喜冤家
2009/05/25 Javascript
js 数值项目的格式化函数代码
2010/05/14 Javascript
jquery 学习之二 属性 文本与值(text,val)
2010/11/25 Javascript
js(jQuery)获取时间的方法及常用时间类搜集
2013/10/23 Javascript
js中的replace方法使用介绍
2013/10/28 Javascript
javascript实现类似java中getClass()得到对象类名的方法
2015/07/27 Javascript
Javascript日期格式化format函数的使用方法
2016/08/30 Javascript
JS实现淡入淡出图片效果的方法分析
2016/12/20 Javascript
JS实现简易的图片拖拽排序实例代码
2017/06/09 Javascript
详解webpack+vue-cli项目打包技巧
2017/06/17 Javascript
Vue组件化通讯的实例代码
2017/06/23 Javascript
解决layer.open后laydate失效的问题
2019/09/06 Javascript
Layui点击图片弹框预览的实现方法
2019/09/16 Javascript
javascript设计模式 ? 装饰模式原理与应用实例分析
2020/04/14 Javascript
[01:05]主宰至宝剑心之遗
2017/03/16 DOTA
[42:00]完美世界DOTA2联赛PWL S3 Phoenix vs INK ICE 第一场 12.13
2020/12/17 DOTA
python使用os模块的os.walk遍历文件夹示例
2014/01/27 Python
Python加pyGame实现的简单拼图游戏实例
2015/05/15 Python
Django中使用Celery的方法示例
2018/11/29 Python
python函数中将变量名转换成字符串实例
2020/05/11 Python
Python基于正则表达式实现计算器功能
2020/07/13 Python
html5使用canvas绘制一张图片
2014/12/15 HTML / CSS
配件采购员岗位职责
2013/12/03 职场文书
2015大学生实训报告
2014/11/05 职场文书
2014年学校工作总结
2014/11/20 职场文书
酒店人事主管岗位职责
2015/04/11 职场文书
队名及霸气口号大全
2015/12/25 职场文书
党员干部学法用法心得体会
2016/01/21 职场文书
学校运动会开幕词
2016/03/03 职场文书
2019客服个人年终工作总结范文
2019/07/08 职场文书
JS数组方法some、every和find的使用详情
2021/10/05 Javascript