python3使用scrapy生成csv文件代码示例


Posted in Python onDecember 28, 2017

去腾讯招聘网的信息,这个小项目有人做过,本着一个新手学习的目的,所以自己也来做着玩玩,大家可以参考一下。

这里使用的是调用cmdline命令来生成csv文件,而不是importcsv模块。

from scrapy import cmdline 
cmdline.execute("scrapy crawl field -o info.csv -t csv".split())

这段代码我保存在一个自建的.py文件中,然后在主文件中调用这个模块,这样就不用每次在cmd中敲命令了,大家可以使用这种方法我觉得很方便的。

进入正题(获取腾讯招聘网的信息http://hr.tencent.com/position.php):

python3使用scrapy生成csv文件代码示例

保存的csv文件内容:

python3使用scrapy生成csv文件代码示例

我们需要获取的数据首先应该使用scrapy的items容器记录下来:

import scrapy 
 
class GetItem(scrapy.Item): 
  name = scrapy.Field()    #招聘单位 
  genre = scrapy.Field()   #招聘类型 
  number = scrapy.Field()   #招聘人数 
  place = scrapy.Field()   #招聘地点 
  time = scrapy.Field()    #招聘时间

以上为我们等一下需要获取的信息

然后我们新建spider文件来编写爬去网站的代码:

# _*_ coding:utf-8 _*_ 
import scrapy 
from scrapy.http import Request 
from time import sleep 
import os 
import sys 
sys.path.append("D:\PYscrapy\get_Field") #我使用这种路径添加的方式来调用GetItem函数和main函数 
from get_Field.items import GetItem 
import main  #main函数开头就说了两行调用程序的代码,你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便 
 
class Tencentzhaopin(scrapy.Spider): 
  name = "field"  #这个程序要执行的唯一标识名 可以自己设置 
  start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] #首页网址 
  url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀,等一下获取后缀 
  count = 0 
  names = []    #这五个列表记录我们获取的信息 
  genres = [] 
  numbers = [] 
  places = [] 
  times = [] 
  filename = "data.txt"  #保存的文件名 
  if os.path.exists(filename) == True:  #判断这个文件是否已经存在文件夹中,有就移除掉。 
    os.remove(filename) 
 
  def parse(self,response): 
    self.count += 1 #设置我们需要爬去多少页,不设置的话会有几百页需要爬取 
    name = response.xpath('//table//td[@class="l square"]//a//text()').extract() 
    #通过xpath方法获取我们需要的内容,再使用extract()抽取器获取到 
    for i in name:    #利用循环将每一次的内容存入我们上面设置的列表中去,方便后面存入csv文件(下面4个类似) 
      self.names.append(i) 
    genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract() 
    for i in genre: 
      self.genres.append(i) 
    number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract() 
    for i in number: 
      self.numbers.append(i) 
    place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract() 
    for i in place: 
      self.places.append(i) 
    time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract() 
    for i in time: 
      self.times.append(i) 
 
    new_url = response.xpath('//*[@id="next"]//@href').extract() 
    #前面我们说过需要翻页操作,所以这里是获取到翻页的后缀 
    new_url = self.url+new_url[0] #再与前缀结合,获取到一个完整的下一页链接 
    sleep(0.5) #我们设置一个翻页的时间,太快了不好。。。。(我是这样想的) 
 
    #下面就是信息存入items容器 
    for i in range(len(self.genres)): #for循环列表的长度,获取到所有信息 
      info = GetItem()  #实例一个类info用来保存数据 
      info["name"] = self.names[i]    #将每一个属性列表中的每一个数据保存依次保存到info中去 
      info["genre"] = self.genres[i] 
      info["number"] = self.numbers[i] 
      info["place"] = self.places[i] 
      info["time"] = self.times[i] 
      yield info #这个yield注意了,嗯,这就很舒服了 
      #我们将每一次保存的数据返回,但是返回了我们还需要程序继续执行,所以使用yield函数返回后继续执行 
 
    if self.count<=20: 
      yield Request(url=new_url,callback=self.parse) 
      #如果满足20页以内,我们callback返回下一页的链接继续到parse这个默认函数,

以上是spider中的代码。

其实实现这个代码不难,唯一有一点小疑惑的地方可能就是第一个yield的使用,一开始我是使用调用一个新的函数,然后在里面实现值的返回,但是麻烦还有一点小问题,所以这里我们就是用这种简单的方式就行了,yield将每次循环的数据返回,返回后再继续执行循环。

总结

以上就是本文关于python3使用scrapy生成csv文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python使用marshal模块序列化实例
Sep 25 Python
DJANGO-ALLAUTH社交用户系统的安装配置
Nov 18 Python
用Python写冒泡排序代码
Apr 12 Python
Python基于numpy灵活定义神经网络结构的方法
Aug 19 Python
从请求到响应过程中django都做了哪些处理
Aug 01 Python
Django实现web端tailf日志文件功能及实例详解
Jul 28 Python
Python中typing模块与类型注解的使用方法
Aug 05 Python
twilio python自动拨打电话,播放自定义mp3音频的方法
Aug 08 Python
3种python调用其他脚本的方法
Jan 06 Python
基于Python实现视频的人脸融合功能
Jun 12 Python
PyCharm安装PyQt5及其工具(Qt Designer、PyUIC、PyRcc)的步骤详解
Nov 02 Python
Pytest实现setup和teardown的详细使用详解
Apr 17 Python
浅谈Scrapy框架普通反爬虫机制的应对策略
Dec 28 #Python
scrapy爬虫实例分享
Dec 28 #Python
Python解决N阶台阶走法问题的方法分析
Dec 28 #Python
Python实现嵌套列表去重方法示例
Dec 28 #Python
Python登录并获取CSDN博客所有文章列表代码实例
Dec 28 #Python
python 寻找优化使成本函数最小的最优解的方法
Dec 28 #Python
python机器学习案例教程——K最近邻算法的实现
Dec 28 #Python
You might like
BBS(php &amp; mysql)完整版(七)
2006/10/09 PHP
PHP 计算代码执行耗时的代码修正网上普遍错误
2011/05/14 PHP
php自定义apk安装包实例
2014/10/20 PHP
php实现refresh刷新页面批量导入数据的方法
2014/12/23 PHP
php实现文件上传及头像预览功能
2017/01/15 PHP
PHP+fiddler抓包采集微信文章阅读数点赞数的思路详解
2019/12/20 PHP
javascript学习(一)构建自己的JS库
2013/01/02 Javascript
JavaScript实现自己的DOM选择器原理及代码
2013/03/04 Javascript
jquery模拟LCD 时钟的html文件源代码
2014/06/16 Javascript
AngularJS快速入门
2015/04/02 Javascript
Node.js刷新session过期时间的实现方法推荐
2016/05/18 Javascript
详解JavaScript中Hash Map映射结构的实现
2016/05/21 Javascript
微信小程序 数据绑定及运算的简单实例
2017/09/20 Javascript
详解redis在nodejs中的应用
2018/05/02 NodeJs
Vue表单类的父子组件数据传递示例
2018/05/03 Javascript
echarts同一页面中四个图表切换的js数据交互方法示例
2018/07/03 Javascript
countUp.js实现数字滚动效果
2019/10/18 Javascript
[52:27]2018DOTA2亚洲邀请赛 3.31 小组赛B组 paiN vs Secret
2018/04/01 DOTA
python使用xmlrpc实例讲解
2013/12/17 Python
Python变量和字符串详解
2017/04/29 Python
python ftp 按目录结构上传下载的实现代码
2018/09/12 Python
python简单贪吃蛇开发
2019/01/28 Python
python多线程+代理池爬取天天基金网、股票数据过程解析
2019/08/13 Python
Jupyter notebook命令和编辑模式常用快捷键汇总
2020/11/17 Python
美国钻石商店:Zales
2016/11/20 全球购物
公司财务工作总结的自我评价
2013/11/23 职场文书
实习生单位鉴定意见
2013/12/04 职场文书
聘用意向书范本
2014/04/01 职场文书
献爱心活动总结
2014/05/07 职场文书
运动会入场口号
2014/06/07 职场文书
装饰公司活动策划方案
2014/08/23 职场文书
观后感的写法
2015/06/19 职场文书
导游词之丹东鸭绿江
2019/10/24 职场文书
基于MySql验证的vsftpd虚拟用户
2021/11/07 MySQL
Mysql 如何合理地统计一个数据库里的所有表的数据量
2022/04/18 MySQL
ubuntu开机后ROS程序自启动问题
2022/12/24 Servers