python3使用scrapy生成csv文件代码示例


Posted in Python onDecember 28, 2017

去腾讯招聘网的信息,这个小项目有人做过,本着一个新手学习的目的,所以自己也来做着玩玩,大家可以参考一下。

这里使用的是调用cmdline命令来生成csv文件,而不是importcsv模块。

from scrapy import cmdline 
cmdline.execute("scrapy crawl field -o info.csv -t csv".split())

这段代码我保存在一个自建的.py文件中,然后在主文件中调用这个模块,这样就不用每次在cmd中敲命令了,大家可以使用这种方法我觉得很方便的。

进入正题(获取腾讯招聘网的信息http://hr.tencent.com/position.php):

python3使用scrapy生成csv文件代码示例

保存的csv文件内容:

python3使用scrapy生成csv文件代码示例

我们需要获取的数据首先应该使用scrapy的items容器记录下来:

import scrapy 
 
class GetItem(scrapy.Item): 
  name = scrapy.Field()    #招聘单位 
  genre = scrapy.Field()   #招聘类型 
  number = scrapy.Field()   #招聘人数 
  place = scrapy.Field()   #招聘地点 
  time = scrapy.Field()    #招聘时间

以上为我们等一下需要获取的信息

然后我们新建spider文件来编写爬去网站的代码:

# _*_ coding:utf-8 _*_ 
import scrapy 
from scrapy.http import Request 
from time import sleep 
import os 
import sys 
sys.path.append("D:\PYscrapy\get_Field") #我使用这种路径添加的方式来调用GetItem函数和main函数 
from get_Field.items import GetItem 
import main  #main函数开头就说了两行调用程序的代码,你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便 
 
class Tencentzhaopin(scrapy.Spider): 
  name = "field"  #这个程序要执行的唯一标识名 可以自己设置 
  start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] #首页网址 
  url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀,等一下获取后缀 
  count = 0 
  names = []    #这五个列表记录我们获取的信息 
  genres = [] 
  numbers = [] 
  places = [] 
  times = [] 
  filename = "data.txt"  #保存的文件名 
  if os.path.exists(filename) == True:  #判断这个文件是否已经存在文件夹中,有就移除掉。 
    os.remove(filename) 
 
  def parse(self,response): 
    self.count += 1 #设置我们需要爬去多少页,不设置的话会有几百页需要爬取 
    name = response.xpath('//table//td[@class="l square"]//a//text()').extract() 
    #通过xpath方法获取我们需要的内容,再使用extract()抽取器获取到 
    for i in name:    #利用循环将每一次的内容存入我们上面设置的列表中去,方便后面存入csv文件(下面4个类似) 
      self.names.append(i) 
    genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract() 
    for i in genre: 
      self.genres.append(i) 
    number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract() 
    for i in number: 
      self.numbers.append(i) 
    place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract() 
    for i in place: 
      self.places.append(i) 
    time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract() 
    for i in time: 
      self.times.append(i) 
 
    new_url = response.xpath('//*[@id="next"]//@href').extract() 
    #前面我们说过需要翻页操作,所以这里是获取到翻页的后缀 
    new_url = self.url+new_url[0] #再与前缀结合,获取到一个完整的下一页链接 
    sleep(0.5) #我们设置一个翻页的时间,太快了不好。。。。(我是这样想的) 
 
    #下面就是信息存入items容器 
    for i in range(len(self.genres)): #for循环列表的长度,获取到所有信息 
      info = GetItem()  #实例一个类info用来保存数据 
      info["name"] = self.names[i]    #将每一个属性列表中的每一个数据保存依次保存到info中去 
      info["genre"] = self.genres[i] 
      info["number"] = self.numbers[i] 
      info["place"] = self.places[i] 
      info["time"] = self.times[i] 
      yield info #这个yield注意了,嗯,这就很舒服了 
      #我们将每一次保存的数据返回,但是返回了我们还需要程序继续执行,所以使用yield函数返回后继续执行 
 
    if self.count<=20: 
      yield Request(url=new_url,callback=self.parse) 
      #如果满足20页以内,我们callback返回下一页的链接继续到parse这个默认函数,

以上是spider中的代码。

其实实现这个代码不难,唯一有一点小疑惑的地方可能就是第一个yield的使用,一开始我是使用调用一个新的函数,然后在里面实现值的返回,但是麻烦还有一点小问题,所以这里我们就是用这种简单的方式就行了,yield将每次循环的数据返回,返回后再继续执行循环。

总结

以上就是本文关于python3使用scrapy生成csv文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python 实现归并排序算法
Jun 05 Python
Django中几种重定向方法
Apr 28 Python
Python SQLite3简介
Feb 22 Python
Python爬虫工程师面试问题总结
Mar 22 Python
python3下使用cv2.imwrite存储带有中文路径图片的方法
May 10 Python
python 检查文件mime类型的方法
Dec 08 Python
python面向对象入门教程之从代码复用开始(一)
Dec 11 Python
pytorch 自定义卷积核进行卷积操作方式
Dec 30 Python
python实现扫雷游戏
Mar 03 Python
Django restful framework生成API文档过程详解
Nov 12 Python
Python如何使用ConfigParser读取配置文件
Nov 12 Python
pytorch实现加载保存查看checkpoint文件
Jul 15 Python
浅谈Scrapy框架普通反爬虫机制的应对策略
Dec 28 #Python
scrapy爬虫实例分享
Dec 28 #Python
Python解决N阶台阶走法问题的方法分析
Dec 28 #Python
Python实现嵌套列表去重方法示例
Dec 28 #Python
Python登录并获取CSDN博客所有文章列表代码实例
Dec 28 #Python
python 寻找优化使成本函数最小的最优解的方法
Dec 28 #Python
python机器学习案例教程——K最近邻算法的实现
Dec 28 #Python
You might like
php的ajax框架xajax入门与试用介绍
2010/12/19 PHP
php统计文件大小,以GB、MB、KB、B输出
2011/05/29 PHP
浅谈discuz密码加密的方式
2014/05/22 PHP
PHP模拟登陆163邮箱发邮件及获取通讯录列表的方法
2015/03/07 PHP
教你在PHPStorm中配置Xdebug
2015/07/27 PHP
php简单中奖算法(实例)
2017/08/15 PHP
php安装扩展mysqli的实现步骤及报错解决办法
2017/09/23 PHP
myEvent.js javascript跨浏览器事件框架
2011/10/24 Javascript
JavaScript之引用类型介绍
2012/08/10 Javascript
JavaScript排序算法之希尔排序的2个实例
2014/04/04 Javascript
Angularjs编写KindEditor,UEidtor,jQuery指令
2015/01/28 Javascript
jQuery+Ajax实现无刷新操作
2016/01/04 Javascript
jQuery使用ajax跨域获取数据的简单实例
2016/05/18 Javascript
深入理解jQuery事件绑定
2016/06/02 Javascript
Js删除数组中某一项或几项的几种方法(推荐)
2016/07/27 Javascript
深入浅析JavaScript中的3DES
2016/08/24 Javascript
AngularJs Dependency Injection(DI,依赖注入)
2016/09/02 Javascript
JS一个简单的注册页面实例
2017/09/05 Javascript
Angularjs 手写日历的实现代码(不用插件)
2017/10/18 Javascript
详解Javascript 中的 class、构造函数、工厂函数
2017/12/20 Javascript
vue弹窗消息组件的使用方法
2020/09/24 Javascript
Promise.all中对于reject的处理方法
2018/08/01 Javascript
python复制文件代码实现
2013/12/23 Python
用python + openpyxl处理excel2007文档思路以及心得
2014/07/14 Python
Python获取linux主机ip的简单实现方法
2016/04/18 Python
python使用turtle库与random库绘制雪花
2018/06/22 Python
python 解决mysql where in 对列表(list,,array)问题
2020/06/06 Python
如何理解委托
2012/01/06 面试题
园林设计师自荐信
2013/11/18 职场文书
创先争优活动方案
2014/02/12 职场文书
《罗布泊,消逝的仙湖》教学反思
2014/03/01 职场文书
李敖北大演讲稿
2014/05/24 职场文书
大学教师师德师风演讲稿
2014/08/22 职场文书
新年祝酒词大全
2015/08/11 职场文书
《鲁班学艺》读后感3篇
2019/11/27 职场文书
解决Mysql多行子查询的使用及空值问题
2022/01/22 MySQL