python3使用scrapy生成csv文件代码示例


Posted in Python onDecember 28, 2017

去腾讯招聘网的信息,这个小项目有人做过,本着一个新手学习的目的,所以自己也来做着玩玩,大家可以参考一下。

这里使用的是调用cmdline命令来生成csv文件,而不是importcsv模块。

from scrapy import cmdline 
cmdline.execute("scrapy crawl field -o info.csv -t csv".split())

这段代码我保存在一个自建的.py文件中,然后在主文件中调用这个模块,这样就不用每次在cmd中敲命令了,大家可以使用这种方法我觉得很方便的。

进入正题(获取腾讯招聘网的信息http://hr.tencent.com/position.php):

python3使用scrapy生成csv文件代码示例

保存的csv文件内容:

python3使用scrapy生成csv文件代码示例

我们需要获取的数据首先应该使用scrapy的items容器记录下来:

import scrapy 
 
class GetItem(scrapy.Item): 
  name = scrapy.Field()    #招聘单位 
  genre = scrapy.Field()   #招聘类型 
  number = scrapy.Field()   #招聘人数 
  place = scrapy.Field()   #招聘地点 
  time = scrapy.Field()    #招聘时间

以上为我们等一下需要获取的信息

然后我们新建spider文件来编写爬去网站的代码:

# _*_ coding:utf-8 _*_ 
import scrapy 
from scrapy.http import Request 
from time import sleep 
import os 
import sys 
sys.path.append("D:\PYscrapy\get_Field") #我使用这种路径添加的方式来调用GetItem函数和main函数 
from get_Field.items import GetItem 
import main  #main函数开头就说了两行调用程序的代码,你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便 
 
class Tencentzhaopin(scrapy.Spider): 
  name = "field"  #这个程序要执行的唯一标识名 可以自己设置 
  start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] #首页网址 
  url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀,等一下获取后缀 
  count = 0 
  names = []    #这五个列表记录我们获取的信息 
  genres = [] 
  numbers = [] 
  places = [] 
  times = [] 
  filename = "data.txt"  #保存的文件名 
  if os.path.exists(filename) == True:  #判断这个文件是否已经存在文件夹中,有就移除掉。 
    os.remove(filename) 
 
  def parse(self,response): 
    self.count += 1 #设置我们需要爬去多少页,不设置的话会有几百页需要爬取 
    name = response.xpath('//table//td[@class="l square"]//a//text()').extract() 
    #通过xpath方法获取我们需要的内容,再使用extract()抽取器获取到 
    for i in name:    #利用循环将每一次的内容存入我们上面设置的列表中去,方便后面存入csv文件(下面4个类似) 
      self.names.append(i) 
    genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract() 
    for i in genre: 
      self.genres.append(i) 
    number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract() 
    for i in number: 
      self.numbers.append(i) 
    place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract() 
    for i in place: 
      self.places.append(i) 
    time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract() 
    for i in time: 
      self.times.append(i) 
 
    new_url = response.xpath('//*[@id="next"]//@href').extract() 
    #前面我们说过需要翻页操作,所以这里是获取到翻页的后缀 
    new_url = self.url+new_url[0] #再与前缀结合,获取到一个完整的下一页链接 
    sleep(0.5) #我们设置一个翻页的时间,太快了不好。。。。(我是这样想的) 
 
    #下面就是信息存入items容器 
    for i in range(len(self.genres)): #for循环列表的长度,获取到所有信息 
      info = GetItem()  #实例一个类info用来保存数据 
      info["name"] = self.names[i]    #将每一个属性列表中的每一个数据保存依次保存到info中去 
      info["genre"] = self.genres[i] 
      info["number"] = self.numbers[i] 
      info["place"] = self.places[i] 
      info["time"] = self.times[i] 
      yield info #这个yield注意了,嗯,这就很舒服了 
      #我们将每一次保存的数据返回,但是返回了我们还需要程序继续执行,所以使用yield函数返回后继续执行 
 
    if self.count<=20: 
      yield Request(url=new_url,callback=self.parse) 
      #如果满足20页以内,我们callback返回下一页的链接继续到parse这个默认函数,

以上是spider中的代码。

其实实现这个代码不难,唯一有一点小疑惑的地方可能就是第一个yield的使用,一开始我是使用调用一个新的函数,然后在里面实现值的返回,但是麻烦还有一点小问题,所以这里我们就是用这种简单的方式就行了,yield将每次循环的数据返回,返回后再继续执行循环。

总结

以上就是本文关于python3使用scrapy生成csv文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python每隔N秒运行指定函数的方法
Mar 16 Python
Python使用ntplib库同步校准当地时间的方法
Jul 02 Python
Scrapy基于selenium结合爬取淘宝的实例讲解
Jun 13 Python
Python实现定期检查源目录与备份目录的差异并进行备份功能示例
Feb 27 Python
Python正则表达式匹配和提取IP地址
Jun 06 Python
Python input函数使用实例解析
Nov 22 Python
如何使用python3获取当前路径及os.path.dirname的使用
Dec 13 Python
Python递归求出列表(包括列表中的子列表)的最大值实例
Feb 27 Python
python爬不同图片分别保存在不同文件夹中的实现
Apr 02 Python
Python torch.flatten()函数案例详解
Aug 30 Python
Python爬虫入门案例之爬取去哪儿旅游景点攻略以及可视化分析
Oct 16 Python
Python  lambda匿名函数和三元运算符
Apr 19 Python
浅谈Scrapy框架普通反爬虫机制的应对策略
Dec 28 #Python
scrapy爬虫实例分享
Dec 28 #Python
Python解决N阶台阶走法问题的方法分析
Dec 28 #Python
Python实现嵌套列表去重方法示例
Dec 28 #Python
Python登录并获取CSDN博客所有文章列表代码实例
Dec 28 #Python
python 寻找优化使成本函数最小的最优解的方法
Dec 28 #Python
python机器学习案例教程——K最近邻算法的实现
Dec 28 #Python
You might like
用PHP实现的生成静态HTML速度快类库
2007/03/31 PHP
php 取得瑞年与平年的天数的代码
2009/08/10 PHP
JAVASCRIPT 对象的创建与使用
2021/03/09 Javascript
Javascript实例教程(19) 使用HoTMetal(1)
2006/12/23 Javascript
Safari5中alert的无限循环BUG
2011/04/07 Javascript
js获取IFRAME当前的URL的方法
2013/11/13 Javascript
浅谈JavaScript作用域和闭包
2017/09/18 Javascript
vue 动态改变静态图片以及请求网络图片的实现方法
2018/02/07 Javascript
vue 实现复制内容到粘贴板clipboard的方法
2018/03/17 Javascript
vue写一个组件
2018/04/09 Javascript
axios向后台传递数组作为参数的方法
2018/08/11 Javascript
Python处理JSON数据并生成条形图
2016/08/05 Python
详解python函数传参是传值还是传引用
2018/01/16 Python
python用户评论标签匹配的解决方法
2018/05/31 Python
Python中logging.NullHandler 的使用教程
2018/11/29 Python
对python中Librosa的mfcc步骤详解
2019/01/09 Python
Python告诉你木马程序的键盘记录原理
2019/02/02 Python
python对文件目录的操作方法实例总结
2019/06/24 Python
Tensorflow实现酸奶销量预测分析
2019/07/19 Python
python线程中的同步问题及解决方法
2019/08/29 Python
python-sys.stdout作为默认函数参数的实现
2020/02/21 Python
Python3 利用face_recognition实现人脸识别的方法
2020/03/13 Python
使用tensorflow实现VGG网络,训练mnist数据集方式
2020/05/26 Python
Python爬取12306车次信息代码详解
2020/08/12 Python
使用python画出逻辑斯蒂映射(logistic map)中的分叉图案例
2020/12/11 Python
java程序员面试交流
2012/11/29 面试题
计算机专业毕业生自荐信
2013/12/31 职场文书
师德师风个人反思
2014/04/28 职场文书
如何签定毕业生就业协议书
2014/09/28 职场文书
大学生暑假实习总结
2015/07/13 职场文书
2015年秋季小学开学标语
2015/07/16 职场文书
乡镇团代会开幕词
2016/03/04 职场文书
如何在centos上使用yum安装rabbitmq-server
2021/03/31 Servers
python 实现mysql自动增删分区的方法
2021/04/01 Python
Python爬虫进阶之Beautiful Soup库详解
2021/04/29 Python
利用Python实时获取steam特惠游戏数据
2022/06/25 Python