python3使用scrapy生成csv文件代码示例


Posted in Python onDecember 28, 2017

去腾讯招聘网的信息,这个小项目有人做过,本着一个新手学习的目的,所以自己也来做着玩玩,大家可以参考一下。

这里使用的是调用cmdline命令来生成csv文件,而不是importcsv模块。

from scrapy import cmdline 
cmdline.execute("scrapy crawl field -o info.csv -t csv".split())

这段代码我保存在一个自建的.py文件中,然后在主文件中调用这个模块,这样就不用每次在cmd中敲命令了,大家可以使用这种方法我觉得很方便的。

进入正题(获取腾讯招聘网的信息http://hr.tencent.com/position.php):

python3使用scrapy生成csv文件代码示例

保存的csv文件内容:

python3使用scrapy生成csv文件代码示例

我们需要获取的数据首先应该使用scrapy的items容器记录下来:

import scrapy 
 
class GetItem(scrapy.Item): 
  name = scrapy.Field()    #招聘单位 
  genre = scrapy.Field()   #招聘类型 
  number = scrapy.Field()   #招聘人数 
  place = scrapy.Field()   #招聘地点 
  time = scrapy.Field()    #招聘时间

以上为我们等一下需要获取的信息

然后我们新建spider文件来编写爬去网站的代码:

# _*_ coding:utf-8 _*_ 
import scrapy 
from scrapy.http import Request 
from time import sleep 
import os 
import sys 
sys.path.append("D:\PYscrapy\get_Field") #我使用这种路径添加的方式来调用GetItem函数和main函数 
from get_Field.items import GetItem 
import main  #main函数开头就说了两行调用程序的代码,你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便 
 
class Tencentzhaopin(scrapy.Spider): 
  name = "field"  #这个程序要执行的唯一标识名 可以自己设置 
  start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] #首页网址 
  url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀,等一下获取后缀 
  count = 0 
  names = []    #这五个列表记录我们获取的信息 
  genres = [] 
  numbers = [] 
  places = [] 
  times = [] 
  filename = "data.txt"  #保存的文件名 
  if os.path.exists(filename) == True:  #判断这个文件是否已经存在文件夹中,有就移除掉。 
    os.remove(filename) 
 
  def parse(self,response): 
    self.count += 1 #设置我们需要爬去多少页,不设置的话会有几百页需要爬取 
    name = response.xpath('//table//td[@class="l square"]//a//text()').extract() 
    #通过xpath方法获取我们需要的内容,再使用extract()抽取器获取到 
    for i in name:    #利用循环将每一次的内容存入我们上面设置的列表中去,方便后面存入csv文件(下面4个类似) 
      self.names.append(i) 
    genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract() 
    for i in genre: 
      self.genres.append(i) 
    number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract() 
    for i in number: 
      self.numbers.append(i) 
    place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract() 
    for i in place: 
      self.places.append(i) 
    time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract() 
    for i in time: 
      self.times.append(i) 
 
    new_url = response.xpath('//*[@id="next"]//@href').extract() 
    #前面我们说过需要翻页操作,所以这里是获取到翻页的后缀 
    new_url = self.url+new_url[0] #再与前缀结合,获取到一个完整的下一页链接 
    sleep(0.5) #我们设置一个翻页的时间,太快了不好。。。。(我是这样想的) 
 
    #下面就是信息存入items容器 
    for i in range(len(self.genres)): #for循环列表的长度,获取到所有信息 
      info = GetItem()  #实例一个类info用来保存数据 
      info["name"] = self.names[i]    #将每一个属性列表中的每一个数据保存依次保存到info中去 
      info["genre"] = self.genres[i] 
      info["number"] = self.numbers[i] 
      info["place"] = self.places[i] 
      info["time"] = self.times[i] 
      yield info #这个yield注意了,嗯,这就很舒服了 
      #我们将每一次保存的数据返回,但是返回了我们还需要程序继续执行,所以使用yield函数返回后继续执行 
 
    if self.count<=20: 
      yield Request(url=new_url,callback=self.parse) 
      #如果满足20页以内,我们callback返回下一页的链接继续到parse这个默认函数,

以上是spider中的代码。

其实实现这个代码不难,唯一有一点小疑惑的地方可能就是第一个yield的使用,一开始我是使用调用一个新的函数,然后在里面实现值的返回,但是麻烦还有一点小问题,所以这里我们就是用这种简单的方式就行了,yield将每次循环的数据返回,返回后再继续执行循环。

总结

以上就是本文关于python3使用scrapy生成csv文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python实现删除Android工程中的冗余字符串
Jan 19 Python
用Python的Django框架来制作一个RSS阅读器
Jul 22 Python
Python科学计算之Pandas详解
Jan 15 Python
Python中模块与包有相同名字的处理方法
May 05 Python
Python守护线程用法实例
Jun 23 Python
python中关于for循环的碎碎念
Jun 30 Python
Python对List中的元素排序的方法
Apr 01 Python
Win10下python 2.7.13 安装配置方法图文教程
Sep 18 Python
解读python如何实现决策树算法
Oct 11 Python
IntelliJ IDEA安装运行python插件方法
Dec 10 Python
基于python解线性矩阵方程(numpy中的matrix类)
Oct 21 Python
python 在右键菜单中加入复制目标文件的有效存放路径(单斜杠或者双反斜杠)
Apr 08 Python
浅谈Scrapy框架普通反爬虫机制的应对策略
Dec 28 #Python
scrapy爬虫实例分享
Dec 28 #Python
Python解决N阶台阶走法问题的方法分析
Dec 28 #Python
Python实现嵌套列表去重方法示例
Dec 28 #Python
Python登录并获取CSDN博客所有文章列表代码实例
Dec 28 #Python
python 寻找优化使成本函数最小的最优解的方法
Dec 28 #Python
python机器学习案例教程——K最近邻算法的实现
Dec 28 #Python
You might like
PHP获取搜索引擎关键字来源的函数(支持百度和谷歌等搜索引擎)
2012/10/03 PHP
浅析get与post的一些特殊情况
2014/07/28 PHP
7个鲜为人知却非常实用的PHP函数
2015/07/01 PHP
THINKPHP截取中文字符串函数实例代码
2017/03/20 PHP
4种Windows系统下Laravel框架的开发环境安装及部署方法详解
2020/04/06 PHP
用jquery来定位
2007/02/20 Javascript
让任务管理器中的CPU跳舞的js代码
2008/11/01 Javascript
Jquery实现无刷新DropDownList联动实现代码
2010/03/08 Javascript
给Flash加一个超链接(推荐使用透明层)兼容主流浏览器
2013/06/09 Javascript
JavaScript中定义函数的三种方法
2015/03/12 Javascript
JS跨域交互(jQuery+php)之jsonp使用心得
2016/07/01 Javascript
Javascript中内建函数reduce的应用详解
2016/10/20 Javascript
JSON 必知必会 观后记
2016/10/27 Javascript
js 简易版滚动条实例(适用于移动端H5开发)
2017/06/26 Javascript
bootstrap响应式导航条模板使用详解(含下拉菜单,弹出框)
2017/11/17 Javascript
如何在vue中使用ts的示例代码
2018/02/28 Javascript
react-native封装插件swiper的使用方法
2018/03/20 Javascript
js replace 全局替换的操作方法
2018/06/12 Javascript
浅谈VUE单页应用首屏加载速度优化方案
2018/08/28 Javascript
vuex 动态注册方法 registerModule的实现
2019/07/03 Javascript
vue实现百度搜索功能
2020/12/28 Javascript
[02:32]DOTA2英雄基础教程 美杜莎
2014/01/07 DOTA
Python urlopen 使用小示例
2008/09/06 Python
python实现跨excel sheet复制代码实例
2020/03/03 Python
Python接口开发实现步骤详解
2020/04/26 Python
python 两种方法删除空文件夹
2020/09/29 Python
美国创意之家:BulbHead
2017/07/12 全球购物
联想香港官方网站及网店:Lenovo香港
2018/04/13 全球购物
美国棒球装备和用品商店:Baseball Savings
2018/06/09 全球购物
施华洛世奇西班牙官网:SWAROVSKI西班牙
2019/06/06 全球购物
房屋过户委托书范本
2014/10/07 职场文书
项目验收申请报告
2015/05/15 职场文书
停发工资证明范本
2015/06/12 职场文书
2015小学师德工作总结
2015/07/21 职场文书
2019年销售人员的职业生涯规划书
2019/03/25 职场文书
一次Mysql update sql不当引起的生产故障记录
2022/04/01 MySQL