python3使用scrapy生成csv文件代码示例


Posted in Python onDecember 28, 2017

去腾讯招聘网的信息,这个小项目有人做过,本着一个新手学习的目的,所以自己也来做着玩玩,大家可以参考一下。

这里使用的是调用cmdline命令来生成csv文件,而不是importcsv模块。

from scrapy import cmdline 
cmdline.execute("scrapy crawl field -o info.csv -t csv".split())

这段代码我保存在一个自建的.py文件中,然后在主文件中调用这个模块,这样就不用每次在cmd中敲命令了,大家可以使用这种方法我觉得很方便的。

进入正题(获取腾讯招聘网的信息http://hr.tencent.com/position.php):

python3使用scrapy生成csv文件代码示例

保存的csv文件内容:

python3使用scrapy生成csv文件代码示例

我们需要获取的数据首先应该使用scrapy的items容器记录下来:

import scrapy 
 
class GetItem(scrapy.Item): 
  name = scrapy.Field()    #招聘单位 
  genre = scrapy.Field()   #招聘类型 
  number = scrapy.Field()   #招聘人数 
  place = scrapy.Field()   #招聘地点 
  time = scrapy.Field()    #招聘时间

以上为我们等一下需要获取的信息

然后我们新建spider文件来编写爬去网站的代码:

# _*_ coding:utf-8 _*_ 
import scrapy 
from scrapy.http import Request 
from time import sleep 
import os 
import sys 
sys.path.append("D:\PYscrapy\get_Field") #我使用这种路径添加的方式来调用GetItem函数和main函数 
from get_Field.items import GetItem 
import main  #main函数开头就说了两行调用程序的代码,你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便 
 
class Tencentzhaopin(scrapy.Spider): 
  name = "field"  #这个程序要执行的唯一标识名 可以自己设置 
  start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] #首页网址 
  url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀,等一下获取后缀 
  count = 0 
  names = []    #这五个列表记录我们获取的信息 
  genres = [] 
  numbers = [] 
  places = [] 
  times = [] 
  filename = "data.txt"  #保存的文件名 
  if os.path.exists(filename) == True:  #判断这个文件是否已经存在文件夹中,有就移除掉。 
    os.remove(filename) 
 
  def parse(self,response): 
    self.count += 1 #设置我们需要爬去多少页,不设置的话会有几百页需要爬取 
    name = response.xpath('//table//td[@class="l square"]//a//text()').extract() 
    #通过xpath方法获取我们需要的内容,再使用extract()抽取器获取到 
    for i in name:    #利用循环将每一次的内容存入我们上面设置的列表中去,方便后面存入csv文件(下面4个类似) 
      self.names.append(i) 
    genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract() 
    for i in genre: 
      self.genres.append(i) 
    number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract() 
    for i in number: 
      self.numbers.append(i) 
    place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract() 
    for i in place: 
      self.places.append(i) 
    time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract() 
    for i in time: 
      self.times.append(i) 
 
    new_url = response.xpath('//*[@id="next"]//@href').extract() 
    #前面我们说过需要翻页操作,所以这里是获取到翻页的后缀 
    new_url = self.url+new_url[0] #再与前缀结合,获取到一个完整的下一页链接 
    sleep(0.5) #我们设置一个翻页的时间,太快了不好。。。。(我是这样想的) 
 
    #下面就是信息存入items容器 
    for i in range(len(self.genres)): #for循环列表的长度,获取到所有信息 
      info = GetItem()  #实例一个类info用来保存数据 
      info["name"] = self.names[i]    #将每一个属性列表中的每一个数据保存依次保存到info中去 
      info["genre"] = self.genres[i] 
      info["number"] = self.numbers[i] 
      info["place"] = self.places[i] 
      info["time"] = self.times[i] 
      yield info #这个yield注意了,嗯,这就很舒服了 
      #我们将每一次保存的数据返回,但是返回了我们还需要程序继续执行,所以使用yield函数返回后继续执行 
 
    if self.count<=20: 
      yield Request(url=new_url,callback=self.parse) 
      #如果满足20页以内,我们callback返回下一页的链接继续到parse这个默认函数,

以上是spider中的代码。

其实实现这个代码不难,唯一有一点小疑惑的地方可能就是第一个yield的使用,一开始我是使用调用一个新的函数,然后在里面实现值的返回,但是麻烦还有一点小问题,所以这里我们就是用这种简单的方式就行了,yield将每次循环的数据返回,返回后再继续执行循环。

总结

以上就是本文关于python3使用scrapy生成csv文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
在Python中进行自动化单元测试的教程
Apr 15 Python
python中根据字符串调用函数的实现方法
Jun 12 Python
Python机器学习之scikit-learn库中KNN算法的封装与使用方法
Dec 14 Python
Win10下Python3.7.3安装教程图解
Jul 08 Python
django项目环境搭建及在虚拟机本地创建django项目的教程
Aug 02 Python
Django视图扩展类知识点详解
Oct 25 Python
python使用beautifulsoup4爬取酷狗音乐代码实例
Dec 04 Python
如何基于Python实现数字类型转换
Feb 07 Python
python中urllib.request和requests的使用及区别详解
May 05 Python
Python Tornado实现WEB服务器Socket服务器共存并实现交互的方法
May 26 Python
python实现自动化群控的步骤
Apr 11 Python
OpenCV中resize函数插值算法的实现过程(五种)
Jun 05 Python
浅谈Scrapy框架普通反爬虫机制的应对策略
Dec 28 #Python
scrapy爬虫实例分享
Dec 28 #Python
Python解决N阶台阶走法问题的方法分析
Dec 28 #Python
Python实现嵌套列表去重方法示例
Dec 28 #Python
Python登录并获取CSDN博客所有文章列表代码实例
Dec 28 #Python
python 寻找优化使成本函数最小的最优解的方法
Dec 28 #Python
python机器学习案例教程——K最近邻算法的实现
Dec 28 #Python
You might like
PHPWind与Discuz截取字符函数substrs与cutstr性能比较
2011/12/05 PHP
对象失去焦点时自己动提交数据的实现代码
2012/11/06 PHP
php实现网站顶踩功能的完整前端代码
2015/07/19 PHP
PHP简单操作MongoDB的方法(安装及增删改查)
2016/05/26 PHP
phalcon model在插入或更新时会自动验证非空字段的解决办法
2016/12/29 PHP
php 替换文章中的图片路径,下载图片到本地服务器的方法
2018/02/06 PHP
laravel实现上传图片并在页面显示的例子
2019/10/14 PHP
javascript 延迟加载技术(lazyload)简单实现
2011/01/17 Javascript
JavaScript中json对象和string对象之间相互转化
2012/12/26 Javascript
JavaScript的漂亮的代码片段
2013/06/05 Javascript
js window.open弹出新的网页窗口
2014/01/16 Javascript
JQuery表格拖动调整列宽效果(自己动手写的)
2014/09/01 Javascript
javascript使用appendChild追加节点实例
2015/01/12 Javascript
深入解读JavaScript中的Hoisting机制
2015/08/12 Javascript
AngularJS基础 ng-options 指令详解
2016/08/02 Javascript
简单谈谈JS数组中的indexOf方法
2016/10/13 Javascript
BootStrap Table 获取同行不同列元素的方法
2016/12/19 Javascript
Jquery+Ajax+xml实现中国地区选择三级联动菜单效果(推荐)
2017/06/09 jQuery
vue+node+webpack环境搭建教程
2017/11/05 Javascript
vue+axios+mock.js环境搭建的方法步骤
2018/08/28 Javascript
vue移动端下拉刷新和上拉加载的实现代码
2018/09/08 Javascript
微信小程序mpvue点击按钮获取button值的方法
2019/05/29 Javascript
vue表单中遍历表单操作按钮的显示隐藏示例
2019/10/30 Javascript
Vue 路由间跳转和新开窗口的方式(query、params)
2019/12/25 Javascript
python基础教程之基本数据类型和变量声明介绍
2014/08/29 Python
python获得两个数组交集、并集、差集的方法
2015/03/27 Python
python基于socket实现网络广播的方法
2015/04/29 Python
python中字符串类型json操作的注意事项
2017/05/02 Python
Tensorflow分类器项目自定义数据读入的实现
2019/02/05 Python
python实现一次性封装多条sql语句(begin end)
2020/06/06 Python
Regatta官网:英国最受欢迎的户外服装和鞋类品牌
2019/05/01 全球购物
暑期社会实践方案
2014/02/05 职场文书
热门专业求职信
2014/05/24 职场文书
亲子阅读的活动方案
2014/08/15 职场文书
借款协议书
2014/09/16 职场文书
我的法兰西岁月观后感
2015/06/09 职场文书