Python爬虫框架Scrapy基本用法入门教程


Posted in Python onJuly 26, 2018

本文实例讲述了Python爬虫框架Scrapy基本用法。分享给大家供大家参考,具体如下:

Xpath

<html>
<head>
  <title>标题</title>
</head>
<body>
  <h2>二级标题</h2>
  <p>爬虫1</p>
  <p>爬虫2</p>
</body>
</html>

在上述html代码中,我要获取h2的内容,我们可以使用以下代码进行获取:

info = response.xpath("/html/body/h2/text()")

可以看出/html/body/h2为内容的层次结构,text()则是获取h2标签的内容。//p获取所有p标签。获取带具体属性的标签://标签[@属性="属性值"]

<div class="hide"></div>

获取class为hide的div标签

div[@class="hide"]

再比如,我们在谷歌Chrome浏览器上的Console界面使用$x['//h2']命令获取页面中的h2元素信息:

Python爬虫框架Scrapy基本用法入门教程

xmlfeed模板

创建一个xmlfeed模板的爬虫

scrapy genspider -t xmlfeed abc iqianyue.com

核心代码:

from scrapy.spiders import XMLFeedSpider
class AbcSpider(XMLFeedSpider):
  name = 'abc'
  start_urls = ['http://yum.iqianyue.com/weisuenbook/pyspd/part12/test.xml']
  iterator = 'iternodes' # 迭代器,默认为iternodes,是一个基于正则表达式的高性能迭代器。除了iternodes,还有“html”和“xml”
  itertag = 'person' # 设置从哪个节点(标签)开始迭代
  # parse_node会在节点与提供的标签名相符时自动调用
  def parse_node(self, response, selector):
    i = {}
    xpath = "/person/email/text()"
    info = selector.xpath(xpath).extract()
    print(info)
    return i

csvfeed模板

创建一个csvfeed模板的爬虫

scrapy genspider -t csvfeed csvspider iqianyue.com

核心代码

from scrapy.spiders import CSVFeedSpider
class CsvspiderSpider(CSVFeedSpider):
  name = 'csvspider'
  allowed_domains = ['iqianyue.com']
  start_urls = ['http://yum.iqianyue.com/weisuenbook/pyspd/part12/mydata.csv']
  # headers 主要存放csv文件中包含的用于提取字段的信息列表
  headers = ['name', 'sex', 'addr', 'email']
  # delimiter 字段之间的间隔
  delimiter = ','
  def parse_row(self, response, row):
    i = {}
    name = row["name"]
    sex = row["sex"]
    addr = row["addr"]
    email = row["email"]
    print(name,sex,addr,email)
    #i['url'] = row['url']
    #i['name'] = row['name']
    #i['description'] = row['description']
    return i

crawlfeed模板

创建一个crawlfeed模板的爬虫

scrapy genspider -t crawlfeed crawlspider sohu.com

核心代码

class CrawlspiderSpider(CrawlSpider):
  name = 'crawlspider'
  allowed_domains = ['sohu.com']
  start_urls = ['http://sohu.com/']
  rules = (
    Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
  )
  def parse_item(self, response):
    i = {}
    #i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()
    #i['name'] = response.xpath('//div[@id="name"]').extract()
    #i['description'] = response.xpath('//div[@id="description"]').extract()
    return i

上面代码rules部分中的LinkExtractor为连接提取器。

LinkExtractor中对应的参数及含义

参数名 参数含义
allow 提取符合正则表达式的链接
deny 不提取符合正则表达式的链接
restrict_xpaths 使用XPath表达式与allow共同作用提取同时符合对应XPath表达式和对应正则表达式的链接
allow_domains 允许提取的域名,比如我们想只提取某个域名下的链接时会用到
deny_domains 进制提取的域名

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
为python设置socket代理的方法
Jan 14 Python
Python使用MD5加密算法对字符串进行加密操作示例
Mar 30 Python
在Python中居然可以定义两个同名通参数的函数
Jan 31 Python
linux查找当前python解释器的位置方法
Feb 20 Python
scrapy-redis的安装部署步骤讲解
Feb 27 Python
Python中最好用的命令行参数解析工具(argparse)
Aug 23 Python
python中property和setter装饰器用法
Dec 19 Python
Python tkinter和exe打包的方法
Feb 05 Python
Python-opencv实现红绿两色识别操作
Jun 04 Python
python3实现将json对象存入Redis以及数据的导入导出
Jul 16 Python
基于Python爬取素材网站音频文件
Oct 21 Python
pytest配置文件pytest.ini的详细使用
Apr 17 Python
Tensorflow 合并通道及加载子模型的方法
Jul 26 #Python
解决tensorflow测试模型时NotFoundError错误的问题
Jul 26 #Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
Jul 26 #Python
kaggle+mnist实现手写字体识别
Jul 26 #Python
解决tensorflow模型参数保存和加载的问题
Jul 26 #Python
解决tensorflow1.x版本加载saver.restore目录报错的问题
Jul 26 #Python
Flask web开发处理POST请求实现(登录案例)
Jul 26 #Python
You might like
PHP类中Static方法效率测试代码
2010/10/17 PHP
慎用preg_replace危险的/e修饰符(一句话后门常用)
2013/06/19 PHP
php计算多个集合的笛卡尔积实例详解
2017/02/16 PHP
php中实现字符串翻转的方法
2017/02/22 PHP
推荐自用 Javascript 缩图函数 (onDOMLoaded)……
2007/10/23 Javascript
jQuery帮助之筛选查找 children([expr])
2011/01/31 Javascript
Jquery判断radio、selelct、checkbox是否选中及获取选中值方法总结
2015/04/15 Javascript
jQuery+AJAX实现遮罩层登录验证界面(附源码)
2020/09/13 Javascript
JS+JSP通过img标签调用实现静态页面访问次数统计的方法
2015/12/14 Javascript
JavaScript SHA1加密算法实现详细代码
2016/10/06 Javascript
详解数组Array.sort()排序的方法
2020/05/09 Javascript
vue2.0构建单页应用最佳实战
2017/04/01 Javascript
H5手机端多文件上传预览插件
2017/04/21 Javascript
JavaScript标准对象_动力节点Java学院整理
2017/06/27 Javascript
angularjs实现猜大小功能
2017/10/23 Javascript
浅谈webpack组织模块的原理
2018/03/10 Javascript
微信小程序scroll-view实现滚动穿透和阻止滚动的方法
2018/08/20 Javascript
vue分页器组件编写方法详解
2019/06/28 Javascript
如何通过shell脚本自动生成vue文件详解
2019/09/10 Javascript
关于vue组件事件属性穿透详解
2019/10/28 Javascript
python的keyword模块用法实例分析
2015/06/30 Python
在python中,使用scatter绘制散点图的实例
2019/07/03 Python
Python+AutoIt实现界面工具开发过程详解
2019/08/07 Python
From CSV to SQLite3 by python 导入csv到sqlite实例
2020/02/14 Python
通过实例解析Python文件操作实现步骤
2020/09/21 Python
python上下文管理的使用场景实例讲解
2021/03/03 Python
CSS3结构性伪类选择器九种写法
2012/04/18 HTML / CSS
澳大利亚波西米亚风连衣裙在线商店:Fortunate One
2019/04/01 全球购物
英国床垫和床架购物网站:Bedman
2019/11/04 全球购物
大学生毕业自我鉴定
2013/11/06 职场文书
《蓝色的树叶》教学反思
2014/02/24 职场文书
电子专业毕业生自荐信
2014/05/25 职场文书
2016自主招生校长推荐信范文
2015/03/23 职场文书
正确使用MySQL INSERT INTO语句
2021/05/26 MySQL
python使用pymysql模块操作MySQL
2021/06/16 Python
5个pandas调用函数的方法让数据处理更加灵活自如
2022/04/24 Python