Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python break语句详解
Mar 11 Python
Python调用C/C++动态链接库的方法详解
Jul 22 Python
使用Python通过win32 COM实现Word文档的写入与保存方法
May 08 Python
Python数据预处理之数据规范化(归一化)示例
Jan 08 Python
Python中字符串与编码示例代码
May 20 Python
python 判断文件还是文件夹的简单实例
Jun 10 Python
selenium处理元素定位点击无效问题
Jun 12 Python
解决python执行不输出系统命令弹框的问题
Jun 24 Python
Python实现非正太分布的异常值检测方式
Dec 09 Python
将python包发布到PyPI和制作whl文件方式
Dec 25 Python
Python 创建TCP服务器的方法
Jul 28 Python
python多次执行绘制条形图
Apr 20 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
PHP按行读取、处理较大CSV文件的代码实例
2014/04/09 PHP
另类调用flash无须激活的方法
2006/12/27 Javascript
javascript form 验证函数 弹出对话框形式
2009/06/23 Javascript
一个js写的日历(代码部分网摘)
2009/09/20 Javascript
js编码之encodeURIComponent使用介绍(asp,php)
2012/03/01 Javascript
JS创建自定义表格具体实现
2014/02/11 Javascript
extjs每个组件要设置唯一的ID否则会出错
2014/06/15 Javascript
jQuery实现强制cookie过期方法汇总
2015/05/22 Javascript
移动端JQ插件hammer使用详解
2015/07/03 Javascript
JavaScript中的this使用详解
2016/07/27 Javascript
项目实践一图片上传之form表单还是base64前端图片压缩(前端图片压缩)
2016/07/28 Javascript
值得学习的bootstrap fileinput文件上传工具
2016/11/08 Javascript
AngularJS 获取ng-repeat动态生成的ng-model值实例详解
2016/11/29 Javascript
vue.js 实现输入框动态添加功能
2018/06/25 Javascript
JS+HTML实现自定义上传图片按钮并显示图片功能的方法分析
2020/02/12 Javascript
如何构建 vue-ssr 项目的方法步骤
2020/08/04 Javascript
python类中super()和__init__()的区别
2016/10/18 Python
python中 chr unichr ord函数的实例详解
2017/08/06 Python
Flask框架WTForm表单用法示例
2018/07/20 Python
tensorflow 用矩阵运算替换for循环 用tf.tile而不写for的方法
2018/07/27 Python
selenium + python 获取table数据的示例讲解
2018/10/13 Python
解决PyCharm的Python.exe已经停止工作的问题
2018/11/29 Python
python 批量添加的button 使用同一点击事件的方法
2019/07/17 Python
numpy ndarray 取出满足特定条件的某些行实例
2019/12/05 Python
Python搭建HTTP服务过程图解
2019/12/14 Python
解决tensorflow添加ptb库的问题
2020/02/10 Python
pandas 强制类型转换 df.astype实例
2020/04/09 Python
Python生成器next方法和send方法区别详解
2020/05/30 Python
python 如何在测试中使用 Mock
2021/03/01 Python
美国领先的户外服装与装备用品店:Moosejaw
2016/08/25 全球购物
数据库基础的一些面试题
2012/02/25 面试题
String、StringBuffer、StringBuilder有区别
2015/09/18 面试题
写给学生的新学期寄语
2014/01/18 职场文书
中学生励志演讲稿
2014/04/26 职场文书
史学专业毕业生求职信
2014/05/09 职场文书
家长会标语
2014/06/24 职场文书