Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详细解析Python中的变量的数据类型
May 13 Python
Python实现文件内容批量追加的方法示例
Aug 29 Python
Python reduce()函数的用法小结
Nov 15 Python
使用Django和Python创建Json response的方法
Mar 26 Python
python 在屏幕上逐字显示一行字的实例
Dec 24 Python
对Python3中dict.keys()转换成list类型的方法详解
Feb 03 Python
python ---lambda匿名函数介绍
Mar 13 Python
python3文件复制、延迟文件复制任务的实现方法
Sep 02 Python
Python生成验证码、计算具体日期是一年中的第几天实例代码详解
Oct 16 Python
解决Python使用列表副本的问题
Dec 19 Python
Python xpath表达式如何实现数据处理
Jun 13 Python
Python Spyder 调出缩进对齐线的操作
Feb 26 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
用文本作数据处理
2006/10/09 PHP
亲密接触PHP之PHP语法学习笔记1
2006/12/17 PHP
Smarty变量调节器失效的解决办法
2014/08/20 PHP
php以fastCGI的方式运行时文件系统权限问题及解决方法
2015/05/11 PHP
php实现CSV文件导入和导出
2015/10/24 PHP
Prototype使用指南之form.js
2007/01/10 Javascript
js实现页面打印功能实例代码(附去页眉页脚功能代码)
2009/12/15 Javascript
Javascript学习笔记7 原型链的原理
2010/01/11 Javascript
js单例模式的两种方案
2013/10/22 Javascript
Javascript中数组sort和reverse用法分析
2014/12/30 Javascript
深入探寻seajs的模块化与加载方式
2015/04/14 Javascript
Bootstrap菜单按钮及导航实例解析
2016/09/09 Javascript
详解jQuery简单的表单应用
2016/12/16 Javascript
jQuery实现复制到粘贴板功能
2017/02/11 Javascript
JS和JQuery实现雪花飘落效果
2017/11/30 jQuery
vue.js父子组件通信动态绑定的实例
2018/09/28 Javascript
JQuery 实现文件下载的常用方法分析
2019/10/29 jQuery
JS实现简易贪吃蛇游戏
2020/08/24 Javascript
[04:48]DOTA2亚洲邀请赛林书豪为VGJ加油
2017/04/01 DOTA
深入解析Python中的WSGI接口
2015/05/11 Python
Python三种遍历文件目录的方法实例代码
2018/01/19 Python
TensorFlow平台下Python实现神经网络
2018/03/10 Python
基于python批量处理dat文件及科学计算方法详解
2018/05/08 Python
对Pytorch中nn.ModuleList 和 nn.Sequential详解
2019/08/18 Python
PyTorch中torch.tensor与torch.Tensor的区别详解
2020/05/18 Python
Expedia英国:全球最大的在线旅游公司
2017/09/07 全球购物
英国家用电器折扣网站:Electrical Discount UK
2018/09/17 全球购物
乌克兰设计师和品牌的服装:Love&Live
2020/04/14 全球购物
大专毕业生自我评价分享
2013/11/10 职场文书
会计专业毕业自荐书范文
2014/02/08 职场文书
行政主管职责范本
2014/03/07 职场文书
煤矿安全知识竞赛活动总结
2014/07/07 职场文书
学雷锋标兵事迹材料
2014/08/18 职场文书
财务统计员岗位职责
2015/04/14 职场文书
趣味运动会加油词
2015/07/18 职场文书
如何用JavaScript实现一个数组惰性求值库
2021/05/05 Javascript