Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python框架django基础指南
Sep 08 Python
详解Python字典小结
Oct 20 Python
Python3.5 Pandas模块缺失值处理和层次索引实例详解
Apr 23 Python
Python opencv实现人眼/人脸识别以及实时打码处理
Apr 29 Python
Pycharm使用远程linux服务器conda/python环境在本地运行的方法(图解))
Dec 09 Python
如何使用PyCharm将代码上传到GitHub上(图文详解)
Apr 27 Python
pycharm 激活码及使用方式的详细教程
May 12 Python
python中sys模块是做什么用的
Aug 16 Python
python dict如何定义
Sep 02 Python
Python如何实现感知器的逻辑电路
Dec 25 Python
Python运算符+与+=的方法实例
Feb 18 Python
Python爬虫实战之爬取京东商品数据并实实现数据可视化
Jun 07 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
在apache下限制每个虚拟主机的并发数!!!!
2006/10/09 PHP
使用PHP会话(Session)实现用户登陆功能
2013/06/29 PHP
[原创]PHP简单开启curl的方法(测试可行)
2016/01/11 PHP
thinkPHP连接sqlite3数据库的实现方法(附Thinkphp代码生成器下载)
2016/05/27 PHP
浅谈PHP实现大流量下抢购方案
2017/12/15 PHP
解决tp5在nginx下修改配置访问的问题
2019/10/16 PHP
javascript 事件处理、鼠标拖动效果实现方法详解
2012/05/11 Javascript
在线一元二次方程计算器实例(方程计算器在线计算)
2013/12/22 Javascript
JavaScript中使用arguments获得函数传参个数实例
2014/08/27 Javascript
JavaScript实现找出字符串中第一个不重复的字符
2014/09/03 Javascript
深入分析Cookie的安全性问题
2015/03/01 Javascript
jQuery实现带有上下控制按钮的简单多行滚屏效果代码
2015/09/04 Javascript
利用原生JS自动生成文章标题树的实例
2016/08/22 Javascript
原生JS实现垂直手风琴效果
2017/02/19 Javascript
浅谈Node Inspector 代理实现
2017/10/19 Javascript
详解webpack4之splitchunksPlugin代码包分拆
2018/12/04 Javascript
Vue+Typescript中在Vue上挂载axios使用时报错问题
2019/08/07 Javascript
使用vue制作滑动标签
2019/09/21 Javascript
Bootstrap table 实现树形表格联动选中联动取消功能
2019/09/30 Javascript
全面了解Python环境配置及项目建立
2016/06/30 Python
python中MethodType方法介绍与使用示例
2017/08/03 Python
Python批量更改文件名的实现方法
2017/10/29 Python
python实现简单http服务器功能
2018/09/17 Python
使用Python脚本从文件读取数据代码实例
2020/01/19 Python
python进行OpenCV实战之画图(直线、矩形、圆形)
2020/08/27 Python
python爬取代理IP并进行有效的IP测试实现
2020/10/09 Python
利用css3径向渐变做一张优惠券的示例
2018/03/22 HTML / CSS
Zavvi荷兰:英国大型音像制品和图书游戏零售商
2018/03/22 全球购物
物流司机岗位职责
2013/12/28 职场文书
大学毕业感言200字
2014/03/09 职场文书
恶搞卫生巾广告词
2014/03/18 职场文书
我是一名护士演讲稿
2014/08/28 职场文书
2016元旦晚会主持词开场白和结束语
2015/12/04 职场文书
你有一份《诚信考试承诺书》待领取
2019/11/13 职场文书
JavaScript 防篡改对象的用法示例
2021/04/24 Javascript
python中pycryto实现数据加密
2022/04/29 Python