Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python单链表实现代码实例
Nov 21 Python
Python中的字典遍历备忘
Jan 17 Python
Python切片知识解析
Mar 06 Python
Python基本语法经典教程
Mar 11 Python
python学习 流程控制语句详解
Jun 01 Python
python 实现红包随机生成算法的简单实例
Jan 04 Python
Python实现随机选择元素功能
Sep 14 Python
Python代码块批量添加Tab缩进的方法
Jun 25 Python
python实现字符串中字符分类及个数统计
Sep 28 Python
基于python 取余问题(%)详解
Jun 03 Python
解决Python3.8运行tornado项目报NotImplementedError错误
Sep 02 Python
Python CategoricalDtype自定义排序实现原理解析
Sep 11 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
php Smarty模板生成html文档的方法
2010/04/12 PHP
php 搜索框提示(自动完成)实例代码
2012/02/05 PHP
PHP正则表达式之定界符和原子介绍
2012/10/05 PHP
利用phpExcel实现Excel数据的导入导出(全步骤详细解析)
2013/11/26 PHP
IE和Firefox在JavaScript应用中的兼容性探讨
2008/04/01 Javascript
JQuery AJAX实现目录浏览与编辑的代码
2008/10/21 Javascript
js对象关系图 方便dom操作
2012/03/18 Javascript
如何使用Jquery获取Form表单中被选中的radio值
2013/08/09 Javascript
js hover 定时器(实例代码)
2013/11/12 Javascript
JQuery的Ajax请求实现局部刷新的简单实例
2014/02/11 Javascript
JS解析XML文件和XML字符串详解
2015/04/17 Javascript
javascript与jquery中的this关键字用法实例分析
2015/12/24 Javascript
学习JavaScript设计模式之状态模式
2016/01/08 Javascript
探讨跨域请求资源的几种方式(总结)
2016/12/02 Javascript
JavaScript实现构造json数组的方法分析
2018/08/17 Javascript
vue实现新闻展示页的步骤详解
2019/04/11 Javascript
vue实现百度搜索功能
2020/12/28 Javascript
JS数组Reduce方法功能与用法实例详解
2020/04/29 Javascript
python迭代器实例简析
2014/09/25 Python
Python写的Tkinter程序屏幕居中方法
2015/03/10 Python
python 动态加载的实现方法
2017/12/22 Python
python 判断linux进程,并杀死进程的实现方法
2019/07/01 Python
利用Python绘制Jazz网络图的例子
2019/11/21 Python
python 实现提取log文件中的关键句子,并进行统计分析
2019/12/24 Python
Python中random模块常用方法的使用教程
2020/10/04 Python
Python操作Excel的学习笔记
2021/02/18 Python
四方通行旅游网:台湾订房、出国旅游
2017/09/20 全球购物
欧克利英国官网:Oakley英国
2019/08/24 全球购物
求职信范文怎么写
2014/01/29 职场文书
小学生获奖感言范文
2014/02/02 职场文书
母亲节感恩活动记录
2014/03/16 职场文书
讲党性心得体会
2014/09/03 职场文书
家访教师心得体会
2016/01/23 职场文书
技术入股协议书
2016/03/22 职场文书
关于战胜挫折的名言警句大全!
2019/07/05 职场文书
用position:sticky完美解决小程序吸顶问题的实现方法
2021/04/24 HTML / CSS