Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python获取外网ip地址的方法总结
Jul 02 Python
通过Python使用saltstack生成服务器资产清单
Mar 01 Python
python 内置函数filter
Jun 01 Python
在Django中输出matplotlib生成的图片方法
May 24 Python
TensorFlow实现简单卷积神经网络
May 24 Python
windows下 兼容Python2和Python3的解决方法
Dec 05 Python
python 通过SSHTunnelForwarder隧道连接redis的方法
Feb 19 Python
python scatter散点图用循环分类法加图例
Mar 19 Python
pycharm配置当鼠标悬停时快速提示方法参数
Jul 31 Python
在jupyter notebook中调用.ipynb文件方式
Apr 14 Python
Pycharm github配置实现过程图解
Oct 13 Python
Python爬虫抓取论坛关键字过程解析
Oct 19 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
全国FM电台频率大全 - 24 贵州省
2020/03/11 无线电
PHP中集成PayPal标准支付的实现方法分享
2012/02/06 PHP
php获取指定(访客)IP所有信息(地址、邮政编码、国家、经纬度等)的方法
2015/07/06 PHP
自写的利用PDO对mysql数据库增删改查操作类
2018/02/19 PHP
Laravel5.1 框架数据库操作DB运行原生SQL的方法分析
2020/01/07 PHP
PHP实现简易用户登录系统
2020/07/10 PHP
ThinkPHP6.0如何利用自定义验证规则规范的实现登陆
2020/12/16 PHP
JavaScript 设计模式学习 Singleton
2009/07/27 Javascript
jQuery 性能优化手册 推荐
2010/02/23 Javascript
JS批量操作CSS属性详细解析
2013/12/16 Javascript
JSON.parse()和JSON.stringify()使用介绍
2014/06/20 Javascript
Javascript遍历Html Table示例(包括内容和属性值)
2014/07/08 Javascript
AngularJS基础 ng-href 指令用法
2016/08/01 Javascript
JavaScript变量作用域_动力节点Java学院整理
2017/06/27 Javascript
JS扩展String.prototype.format字符串拼接的功能
2018/03/09 Javascript
剖析Angular Component的源码示例
2018/03/23 Javascript
Angular HMR(热模块替换)功能实现方法
2018/04/04 Javascript
Node.js利用console输出日志文件的方法示例
2018/04/27 Javascript
解决jquery有正确返回值但不执行success函数的问题
2018/08/20 jQuery
基于vue的验证码组件的示例代码
2019/01/22 Javascript
微信小程序 wx.getUserInfo引导用户授权问题实例分析
2020/03/09 Javascript
[44:40]Serenity vs Pain 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
Python 自动安装 Rising 杀毒软件
2009/04/24 Python
Python中Class类用法实例分析
2015/11/12 Python
Python控制多进程与多线程并发数总结
2016/10/26 Python
Win10下Python环境搭建与配置教程
2016/11/18 Python
浅谈Python中重载isinstance继承关系的问题
2018/05/04 Python
Python中的heapq模块源码详析
2019/01/08 Python
使用k8s部署Django项目的方法步骤
2019/01/14 Python
Django接收照片储存文件的实例代码
2020/03/07 Python
selenium+headless chrome爬虫的实现示例
2021/01/08 Python
公交公司毕业生求职信
2014/02/15 职场文书
市级文明单位申报材料
2014/05/07 职场文书
个人四风对照检查材料
2014/09/26 职场文书
2015年安全教育月活动总结
2015/03/26 职场文书
2015年安全员工作总结范文
2015/04/22 职场文书