Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中join和split用法实例
Apr 14 Python
Python中字符串对齐方法介绍
May 21 Python
Python2中的raw_input() 与 input()
Jun 12 Python
django model去掉unique_together报错的解决方案
Oct 18 Python
轻量级的Web框架Flask 中模块化应用的实现
Sep 11 Python
python3爬取数据至mysql的方法
Jun 26 Python
在Python中实现shuffle给列表洗牌
Nov 08 Python
PyCharm 解决找不到新打开项目的窗口问题
Jan 15 Python
python模块内置属性概念及实例
Feb 18 Python
Python用requests库爬取返回为空的解决办法
Feb 21 Python
Django实现在线无水印抖音视频下载(附源码及地址)
May 06 Python
基于Python编写一个监控CPU的应用系统
Jun 25 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
PHP 将逗号、空格、回车分隔的字符串转换为数组的函数
2012/06/07 PHP
php 如何获取数组第一个值
2013/08/06 PHP
php可应用于面包屑导航的递归寻找家谱树实现方法
2015/02/02 PHP
PHP并发多进程处理利器Gearman使用介绍
2016/05/16 PHP
PHP下载远程图片的几种方法总结
2017/04/07 PHP
一个判断email合法性的函数[非正则]
2008/12/09 Javascript
锋利的jQuery 要点归纳(二) jQuery中的DOM操作(下)
2010/03/23 Javascript
eval的两组性能测试数据
2012/08/17 Javascript
js函数模拟显示桌面.scf程序示例
2014/04/20 Javascript
js实现点击向下展开的下拉菜单效果代码
2015/09/01 Javascript
如何实现移动端浏览器不显示 pc 端的广告
2015/10/15 Javascript
基于javascript bootstrap实现生日日期联动选择
2016/04/07 Javascript
jQuery插件Validation快速完成表单验证的方式
2016/07/28 Javascript
详解AngularJS中的表单验证(推荐)
2016/11/17 Javascript
原生JS改变透明度实现轮播效果
2017/03/24 Javascript
Angular 2父子组件数据传递之@ViewChild获取子组件详解
2017/07/04 Javascript
Vue学习笔记进阶篇之vue-cli安装及介绍
2017/07/18 Javascript
vuex进阶知识点巩固
2018/05/20 Javascript
vue中接口域名配置为全局变量的实现方法
2018/09/20 Javascript
Node.js assert断言原理与用法分析
2019/01/04 Javascript
详解Vue调用手机相机和相册以及上传
2019/05/05 Javascript
vue使用代理解决请求跨域问题详解
2019/07/24 Javascript
vue+vuex+axios从后台获取数据存入vuex,组件之间共享数据操作
2020/07/31 Javascript
python字典排序实例详解
2015/05/20 Python
PyCharm代码回滚,恢复历史版本的解决方法
2018/10/22 Python
python钉钉机器人运维脚本监控实例
2019/02/20 Python
Django如何批量创建Model
2020/09/01 Python
手把手教你用Django执行原生SQL的方法
2021/02/18 Python
后勤工作职责
2013/12/22 职场文书
一份婚庆公司创业计划书
2014/01/11 职场文书
护理专业学生职业生涯规划范文
2014/03/11 职场文书
学校元旦晚会开场白
2014/12/14 职场文书
酒店圣诞节活动总结
2015/05/06 职场文书
舞蹈社团活动总结
2015/05/07 职场文书
幼儿园校车安全责任书
2015/05/08 职场文书
2019最新劳动仲裁申请书!
2019/07/08 职场文书