Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3.2中的字符串函数学习总结
Apr 23 Python
python生成随机图形验证码详解
Nov 08 Python
Python并发之多进程的方法实例代码
Aug 15 Python
对Python3之进程池与回调函数的实例详解
Jan 22 Python
python 检查数据中是否有缺失值,删除缺失值的方式
Dec 02 Python
Python 实现递归法解决迷宫问题的示例代码
Jan 12 Python
Python2和Python3中@abstractmethod使用方法
Feb 04 Python
使用Django清空数据库并重新生成
Apr 03 Python
使用python实现下载我们想听的歌曲,速度超快
Jul 09 Python
django美化后台django-suit的安装配置操作
Jul 12 Python
Django haystack实现全文搜索代码示例
Nov 28 Python
单身狗福利?Python爬取某婚恋网征婚数据
Jun 03 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
分享下php5类中三种数据类型的区别
2015/01/26 PHP
PHP和Mysql中转UTF8编码问题汇总
2015/10/10 PHP
PHPExcel简单读取excel文件示例
2016/05/26 PHP
PHP new static 和 new self详解
2017/02/19 PHP
PHP观察者模式示例【Laravel框架中有用到】
2018/06/15 PHP
PHP实现的只保留字符串首尾字符功能示例【隐藏部分字符串】
2019/03/11 PHP
Thinkphp 框架扩展之类库扩展操作详解
2020/04/23 PHP
laravel数据库查询结果自动转数组修改实例
2021/02/27 PHP
JQuery打造PHP的AJAX表单提交实例
2009/11/03 Javascript
JavaScript window.setTimeout() 的详细用法
2009/11/04 Javascript
下载网站打开页面后间隔多少时间才显示下载链接地址的代码
2010/04/25 Javascript
浅析XMLHttpRequest的缓存问题
2013/12/13 Javascript
Node.js中HTTP模块与事件模块详解
2014/11/14 Javascript
javascript实现禁止右键和F12查看源代码
2014/12/26 Javascript
RequireJS使用注意细节
2016/05/15 Javascript
JavaScript代码性能优化总结(推荐)
2016/05/16 Javascript
JS闭包、作用域链、垃圾回收、内存泄露相关知识小结
2016/05/16 Javascript
vue实现图片加载完成前的loading组件方法
2018/02/05 Javascript
Vue源码学习之关于对Array的数据侦听实现
2019/04/23 Javascript
微信小程序获取当前位置和城市名
2019/11/13 Javascript
[44:40]Spirit vs Navi Supermajor小组赛 A组败者组第一轮 BO3 第一场 6.2
2018/06/03 DOTA
python操作CouchDB的方法
2014/10/08 Python
Python中一般处理中文的几种方法
2019/03/06 Python
Python中join()函数多种操作代码实例
2020/01/13 Python
python读取当前目录下的CSV文件数据
2020/03/11 Python
Python面向对象多态实现原理及代码实例
2020/09/16 Python
HTML5的download属性详细介绍和使用实例
2014/04/23 HTML / CSS
彪马西班牙官网:PUMA西班牙
2019/06/18 全球购物
含精油的天然有机化妆品:Indemne
2019/08/27 全球购物
EM Cosmetics官网:由彩妆大神Michelle Phan创办的独立品牌
2020/04/27 全球购物
存储过程和sql语句的优缺点
2014/07/02 面试题
旷课检讨书3000字
2014/02/04 职场文书
三八妇女节演讲稿
2014/05/27 职场文书
中学教代会开幕词
2016/03/04 职场文书
详解PHP设计模式之依赖注入模式
2021/05/25 PHP
教你如何用Python实现人脸识别(含源代码)
2021/06/23 Python