Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python合并字符串的3种方法
May 21 Python
Python函数式编程指南(一):函数式编程概述
Jun 24 Python
详解Python的Twisted框架中reactor事件管理器的用法
May 25 Python
Python方法的延迟加载的示例代码
Dec 18 Python
Python3环境安装Scrapy爬虫框架过程及常见错误
Jul 12 Python
python统计指定目录内文件的代码行数
Sep 19 Python
在python shell中运行python文件的实现
Dec 21 Python
mac使用python识别图形验证码功能
Jan 10 Python
python mysql 字段与关键字冲突的解决方式
Mar 02 Python
浅谈Python __init__.py的作用
Oct 28 Python
python try...finally...的实现方法
Nov 25 Python
Python编写万花尺图案实例
Jan 03 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
Access数据库导入Mysql的方法之一
2006/10/09 PHP
linux环境apache多端口配置虚拟主机的方法深入介绍
2013/06/09 PHP
解析web文件操作常见安全漏洞(目录、文件名检测漏洞)
2013/06/29 PHP
php生成EAN_13标准条形码实例
2013/11/13 PHP
php最简单的删除目录与文件实现方法
2014/11/28 PHP
Zend Framework教程之Zend_Layout布局助手详解
2016/03/04 PHP
Javascript技术技巧大全(五)
2007/01/22 Javascript
分享10篇优秀的jQuery幻灯片制作教程及应用案例
2011/04/16 Javascript
jQuery动态添加的元素绑定事件处理函数代码
2011/08/02 Javascript
ECMAScript 创建自己的js类库
2012/11/22 Javascript
JS 日期比较大小的简单实例
2014/01/13 Javascript
浅谈js中变量初始化
2015/02/03 Javascript
jQuery Ajax 全局调用封装实例代码详解
2016/06/02 Javascript
jQuery实现响应鼠标事件的图片透明效果【附demo源码下载】
2016/06/16 Javascript
vue2.0实现倒计时的插件(时间戳 刷新 跳转 都不影响)
2017/03/30 Javascript
ES6中module模块化开发实例浅析
2017/04/06 Javascript
JavaScript实现重力下落与弹性效果的方法分析
2017/12/20 Javascript
JS选取DOM元素常见操作方法实例分析
2018/12/10 Javascript
js变量值传到php过程详解 将php解析成数据
2019/06/26 Javascript
python二分法实现实例
2013/11/21 Python
python利用sklearn包编写决策树源代码
2017/12/21 Python
Python工程师面试必备25条知识点
2018/01/17 Python
利用Python+Java调用Shell脚本时的死锁陷阱详解
2018/01/24 Python
如何用Python实现简单的Markdown转换器
2018/07/16 Python
spark dataframe 将一列展开,把该列所有值都变成新列的方法
2019/01/29 Python
html5通过canvas实现刮刮卡效果示例分享
2014/01/27 HTML / CSS
TUMI澳大利亚网站:美国旅行箱包品牌
2017/03/27 全球购物
adidas马来西亚官网:adidas MY
2020/09/12 全球购物
公司节能减排倡议书
2014/05/14 职场文书
医院党员公开承诺书
2014/08/30 职场文书
七年级上册语文教学计划
2015/01/22 职场文书
民政工作个人总结
2015/02/28 职场文书
2015年学校工作总结范文
2015/04/20 职场文书
在校生证明
2015/06/17 职场文书
Python实现学生管理系统并生成exe可执行文件详解流程
2022/01/22 Python
Python采集壁纸并实现炫轮播
2022/04/30 Python