Pycharm+Scrapy安装并且初始化项目的方法


Posted in Python onJanuary 15, 2019

前言

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

Pycharm+Scrapy安装并且初始化项目的方法

初始化项目

使用pycharm打开该项目

Pycharm+Scrapy安装并且初始化项目的方法

如果出现这个页面就说明对了。

Pycharm+Scrapy安装并且初始化项目的方法

下面生成一个模板

打开pycharm的terminal

Pycharm+Scrapy安装并且初始化项目的方法

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

Pycharm+Scrapy安装并且初始化项目的方法

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
研究Python的ORM框架中的SQLAlchemy库的映射关系
Apr 25 Python
教你用Python创建微信聊天机器人
Mar 31 Python
python实现简单遗传算法
Mar 19 Python
使用Python读取安卓手机的屏幕分辨率方法
Mar 31 Python
python多线程抽象编程模型详解
Mar 20 Python
pandas DataFrame 交集并集补集的实现
Jun 24 Python
Python3 itchat实现微信定时发送群消息的实例代码
Jul 12 Python
基于python3 的百度图片下载器的实现代码
Nov 05 Python
python编写一个会算账的脚本的示例代码
Jun 02 Python
python 引用传递和值传递详解(实参,形参)
Jun 05 Python
使用OpenCV去除面积较小的连通域
Jul 05 Python
Python 可视化神器Plotly详解
Dec 26 Python
PyCharm 设置SciView工具窗口的方法
Jan 15 #Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 #Python
用Pycharm实现鼠标滚轮控制字体大小的方法
Jan 15 #Python
解决在pycharm中显示额外的 figure 窗口问题
Jan 15 #Python
python调用opencv实现猫脸检测功能
Jan 15 #Python
python可视化实现代码
Jan 15 #Python
Python饼状图的绘制实例
Jan 15 #Python
You might like
thinkphp实现like模糊查询实例
2014/10/29 PHP
使用PHP编写发红包程序
2015/07/22 PHP
PHP常用工具函数小结【移除XSS攻击、UTF8与GBK编码转换等】
2019/04/27 PHP
PHP面向对象程序设计模拟一般面向对象语言中的方法重载(overload)示例
2019/06/13 PHP
JS获取父节点方法
2009/08/20 Javascript
百度留言本js 大家可以参考下
2009/10/13 Javascript
JS继承 笔记
2011/07/13 Javascript
THREE.JS入门教程(5)你应当知道的十件事
2013/01/24 Javascript
js substr支持中文截取函数代码(中文是双字节)
2013/04/17 Javascript
js的alert样式如何更改如背景颜色
2014/01/22 Javascript
完美兼容各大浏览器的jQuery仿新浪图文淡入淡出间歇滚动特效
2014/11/12 Javascript
JavaScript数组常用操作技巧汇总
2014/11/17 Javascript
JS实现控制表格行内容垂直对齐的方法
2015/03/30 Javascript
jquery获取select选中值的方法分析
2015/12/22 Javascript
jQuery窗口拖动功能的实现代码
2017/02/04 Javascript
开发Vue树形组件的示例代码
2017/12/21 Javascript
jQuery+koa2实现简单的Ajax请求的示例
2018/03/06 jQuery
JavaScript中join()、splice()、slice()和split()函数用法示例
2018/08/24 Javascript
js实现课堂随机点名系统
2019/11/21 Javascript
Python 正则表达式(转义问题)
2014/12/15 Python
Python自动调用IE打开某个网站的方法
2015/06/03 Python
Python3爬虫教程之利用Python实现发送天气预报邮件
2018/12/16 Python
python 对字典按照value进行排序的方法
2019/05/09 Python
python中Django文件上传方法详解
2020/08/05 Python
浅谈html5与APP混合开发遇到的问题总结
2018/03/20 HTML / CSS
Omio荷兰:预订火车、巴士和机票
2018/11/04 全球购物
请写出 float x 与"零值"比较的 if 语句
2016/01/04 面试题
家庭教育先进个人事迹材料
2014/01/24 职场文书
中文教师求职信
2014/02/22 职场文书
取保候审保证书
2014/04/30 职场文书
共产党员批评与自我批评
2014/10/15 职场文书
社区服务活动报告
2015/02/05 职场文书
单位收入证明范本
2015/06/18 职场文书
运动会3000米加油稿
2015/07/21 职场文书
《圆的周长》教学反思
2016/02/17 职场文书
OpenCV绘制圆端矩形的示例代码
2021/08/30 Python