pycharm创建scrapy项目教程及遇到的坑解析


Posted in Python onAugust 15, 2019

前言

最近学习scrapy爬虫框架,在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间,遇到各种坑,根据网上的各种教程,花费了一晚上的时间,终于成功,其中也踩了一些坑,现在整理下相关教程,希望帮助那些遇到和我一样问题的码农。

1、环境

  • 操作系统:windows10。
  • python版本:python3.7,必须使用Anaconda,目前是Anaconda5.3.1。下载地址:https://www.anaconda.com/download/ 下载64位的安装包。scrapy依赖的类库比较多,使用Anaconda会将相关的依赖的类库都安装好,并且版本保持一致。
  • pycharm:pycharm2018。

2、安装Anaconda

安装好Anaconda之后,将下面的变量加入到系统环境变量中:

e:\Anaconda3;e:\Anaconda3\Library\mingw-w64\bin;e:\Anaconda3\Library\usr\bin;e:\Anaconda3\Library\bin;e:\Anaconda3\Scripts;

上面是我本机上的环境变量,我是将Anaconda3安装在E盘的Anaconda3文件夹中。

3、安装scrapy相关类库

打开pycharm,创建一个项目,然后开始安装相关的类库。通过下面的方式查找类库,点击左上角的File按钮,会弹出如下的界面:

pycharm创建scrapy项目教程及遇到的坑解析

点击Settings按钮,会弹出下面的菜单:

pycharm创建scrapy项目教程及遇到的坑解析

然后点击右边的“+”,就会弹出安装类库的界面:

pycharm创建scrapy项目教程及遇到的坑解析

在上图中查询类库,然后点击“Install package”即可安装。
如果查询出的类库显示蓝色,表示这个类库已经安装过了。

按照下面的顺序安装类库:lxml->zope.interface->pyopenssl->twisted->scrapy。一般情况下Anaconda已经安装了很多类库,我们只需安装scrapy即可。

4、创建scrapy项目

安装好scrapy类库之后,就可以创建scrapy项目了,pycharm不能直接创建scrapy项目,必须通过命令行创建,打开pycharm的Terminal终端,输入scrapy startproject test_scrapy命令,就可以创建名为test_scrapy的scrapy项目,看到如下的信息表示成功创建scrapy项目:

New Scrapy project 'test_scrapy', using template directory 'e:\\Anaconda3\\lib\\site-packages\\scrapy\\templates\\project', created in:
  G:\PycharmProjects\scrapy\test_scrapy

You can start your first spider with:
  cd test_scrapy
  scrapy genspider example example.com

然后在pycharm的项目空间中就可以看到test_scrapy项目的目录结构:

pycharm创建scrapy项目教程及遇到的坑解析

通过命令行创建scrapy项目时经常会遇到下面的三个坑:

(1)'scrapy' 不是内部或外部命令,也不是可运行的程序或批处理文件。这是因为没有把Anaconda加入到环境变量中。在安装scrapy时,会将scrapy.exe文件安装到Scripts文件夹下面:

pycharm创建scrapy项目教程及遇到的坑解析

如果没有设置环境变量,将无法找到scrapy.exe文件。

(2)ImportError: DLL load failed: 找不到指定的模块。 这个问题是因为lxml类库版本引起的,在window7操作系统会遇到这个问题。我安装的是4.2.5版本,后来改成3.8.0就解决了。将lxml从4.2.5切换成3.8.0的方法如下:

pycharm创建scrapy项目教程及遇到的坑解析

通过上图的安装类库界面,找到lxml,勾选上Specify version选项,然后选择3.8.0,点击“install package”按钮即可。使用anaconda的好处就是,将lxml切换成3.8.0之后,会把相关的openssl和twisted等类库也切换成匹配的类库,因此强烈推荐使用Anaconda安装python。

(3)ImportError: DLL load failed: 操作系统无法运行 %1 。 这个是因为c:/windows/system32目录中的ssleay32.dll和libeay32.dll冲突导致的,我的做法是删除掉这个两个文件,创建好scrapy项目后,在恢复回来。因为删除这两个文件会导致某些应用无法运行。在window10操作系统会遇到这个问题。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中使用swapCase()方法转换大小写的教程
May 20 Python
Python统计文件中去重后uuid个数的方法
Jul 30 Python
itchat接口使用示例
Oct 23 Python
python实现外卖信息管理系统
Jan 11 Python
解决每次打开pycharm直接进入项目的问题
Oct 28 Python
python实现任意位置文件分割的实例
Dec 14 Python
Python函数装饰器实现方法详解
Dec 22 Python
Django 拼接两个queryset 或是两个不可以相加的对象实例
Mar 28 Python
什么是python的id函数
Jun 11 Python
python的launcher用法知识点总结
Aug 07 Python
Pycharm安装Qt Design快捷工具的详细教程
Nov 18 Python
python读取并查看npz/npy文件数据以及数据显示方法
Apr 14 Python
通过selenium抓取某东的TT购买记录并分析趋势过程解析
Aug 15 #Python
Python依赖包整体迁移方法详解
Aug 15 #Python
使用python批量修改文件名的方法(视频合并时)
Mar 24 #Python
python 修改本地网络配置的方法
Aug 14 #Python
python django 原生sql 获取数据的例子
Aug 14 #Python
django 连接数据库 sqlite的例子
Aug 14 #Python
Python将主机名转换为IP地址的方法
Aug 14 #Python
You might like
B2K与车机的中波PK
2021/03/02 无线电
php实例分享之通过递归实现删除目录下的所有文件详解
2014/05/15 PHP
php app支付宝回调(异步通知)详解
2018/07/25 PHP
PHP实现断点续传乱序合并文件的方法
2018/09/06 PHP
一个cssQuery对象 javascript脚本实现代码
2009/07/21 Javascript
js的alert样式如何更改如背景颜色
2014/01/22 Javascript
Jquery中扩展方法extend使用技巧
2014/08/24 Javascript
JS操作HTML自定义属性的方法
2015/02/10 Javascript
vue实现可增删查改的成绩单
2016/10/27 Javascript
AngularJS通过ng-route实现基本的路由功能实例详解
2016/12/13 Javascript
浅谈Nodejs中的作用域问题
2016/12/26 NodeJs
Omi v1.0.2发布正式支持传递javascript表达式
2017/03/21 Javascript
微信小程序中多个页面传参通信的学习与实践
2017/05/05 Javascript
React 项目迁移 Webpack Babel7的实现
2018/09/12 Javascript
Vue和React组件之间的传值方式详解
2019/01/31 Javascript
javascrpt密码强度校验函数详解
2020/03/18 Javascript
JavaScript中使用Spread运算符的八种方法总结
2020/06/18 Javascript
prettier自动格式化去换行的实现代码
2020/08/25 Javascript
详解vue3中组件的非兼容变更
2021/03/03 Vue.js
Python 网络编程起步(Socket发送消息)
2008/09/06 Python
python基础之包的导入和__init__.py的介绍
2018/01/08 Python
详解Python中的正则表达式
2018/07/08 Python
python 将对象设置为可迭代的两种实现方法
2019/01/21 Python
python3.6、opencv安装环境搭建过程(图文教程)
2019/11/05 Python
关于python 的legend图例,参数使用说明
2020/04/17 Python
对Matlab中共轭、转置和共轭装置的区别说明
2020/05/11 Python
css3 伪类选择器快速复习小结
2019/09/10 HTML / CSS
物业门卫岗位职责
2013/12/28 职场文书
电子商务系毕业生自荐信
2014/05/29 职场文书
环境日宣传活动总结
2014/07/09 职场文书
财务务虚会发言材料
2014/10/20 职场文书
三八妇女节寄语
2015/02/27 职场文书
2015国庆节放假通知范文
2015/07/30 职场文书
使用HTML+Css+transform实现3D导航栏的示例代码
2021/03/31 HTML / CSS
redis不能访问本机真实ip地址的解决方案
2021/07/07 Redis
CentOS下安装Jenkins的完整步骤
2022/04/07 Servers