Centos7 Python3下安装scrapy的详细步骤


Posted in Python onMarch 15, 2018

苦逼的前夜

昨晚很辛苦,搞到晚上快两点,最后还是没有把python3下的scrapy框架安装起来,后面还把yum这玩意给弄坏了,一直找不到命令。今天早上又自己弄了快一上午,又求助@函兮,弄了快一个中午,最后无奈还是没有弄好yum跟python这玩意,最后还是放弃治疗了。真的是什么招,什么损招都用完了,最后也没折了,直接报告老大去,然后把阿里云的centos7实例重新磁盘回滚了一下。

正确的安装姿势

这个不多废话,如果你是直接接手过来一个centos7的实例镜像,当然包括腾讯云或者阿里云上面的,只要按照下面的步骤进行安装,没有装不上,只有装得舒服,不到半小时,完完整整的装好Python3,装好Python3下的scrapy框架

步骤

前言:不用改掉系统python2.7 ,原来是python2.7,我们还进行python2.7的保留

1.编译前准备其他库的安装(使用sudo命令)

(1)

[root@hadron ~]# yum -y groupinstall "Development tools"

(2)

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

(2)这里有点长,一定要复制完整了再进行回车,中途可能会报错,提示会有:--skip-broken

可以使用命令:

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel --skip-broken

2 . 到这里我们就可以进行python3.5的源码下载了

(1)使用wget命令:

[root@hadron ~]# wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz

(2)然后解压缩,进入根目录

[root@hadron ~]# tar -zxvf Python-3.5.5.tgz 
[root@hadron ~]# cd Python-3.5.5/

(3)python3.5进行编译安装

[root@hadron ~]# ./configure --prefix=/usr/local/python3
[root@hadron ~]# make && make install

(4)创建Python3,pip3的软链接

[root@hadron ~]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@hadron ~]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

(5)验证Python3 和pip3 是否安装成功

[root@hadron ~]# python
Python 2.7.5 (default, Nov 6 2016, 00:28:07) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# python3
Python 3.5.5 (default, Feb 27 2018, 09:28:49) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# 

[root@hadron ~]# pip3 --version
pip 9.0.1 from /usr/local/python3/lib/python3.5/site-packages (python 3.5)

这里我们可以看到默认的python还是系统自带的python2.7,而python3就是我们解压的python3.5.5了,pip3 也是python3.5下的pip了。

上面我们已经把python3跟pip3安装好了,接下来,我们进行Python3下的Scrapy框架安装

3 安装Scrapy爬虫框架

(1)安装Scrapy

[root@hadron ~]# pip3 install scrapy
Collecting scrapy
 Downloading Scrapy-1.5.0-py2.py3-none-any.whl (251kB)
  100% |????????????????????????????????| 256kB 1.1MB/s 
Requirement already satisfied: lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Collecting PyDispatcher>=2.0.5 (from scrapy)
 Downloading PyDispatcher-2.0.5.tar.gz
....
....
Collecting pycparser (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography>=2.1.4->pyOpenSSL->scrapy)
 Downloading pycparser-2.18.tar.gz (245kB)
  100% |????????????????????????????????| 256kB 339kB/s 
Installing collected packages: PyDispatcher, zope.interface, constantly, incremental, six, attrs, Automat, hyperlink, Twisted, cssselect, w3lib, parsel, asn1crypto, pycparser, cffi, cryptography, pyOpenSSL, pyasn1, pyasn1-modules, service-identity, queuelib, scrapy
 Running setup.py install for PyDispatcher ... done
 Running setup.py install for Twisted ... done
 Running setup.py install for pycparser ... done
Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 asn1crypto-0.24.0 attrs-17.4.0 cffi-1.11.4 constantly-15.1.0 cryptography-2.1.4 cssselect-1.0.3 hyperlink-18.0.0 incremental-17.5.0 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0 six-1.11.0 w3lib-1.19.0 zope.interface-4.4.3
[root@hadron ~]#

在这里进行安装的时候,我们可能会出现一串的报红,一串的报红。

Centos7 Python3下安装scrapy的详细步骤

很蛋疼的报红信息

出现报红不要紧,我们多试几次pip3 install scrapy 就行了

(2)网络好的话,试下不超过5次,应该就会出现下面安装成功的界面

Centos7 Python3下安装scrapy的详细步骤

成功安装Scrapy的界面

(3)上面的图也是验证Scrapy框架安装成功的界面,因为我们进行了import scrapy没有进行报错。

(4)创建Scrapy软链接

[root@hadron ~]# ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy

(5)验证Scrapy软链接

[root@hadron ~]# scrapy -v
Scrapy 1.5.0 - no active project

上面就是整个Python3下Scrapy框架的安装步骤过程,基本上没有bug。上面就是我对这不到半小时的安装比对昨天一个晚上的安装的心得体会,搜到好的文章,然后再继续你的下一步。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python批量重命名同一文件夹下文件的方法
May 25 Python
浅谈pyhton学习中出现的各种问题(新手必看)
May 17 Python
谈谈python中GUI的选择
Mar 01 Python
python中将一个全部为int的list 转化为str的list方法
Apr 09 Python
python 除法保留两位小数点的方法
Jul 16 Python
Python实现八皇后问题示例代码
Dec 09 Python
pyqt5 使用label控件实时显示时间的实例
Jun 14 Python
在cmd中查看python的安装路径方法
Jul 03 Python
Python内存映射文件读写方式
Apr 24 Python
浅析python 定时拆分备份 nginx 日志的方法
Apr 27 Python
pytorch cuda上tensor的定义 以及减少cpu的操作详解
Jun 23 Python
Django admin组件的使用
Oct 24 Python
python实现word 2007文档转换为pdf文件
Mar 15 #Python
python中使用PIL制作并验证图片验证码
Mar 15 #Python
Python读取Word(.docx)正文信息的方法
Mar 15 #Python
30秒轻松实现TensorFlow物体检测
Mar 14 #Python
tensorflow识别自己手写数字
Mar 14 #Python
磁盘垃圾文件清理器python代码实现
Aug 24 #Python
Django自定义用户认证示例详解
Mar 14 #Python
You might like
PHP获取当前URL路径的处理方法(适用于多条件筛选列表)
2017/02/10 PHP
PHP后台微信支付和支付宝支付开发
2017/04/28 PHP
Laravel使用scout集成elasticsearch做全文搜索的实现方法
2018/11/30 PHP
Laravel框架Eloquent ORM删除数据操作示例
2019/12/03 PHP
PHP 实现链式操作
2021/03/09 PHP
js对数字的格式化使用说明
2011/01/12 Javascript
文字溢出实现溢出的部分再放入一个新生成的div中具体代码
2013/05/17 Javascript
JavaScript实现的一个计算数字步数的算法分享
2014/12/06 Javascript
AngularJS入门知识之MVW类框架的编程思想探讨
2014/12/08 Javascript
Angular实现form自动布局
2016/01/28 Javascript
限制只能输入数字的实现代码
2016/05/16 Javascript
浅谈JS中的!=、== 、!==、===的用法和区别
2016/09/24 Javascript
Vuex入门到上手教程
2018/06/20 Javascript
微信小程序实现搜索功能并跳转搜索结果页面
2019/05/18 Javascript
解决echarts vue数据更新,视图不更新问题(echarts嵌在vue弹框中)
2020/07/20 Javascript
vue+vuex+axios从后台获取数据存入vuex,组件之间共享数据操作
2020/07/31 Javascript
使用pdb模块调试Python程序实例
2015/06/02 Python
对numpy Array [: ,] 的取值方法详解
2018/07/02 Python
一看就懂得Python的math模块
2018/10/21 Python
Python使用combinations实现排列组合的方法
2018/11/13 Python
Python实现带参数的用户验证功能装饰器示例
2018/12/14 Python
python处理multipart/form-data的请求方法
2018/12/26 Python
python fuzzywuzzy模块模糊字符串匹配详细用法
2019/08/29 Python
详解Python list和numpy array的存储和读取方法
2019/11/06 Python
使用python去除图片白色像素的实例
2019/12/12 Python
python使用正则来处理各种匹配问题
2019/12/22 Python
pytorch+lstm实现的pos示例
2020/01/14 Python
Python实现清理微信僵尸粉功能示例【基于itchat模块】
2020/05/29 Python
Python实现初始化不同的变量类型为空值
2020/06/02 Python
乌克兰在线药房:Аптека24
2019/10/30 全球购物
什么是接口(Interface)?
2013/02/01 面试题
学生会干部自荐信
2014/02/04 职场文书
数学检讨书1000字
2014/02/24 职场文书
房地产财务经理岗位职责
2015/04/08 职场文书
大学生逃课检讨书
2015/05/04 职场文书
python中filter,map,reduce的作用
2022/06/10 Python