Centos7 Python3下安装scrapy的详细步骤


Posted in Python onMarch 15, 2018

苦逼的前夜

昨晚很辛苦,搞到晚上快两点,最后还是没有把python3下的scrapy框架安装起来,后面还把yum这玩意给弄坏了,一直找不到命令。今天早上又自己弄了快一上午,又求助@函兮,弄了快一个中午,最后无奈还是没有弄好yum跟python这玩意,最后还是放弃治疗了。真的是什么招,什么损招都用完了,最后也没折了,直接报告老大去,然后把阿里云的centos7实例重新磁盘回滚了一下。

正确的安装姿势

这个不多废话,如果你是直接接手过来一个centos7的实例镜像,当然包括腾讯云或者阿里云上面的,只要按照下面的步骤进行安装,没有装不上,只有装得舒服,不到半小时,完完整整的装好Python3,装好Python3下的scrapy框架

步骤

前言:不用改掉系统python2.7 ,原来是python2.7,我们还进行python2.7的保留

1.编译前准备其他库的安装(使用sudo命令)

(1)

[root@hadron ~]# yum -y groupinstall "Development tools"

(2)

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

(2)这里有点长,一定要复制完整了再进行回车,中途可能会报错,提示会有:--skip-broken

可以使用命令:

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel --skip-broken

2 . 到这里我们就可以进行python3.5的源码下载了

(1)使用wget命令:

[root@hadron ~]# wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz

(2)然后解压缩,进入根目录

[root@hadron ~]# tar -zxvf Python-3.5.5.tgz 
[root@hadron ~]# cd Python-3.5.5/

(3)python3.5进行编译安装

[root@hadron ~]# ./configure --prefix=/usr/local/python3
[root@hadron ~]# make && make install

(4)创建Python3,pip3的软链接

[root@hadron ~]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@hadron ~]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

(5)验证Python3 和pip3 是否安装成功

[root@hadron ~]# python
Python 2.7.5 (default, Nov 6 2016, 00:28:07) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# python3
Python 3.5.5 (default, Feb 27 2018, 09:28:49) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# 

[root@hadron ~]# pip3 --version
pip 9.0.1 from /usr/local/python3/lib/python3.5/site-packages (python 3.5)

这里我们可以看到默认的python还是系统自带的python2.7,而python3就是我们解压的python3.5.5了,pip3 也是python3.5下的pip了。

上面我们已经把python3跟pip3安装好了,接下来,我们进行Python3下的Scrapy框架安装

3 安装Scrapy爬虫框架

(1)安装Scrapy

[root@hadron ~]# pip3 install scrapy
Collecting scrapy
 Downloading Scrapy-1.5.0-py2.py3-none-any.whl (251kB)
  100% |????????????????????????????????| 256kB 1.1MB/s 
Requirement already satisfied: lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Collecting PyDispatcher>=2.0.5 (from scrapy)
 Downloading PyDispatcher-2.0.5.tar.gz
....
....
Collecting pycparser (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography>=2.1.4->pyOpenSSL->scrapy)
 Downloading pycparser-2.18.tar.gz (245kB)
  100% |????????????????????????????????| 256kB 339kB/s 
Installing collected packages: PyDispatcher, zope.interface, constantly, incremental, six, attrs, Automat, hyperlink, Twisted, cssselect, w3lib, parsel, asn1crypto, pycparser, cffi, cryptography, pyOpenSSL, pyasn1, pyasn1-modules, service-identity, queuelib, scrapy
 Running setup.py install for PyDispatcher ... done
 Running setup.py install for Twisted ... done
 Running setup.py install for pycparser ... done
Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 asn1crypto-0.24.0 attrs-17.4.0 cffi-1.11.4 constantly-15.1.0 cryptography-2.1.4 cssselect-1.0.3 hyperlink-18.0.0 incremental-17.5.0 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0 six-1.11.0 w3lib-1.19.0 zope.interface-4.4.3
[root@hadron ~]#

在这里进行安装的时候,我们可能会出现一串的报红,一串的报红。

Centos7 Python3下安装scrapy的详细步骤

很蛋疼的报红信息

出现报红不要紧,我们多试几次pip3 install scrapy 就行了

(2)网络好的话,试下不超过5次,应该就会出现下面安装成功的界面

Centos7 Python3下安装scrapy的详细步骤

成功安装Scrapy的界面

(3)上面的图也是验证Scrapy框架安装成功的界面,因为我们进行了import scrapy没有进行报错。

(4)创建Scrapy软链接

[root@hadron ~]# ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy

(5)验证Scrapy软链接

[root@hadron ~]# scrapy -v
Scrapy 1.5.0 - no active project

上面就是整个Python3下Scrapy框架的安装步骤过程,基本上没有bug。上面就是我对这不到半小时的安装比对昨天一个晚上的安装的心得体会,搜到好的文章,然后再继续你的下一步。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
从零学Python之入门(四)运算
May 27 Python
python获取本地计算机名字的方法
Apr 29 Python
Python yield 使用浅析
May 28 Python
使用Python编写简单的画图板程序的示例教程
Dec 08 Python
Python 序列的方法总结
Oct 18 Python
使用Python控制摄像头拍照并发邮件
Apr 23 Python
Django框架自定义session处理操作示例
May 27 Python
PyQt5 在label显示的图片中绘制矩形的方法
Jun 17 Python
python 利用浏览器 Cookie 模拟登录的用户访问知乎的方法
Jul 11 Python
django使用haystack调用Elasticsearch实现索引搜索
Jul 24 Python
pytorch 自定义数据集加载方法
Aug 18 Python
解决django后台管理界面添加中文内容乱码问题
Nov 15 Python
python实现word 2007文档转换为pdf文件
Mar 15 #Python
python中使用PIL制作并验证图片验证码
Mar 15 #Python
Python读取Word(.docx)正文信息的方法
Mar 15 #Python
30秒轻松实现TensorFlow物体检测
Mar 14 #Python
tensorflow识别自己手写数字
Mar 14 #Python
磁盘垃圾文件清理器python代码实现
Aug 24 #Python
Django自定义用户认证示例详解
Mar 14 #Python
You might like
Apache下禁止php文件被直接访问的解决方案
2013/04/25 PHP
解析:使用php mongodb扩展时 需要注意的事项
2013/06/18 PHP
php读取mysql中文数据出现乱码的解决方法
2013/08/16 PHP
php 文件下载 出现下载文件内容乱码损坏的解决方法(推荐)
2016/11/16 PHP
xtree.js 代码
2007/03/13 Javascript
JavaScript效率调优经验
2009/06/04 Javascript
js 控制页面跳转的5种方法
2013/09/09 Javascript
jQuery 回车事件enter使用示例
2014/02/18 Javascript
使用JavaScript判断图片是否加载完成的三种实现方式
2014/05/04 Javascript
jQuery的:parent选择器定义和用法
2014/07/01 Javascript
jquery的幻灯片图片切换效果代码分享
2015/09/07 Javascript
Node.js中使用jQuery的做法
2016/08/17 Javascript
Ztree新增角色和编辑角色回显问题的解决
2016/10/25 Javascript
js实时获取窗口大小变化的实例代码
2016/11/18 Javascript
Javascript中的 “&” 和 “|” 详解
2017/02/02 Javascript
详解nodeJS之二进制buffer对象
2017/06/03 NodeJs
Vue实现购物车场景下的应用
2017/11/27 Javascript
MUI 实现侧滑菜单及其主体部分上下滑动的方法
2018/01/25 Javascript
微信小程序实现转盘抽奖
2020/09/21 Javascript
Python获取远程文件大小的函数代码分享
2014/05/13 Python
Python实现简单的HttpServer服务器示例
2017/09/25 Python
Pyqt清空某一个QTreeewidgetItem下的所有分支方法
2019/06/17 Python
python SQLAlchemy的Mapping与Declarative详解
2019/07/04 Python
python3 线性回归验证方法
2019/07/09 Python
在jupyter notebook中调用.ipynb文件方式
2020/04/14 Python
Python如何批量生成和调用变量
2020/11/21 Python
无需JS和jQuery代码实现CSS3鼠标浮动放大图片
2016/11/21 HTML / CSS
基于html5 DeviceOrientation 实现微信摇一摇功能
2015/09/25 HTML / CSS
英国领先的互联网葡萄酒礼品商:Vintage Wine & Port
2019/05/24 全球购物
中班开学寄语
2014/04/04 职场文书
民族学专业求职信
2014/07/28 职场文书
房屋出租委托书格式
2014/09/23 职场文书
领导干部“四风”查摆问题个人整改措施
2014/10/28 职场文书
给老婆的保证书
2015/01/16 职场文书
《金色的草地》教学反思
2016/02/17 职场文书
css height属性中的calc方法详解
2021/06/03 HTML / CSS