Centos7 Python3下安装scrapy的详细步骤


Posted in Python onMarch 15, 2018

苦逼的前夜

昨晚很辛苦,搞到晚上快两点,最后还是没有把python3下的scrapy框架安装起来,后面还把yum这玩意给弄坏了,一直找不到命令。今天早上又自己弄了快一上午,又求助@函兮,弄了快一个中午,最后无奈还是没有弄好yum跟python这玩意,最后还是放弃治疗了。真的是什么招,什么损招都用完了,最后也没折了,直接报告老大去,然后把阿里云的centos7实例重新磁盘回滚了一下。

正确的安装姿势

这个不多废话,如果你是直接接手过来一个centos7的实例镜像,当然包括腾讯云或者阿里云上面的,只要按照下面的步骤进行安装,没有装不上,只有装得舒服,不到半小时,完完整整的装好Python3,装好Python3下的scrapy框架

步骤

前言:不用改掉系统python2.7 ,原来是python2.7,我们还进行python2.7的保留

1.编译前准备其他库的安装(使用sudo命令)

(1)

[root@hadron ~]# yum -y groupinstall "Development tools"

(2)

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

(2)这里有点长,一定要复制完整了再进行回车,中途可能会报错,提示会有:--skip-broken

可以使用命令:

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel --skip-broken

2 . 到这里我们就可以进行python3.5的源码下载了

(1)使用wget命令:

[root@hadron ~]# wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz

(2)然后解压缩,进入根目录

[root@hadron ~]# tar -zxvf Python-3.5.5.tgz 
[root@hadron ~]# cd Python-3.5.5/

(3)python3.5进行编译安装

[root@hadron ~]# ./configure --prefix=/usr/local/python3
[root@hadron ~]# make && make install

(4)创建Python3,pip3的软链接

[root@hadron ~]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@hadron ~]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

(5)验证Python3 和pip3 是否安装成功

[root@hadron ~]# python
Python 2.7.5 (default, Nov 6 2016, 00:28:07) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# python3
Python 3.5.5 (default, Feb 27 2018, 09:28:49) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# 

[root@hadron ~]# pip3 --version
pip 9.0.1 from /usr/local/python3/lib/python3.5/site-packages (python 3.5)

这里我们可以看到默认的python还是系统自带的python2.7,而python3就是我们解压的python3.5.5了,pip3 也是python3.5下的pip了。

上面我们已经把python3跟pip3安装好了,接下来,我们进行Python3下的Scrapy框架安装

3 安装Scrapy爬虫框架

(1)安装Scrapy

[root@hadron ~]# pip3 install scrapy
Collecting scrapy
 Downloading Scrapy-1.5.0-py2.py3-none-any.whl (251kB)
  100% |????????????????????????????????| 256kB 1.1MB/s 
Requirement already satisfied: lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Collecting PyDispatcher>=2.0.5 (from scrapy)
 Downloading PyDispatcher-2.0.5.tar.gz
....
....
Collecting pycparser (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography>=2.1.4->pyOpenSSL->scrapy)
 Downloading pycparser-2.18.tar.gz (245kB)
  100% |????????????????????????????????| 256kB 339kB/s 
Installing collected packages: PyDispatcher, zope.interface, constantly, incremental, six, attrs, Automat, hyperlink, Twisted, cssselect, w3lib, parsel, asn1crypto, pycparser, cffi, cryptography, pyOpenSSL, pyasn1, pyasn1-modules, service-identity, queuelib, scrapy
 Running setup.py install for PyDispatcher ... done
 Running setup.py install for Twisted ... done
 Running setup.py install for pycparser ... done
Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 asn1crypto-0.24.0 attrs-17.4.0 cffi-1.11.4 constantly-15.1.0 cryptography-2.1.4 cssselect-1.0.3 hyperlink-18.0.0 incremental-17.5.0 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0 six-1.11.0 w3lib-1.19.0 zope.interface-4.4.3
[root@hadron ~]#

在这里进行安装的时候,我们可能会出现一串的报红,一串的报红。

Centos7 Python3下安装scrapy的详细步骤

很蛋疼的报红信息

出现报红不要紧,我们多试几次pip3 install scrapy 就行了

(2)网络好的话,试下不超过5次,应该就会出现下面安装成功的界面

Centos7 Python3下安装scrapy的详细步骤

成功安装Scrapy的界面

(3)上面的图也是验证Scrapy框架安装成功的界面,因为我们进行了import scrapy没有进行报错。

(4)创建Scrapy软链接

[root@hadron ~]# ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy

(5)验证Scrapy软链接

[root@hadron ~]# scrapy -v
Scrapy 1.5.0 - no active project

上面就是整个Python3下Scrapy框架的安装步骤过程,基本上没有bug。上面就是我对这不到半小时的安装比对昨天一个晚上的安装的心得体会,搜到好的文章,然后再继续你的下一步。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python刷投票的脚本实现代码
Nov 08 Python
Django中更改默认数据库为mysql的方法示例
Dec 05 Python
python中aioysql(异步操作MySQL)的方法
Apr 11 Python
python实现美团订单推送到测试环境,提供便利操作示例
Aug 09 Python
Python 自动登录淘宝并保存登录信息的方法
Sep 04 Python
python实现12306登录并保存cookie的方法示例
Dec 17 Python
python通过移动端访问查看电脑界面
Jan 06 Python
Windows上安装tensorflow  详细教程(图文详解)
Feb 04 Python
解决tensorboard多个events文件显示紊乱的问题
Feb 15 Python
Python异常原理及异常捕捉实现过程解析
Mar 25 Python
python通过函数名调用函数的几种场景
Sep 23 Python
python 解决微分方程的操作(数值解法)
May 26 Python
python实现word 2007文档转换为pdf文件
Mar 15 #Python
python中使用PIL制作并验证图片验证码
Mar 15 #Python
Python读取Word(.docx)正文信息的方法
Mar 15 #Python
30秒轻松实现TensorFlow物体检测
Mar 14 #Python
tensorflow识别自己手写数字
Mar 14 #Python
磁盘垃圾文件清理器python代码实现
Aug 24 #Python
Django自定义用户认证示例详解
Mar 14 #Python
You might like
百度ping方法使用示例 自动ping百度
2014/01/26 PHP
Symfony2在Nginx下的配置方法图文教程
2016/02/04 PHP
php模板引擎技术简单实现
2016/03/15 PHP
php读取本地json文件的实例
2018/03/07 PHP
PHP实现长轮询消息实时推送功能代码实例讲解
2021/02/26 PHP
JS 自定义带默认值的函数
2011/07/21 Javascript
浅析JavaScript中的CSS属性及命名规范
2013/11/28 Javascript
详解jQuery中的deferred对象的使用(一)
2016/05/27 Javascript
javascript封装addLoadEvent实现页面同时加载执行多个函数的方法
2016/07/25 Javascript
bootstrap模态框远程示例代码分享
2017/05/22 Javascript
webpack搭建vue 项目的步骤
2017/12/27 Javascript
Vue微信项目按需授权登录策略实践思路详解
2018/05/07 Javascript
Vue-cli@3.0 插件系统简析
2018/09/05 Javascript
vue的.vue文件是怎么run起来的(vue-loader)
2018/12/10 Javascript
JS面向对象编程实现的拖拽功能案例详解
2020/03/03 Javascript
浅谈nuxtjs校验登录中间件和混入(mixin)
2020/11/06 Javascript
Python写的创建文件夹自定义函数mkdir()
2014/08/25 Python
简单介绍Python中的decode()方法的使用
2015/05/18 Python
Linux 下 Python 实现按任意键退出的实现方法
2016/09/25 Python
python 容器总结整理
2017/04/04 Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
2019/04/12 Python
简单了解python代码优化小技巧
2019/07/08 Python
对tensorflow中的strides参数使用详解
2020/01/04 Python
Python自动化操作实现图例绘制
2020/07/09 Python
使用Python快速打开一个百万行级别的超大Excel文件的方法
2021/03/02 Python
怎样让char类型的东西转换成int类型
2013/12/09 面试题
介绍一下ICMP(Internet Control Message Protocol)Internet控制信息协议
2016/11/26 面试题
通用求职信范文模板分享
2013/12/27 职场文书
反邪教警示教育方案
2014/05/13 职场文书
信用卡收入证明范本
2015/06/12 职场文书
观后感格式
2015/06/19 职场文书
会议主持词结束语
2015/07/03 职场文书
准备去美国留学,那么大学申请文书应该怎么写?
2019/08/12 职场文书
python代码实现扫码关注公众号登录的实战
2021/11/01 Python
python可视化大屏库big_screen示例详解
2021/11/23 Python
海弦WR-800F
2022/04/05 无线电