解决Python3.7.0 SSL低版本导致Pip无法使用问题


Posted in Python onSeptember 03, 2020

终于下决心把python从2.7升到了3.7。懒人安装当然使用Anaconda。

安装成功,编译成功。但是用pip 安装包的时候提示:

pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available。

原因是python3.7为了安全性考虑,要求使用openssl 1.0.2之后的版本。但是自带的openssl,版本是1.0.1。

解决办法:

重装一下openssl

进入

Anaconda Prompt:

conda install -c anaconda openssl

就一切解决了哈啊哈!完美!

补充知识:Python3使用multiprocessing多进程模块共享变量

在使用Python用CPU跑一个人脸识别的模块,神经网络的计算比较耗时,因为Python GIL的限制,因此这里使用多进程来并行跑数据集。

在多个进程之间共享简单变量

有很多张人脸图片,现在使用8个进程来分别对人脸图片进行识别,但是要知道总的进度和正确率,因此这里要在各个进程之间共享变量。这里需要的只是整型无符号变量。

在对总的进度和准确率进行计算的时候要加锁,防止别的进程改变

在使用 print输出的时候要加锁,因为控制台也是资源,要防止抢占

加锁了之后要记得释放锁

假设8个进程共识别了count张图片,然后正确的图片有correct张。思路如下:

在主进程中声明要共享的count和correct变量,初始化进程的时候传入

在各个进程中识别一张图片count就自增1,识别正确的话correct也要自增1,自增的时候要加锁

控制台输出相关信息的时候也要加锁

# l代表长整型无符号变量
count = multiprocessing.Value('l', 0)
correct = multiprocessing.Value('l', 0)
lock = multiprocessing.Lock()

# 要运行的函数为run(),lis为划分给每个进程的识别图片列表
p = [multiprocessing.Process(target=run, args=(lock, i, count, correct)) for i in lis]

for i in p:
  i.start()
for i in p:
  i.join()

在run函数中:

# 多个线程对共享变量进行操作,加锁
lock.acquire()
# 图片已经识别完毕,总数加一
count.value += 1
# 下面两个if分别为识别正确的情况
if i[0] == 3 and dis >= threshold:
  correct.value += 1
  print("正确率:{0:.5f} 总数:{1} 正确数:{2} 错误数:{3} 参数个数:{4} 向量夹角:{5:.5f} 图片1:{6} 图片2:{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
  lock.release()
  continue
if i[0] == 4 and dis < threshold:
  correct.value += 1
  print("正确率:{0:.5f} 总数:{1} 正确数:{2} 错误数:{3} 参数个数:{4} 向量夹角:{5:.5f} 图片1:{6} 图片2:{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
  lock.release()
  continue
print("识别错误:参数个数:{0} 向量夹角:{1} 图片1:{2} 图片2:{3}".format(i[0], dis[0], i[1], i[2]))
# 不要遗漏解锁,否则进程会死锁
lock.release()

在多个进程中共享字典dict

准备把识别过的照片特征缓存起来,因此这里使用字典,key就是照片名称,value就是特征值。在此使用mutiprocessing.Manage()来实现。

manager = multiprocessing.Manager()
# 这个是用来在多个进程中间共享的字典
sync_dict = manager.dict()
# 这个是使用pickle序列化到文件中用的临时字典变量
mem_dict = dict()

# 如果存在字典就载入,使用临时字典中转是因为sysnc_dict直接序列化会在下次加载时导致Manager在多个进程中的连接出现问题
if os.path.exists("./muti_thread_mem.pkl"):
  with open("./muti_thread_mem.pkl", "rb") as f:
    mem_dict = pickle.load(f)
  for i in mem_dict:
    sync_dict[i] = mem_dict[i]

使用multiprocessing.Manager()时就不用加锁了,它本身带有同步的功能。在run函数中直接使用就好了。

if i[1] in sync_dict:
 # 有记录就直接读取缓存
  encoding1 = sync_dict[i[1]]
else:
 # 没记录就计算出来再缓存一下
  face.file = Image.open(prefix+i[1])
  encoding1 = face.encodings
  sync_dict[i[1]] = encoding1
if i[2] in sync_dict:
  encoding2 = sync_dict[i[2]]
else:
  face.file = Image.open(prefix+i[2])
  encoding2 = face.encodings
  sync_dict[i[2]] = encoding2

如果缓存过就直接读取,如果没有缓存过就计算后然后再缓存一下,便于下次读取。大多都是业务的逻辑,没有什么意思。算完了之后在主程序退出之前再缓存到本地就好了。

with open("./muti_thread_mem.pkl", 'wb') as f:
  for k, v in enumerate(sync_dict):
    mem_dict[v] = sync_dict[v]
  if len(mem_dict):
   # 传入的4就是想试一下Python新版本的特性而已,没啥其他意思
    pickle.dump(mem_dict, f, 4)

在Pycharm里面运行代码的时候会碰到一些问题。

使用Pycharm的Python console运行代码的时候会导致一个进程完成任务之后,join等待主线程退出的时候,所有进程都报错pipe broken连接不到Manager的共享字典。但是使用本地Terminal运行的时候,一个进程完成任务后是不会导致其他进程报错的,因此推断这里是Pycharm的坑。

关键字:multiprocessing.Manager()报错pipe broken,进程获取共享变量时异常,导致所有进程退出

调试代码(Pycharm debug模式)的时候也会导致调试过程中进程连接不到Manager的共享字典变量。

这些坑都涉及到Manager在共享变量时使用的客户端/服务端模式,最后socket连接报错,所有进程读取共享变量时报错退出。我这次的解决方式是不要启用Pycharm的Python console来运行代码就好了。

以上这篇解决Python3.7.0 SSL低版本导致Pip无法使用问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
分享Python开发中要注意的十个小贴士
Aug 30 Python
python条件变量之生产者与消费者操作实例分析
Mar 22 Python
python 统计代码行数简单实例
May 04 Python
Python基础知识_浅谈用户交互
May 31 Python
python 类对象和实例对象动态添加方法(分享)
Dec 31 Python
Python装饰器用法示例小结
Feb 11 Python
Opencv-Python图像透视变换cv2.warpPerspective的示例
Apr 11 Python
django 中QuerySet特性功能详解
Jul 25 Python
Python 堆叠柱状图绘制方法
Jul 29 Python
在vscode中配置python环境过程解析
Sep 28 Python
2020年10款优秀的Python第三方库,看看有你中意的吗?
Jan 12 Python
python实现黄金分割法的示例代码
Apr 28 Python
一篇文章搞懂python的转义字符及用法
Sep 03 #Python
容易被忽略的Python内置类型
Sep 03 #Python
python类共享变量操作
Sep 03 #Python
Python pip install之SSL异常处理操作
Sep 03 #Python
详解python tkinter 图片插入问题
Sep 03 #Python
解决PyCharm IDE环境下,执行unittest不生成测试报告的问题
Sep 03 #Python
PyTorch中Tensor的数据类型和运算的使用
Sep 03 #Python
You might like
深入理解PHP之require/include顺序 推荐
2011/01/02 PHP
phpMyAdmin 链接表的附加功能尚未激活问题的解决方法(已测)
2012/03/27 PHP
php中Socket创建与监听实现方法
2015/01/05 PHP
header与缓冲区之间的深层次分析
2016/07/30 PHP
基于PHP实现解密或加密Cloudflar邮箱保护
2020/06/24 PHP
关于jQuery中的each方法(jQuery到底干了什么)
2014/03/05 Javascript
很全面的JavaScript常用功能汇总集合
2016/01/22 Javascript
详细讲解JavaScript中的this绑定
2016/10/10 Javascript
完美解决js传递参数中加号和&amp;号自动改变的方法
2016/10/11 Javascript
jQuery插件zTree实现的基本树与节点获取操作示例
2017/03/08 Javascript
js 监控iframe URL的变化实例代码
2017/07/12 Javascript
mockjs,json-server一起搭建前端通用的数据模拟框架教程
2017/12/18 Javascript
基于node搭建服务器,写接口,调接口,跨域的实例
2018/05/13 Javascript
elementUI中Table表格问题的解决方法
2018/12/04 Javascript
vue响应式更新机制及不使用框架实现简单的数据双向绑定问题
2019/06/27 Javascript
详解微信小程序开发之formId使用(模板消息)
2019/08/27 Javascript
Vue3项目打包后部署到服务器 请求不到后台接口解决方法
2020/02/06 Javascript
详解JavaScript 作用域
2020/07/14 Javascript
js实现验证码功能
2020/07/24 Javascript
[01:08]DOTA2次级职业联赛 - Shield战队宣传片
2014/12/01 DOTA
Python 冒泡,选择,插入排序使用实例
2015/02/05 Python
详解用python实现简单的遗传算法
2018/01/02 Python
Python使用__new__()方法为对象分配内存及返回对象的引用示例
2019/09/20 Python
使用Fabric自动化部署Django项目的实现
2019/09/27 Python
美的官方商城:Midea
2016/09/14 全球购物
博士学位自我鉴定范文
2013/12/26 职场文书
超市商业计划书
2014/05/04 职场文书
建筑节能汇报材料
2014/08/22 职场文书
教师党员个人自我剖析材料
2014/09/29 职场文书
房产销售独家委托书范本
2014/10/01 职场文书
党的群众路线教育实践活动个人整改措施落实情况
2014/11/04 职场文书
感谢信模板大全
2015/01/23 职场文书
女性健康讲座主持词
2015/07/04 职场文书
二年级数学教学反思
2016/02/16 职场文书
导游词之丽江普济寺
2019/10/22 职场文书
Go语言中的UTF-8实现
2021/04/26 Golang