解决Python3.7.0 SSL低版本导致Pip无法使用问题


Posted in Python onSeptember 03, 2020

终于下决心把python从2.7升到了3.7。懒人安装当然使用Anaconda。

安装成功,编译成功。但是用pip 安装包的时候提示:

pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available。

原因是python3.7为了安全性考虑,要求使用openssl 1.0.2之后的版本。但是自带的openssl,版本是1.0.1。

解决办法:

重装一下openssl

进入

Anaconda Prompt:

conda install -c anaconda openssl

就一切解决了哈啊哈!完美!

补充知识:Python3使用multiprocessing多进程模块共享变量

在使用Python用CPU跑一个人脸识别的模块,神经网络的计算比较耗时,因为Python GIL的限制,因此这里使用多进程来并行跑数据集。

在多个进程之间共享简单变量

有很多张人脸图片,现在使用8个进程来分别对人脸图片进行识别,但是要知道总的进度和正确率,因此这里要在各个进程之间共享变量。这里需要的只是整型无符号变量。

在对总的进度和准确率进行计算的时候要加锁,防止别的进程改变

在使用 print输出的时候要加锁,因为控制台也是资源,要防止抢占

加锁了之后要记得释放锁

假设8个进程共识别了count张图片,然后正确的图片有correct张。思路如下:

在主进程中声明要共享的count和correct变量,初始化进程的时候传入

在各个进程中识别一张图片count就自增1,识别正确的话correct也要自增1,自增的时候要加锁

控制台输出相关信息的时候也要加锁

# l代表长整型无符号变量
count = multiprocessing.Value('l', 0)
correct = multiprocessing.Value('l', 0)
lock = multiprocessing.Lock()

# 要运行的函数为run(),lis为划分给每个进程的识别图片列表
p = [multiprocessing.Process(target=run, args=(lock, i, count, correct)) for i in lis]

for i in p:
  i.start()
for i in p:
  i.join()

在run函数中:

# 多个线程对共享变量进行操作,加锁
lock.acquire()
# 图片已经识别完毕,总数加一
count.value += 1
# 下面两个if分别为识别正确的情况
if i[0] == 3 and dis >= threshold:
  correct.value += 1
  print("正确率:{0:.5f} 总数:{1} 正确数:{2} 错误数:{3} 参数个数:{4} 向量夹角:{5:.5f} 图片1:{6} 图片2:{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
  lock.release()
  continue
if i[0] == 4 and dis < threshold:
  correct.value += 1
  print("正确率:{0:.5f} 总数:{1} 正确数:{2} 错误数:{3} 参数个数:{4} 向量夹角:{5:.5f} 图片1:{6} 图片2:{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
  lock.release()
  continue
print("识别错误:参数个数:{0} 向量夹角:{1} 图片1:{2} 图片2:{3}".format(i[0], dis[0], i[1], i[2]))
# 不要遗漏解锁,否则进程会死锁
lock.release()

在多个进程中共享字典dict

准备把识别过的照片特征缓存起来,因此这里使用字典,key就是照片名称,value就是特征值。在此使用mutiprocessing.Manage()来实现。

manager = multiprocessing.Manager()
# 这个是用来在多个进程中间共享的字典
sync_dict = manager.dict()
# 这个是使用pickle序列化到文件中用的临时字典变量
mem_dict = dict()

# 如果存在字典就载入,使用临时字典中转是因为sysnc_dict直接序列化会在下次加载时导致Manager在多个进程中的连接出现问题
if os.path.exists("./muti_thread_mem.pkl"):
  with open("./muti_thread_mem.pkl", "rb") as f:
    mem_dict = pickle.load(f)
  for i in mem_dict:
    sync_dict[i] = mem_dict[i]

使用multiprocessing.Manager()时就不用加锁了,它本身带有同步的功能。在run函数中直接使用就好了。

if i[1] in sync_dict:
 # 有记录就直接读取缓存
  encoding1 = sync_dict[i[1]]
else:
 # 没记录就计算出来再缓存一下
  face.file = Image.open(prefix+i[1])
  encoding1 = face.encodings
  sync_dict[i[1]] = encoding1
if i[2] in sync_dict:
  encoding2 = sync_dict[i[2]]
else:
  face.file = Image.open(prefix+i[2])
  encoding2 = face.encodings
  sync_dict[i[2]] = encoding2

如果缓存过就直接读取,如果没有缓存过就计算后然后再缓存一下,便于下次读取。大多都是业务的逻辑,没有什么意思。算完了之后在主程序退出之前再缓存到本地就好了。

with open("./muti_thread_mem.pkl", 'wb') as f:
  for k, v in enumerate(sync_dict):
    mem_dict[v] = sync_dict[v]
  if len(mem_dict):
   # 传入的4就是想试一下Python新版本的特性而已,没啥其他意思
    pickle.dump(mem_dict, f, 4)

在Pycharm里面运行代码的时候会碰到一些问题。

使用Pycharm的Python console运行代码的时候会导致一个进程完成任务之后,join等待主线程退出的时候,所有进程都报错pipe broken连接不到Manager的共享字典。但是使用本地Terminal运行的时候,一个进程完成任务后是不会导致其他进程报错的,因此推断这里是Pycharm的坑。

关键字:multiprocessing.Manager()报错pipe broken,进程获取共享变量时异常,导致所有进程退出

调试代码(Pycharm debug模式)的时候也会导致调试过程中进程连接不到Manager的共享字典变量。

这些坑都涉及到Manager在共享变量时使用的客户端/服务端模式,最后socket连接报错,所有进程读取共享变量时报错退出。我这次的解决方式是不要启用Pycharm的Python console来运行代码就好了。

以上这篇解决Python3.7.0 SSL低版本导致Pip无法使用问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python自动化测试之从命令行运行测试用例with verbosity
Sep 28 Python
Python多线程编程(八):使用Event实现线程间通信
Apr 05 Python
简单的Apache+FastCGI+Django配置指南
Jul 22 Python
Python聊天室实例程序分享
Jan 05 Python
使用rst2pdf实现将sphinx生成PDF
Jun 07 Python
Sanic框架配置操作分析
Jul 17 Python
Python PyQt5 Pycharm 环境搭建及配置详解(图文教程)
Jul 16 Python
python 抓包保存为pcap文件并解析的实例
Jul 23 Python
Django上使用数据可视化利器Bokeh解析
Jul 31 Python
如何用Python来理一理红楼梦里的那些关系
Aug 14 Python
在Django中自定义filter并在template中的使用详解
May 19 Python
Python使用requests模块爬取百度翻译
Aug 25 Python
一篇文章搞懂python的转义字符及用法
Sep 03 #Python
容易被忽略的Python内置类型
Sep 03 #Python
python类共享变量操作
Sep 03 #Python
Python pip install之SSL异常处理操作
Sep 03 #Python
详解python tkinter 图片插入问题
Sep 03 #Python
解决PyCharm IDE环境下,执行unittest不生成测试报告的问题
Sep 03 #Python
PyTorch中Tensor的数据类型和运算的使用
Sep 03 #Python
You might like
php分页函数
2006/07/08 PHP
PHP中查询SQL Server或Sybase时TEXT字段被截断的解决方法
2009/03/10 PHP
laravel http 自定义公共验证和响应的方法
2019/09/29 PHP
JavaScript 数组运用实现代码
2010/04/13 Javascript
AJAX分页的代码(后台asp.net)
2011/02/14 Javascript
2014最热门的JavaScript代码高亮插件推荐
2014/11/25 Javascript
jquery.validate使用时遇到的问题
2015/05/25 Javascript
JavaScript中的定时器之Item23的合理使用
2015/10/30 Javascript
BootStrap中Datetimepicker和uploadify插件应用实例小结
2016/05/26 Javascript
利用Javascript实现BMI计算器
2016/08/16 Javascript
Javascript实现倒计时(防页面刷新)实例
2016/12/13 Javascript
Vue-cli创建项目从单页面到多页面的方法
2017/09/20 Javascript
vue项目中axios请求网络接口封装的示例代码
2018/12/18 Javascript
JS控制只能输入数字并且最多允许小数点两位
2019/11/24 Javascript
bootstrapValidator表单校验、更改状态、新增、移除校验字段的实例代码
2020/05/19 Javascript
Node.js API详解之 vm模块用法实例分析
2020/05/27 Javascript
javascript实现倒计时关闭广告
2021/02/09 Javascript
使用python统计文件行数示例分享
2014/02/21 Python
python 二分查找和快速排序实例详解
2017/10/13 Python
Python中实例化class的执行顺序示例详解
2018/10/14 Python
Python英文文本分词(无空格)模块wordninja的使用实例
2019/02/20 Python
PyQt4实时显示文本内容GUI的示例
2019/06/14 Python
Python 图像对比度增强的几种方法(小结)
2019/09/25 Python
使用opencv识别图像红色区域,并输出红色区域中心点坐标
2020/06/02 Python
Django自定义YamlField实现过程解析
2020/11/11 Python
Python类class参数self原理解析
2020/11/19 Python
十岁生日同学答谢词
2014/01/19 职场文书
初中班主任评语大全
2014/04/24 职场文书
五一活动标语
2014/06/30 职场文书
长城导游词
2015/01/30 职场文书
2015年小学数学教研组工作总结
2015/05/21 职场文书
幼儿园新学期开学寄语
2015/05/27 职场文书
导游词之江南园林狮子林
2019/09/16 职场文书
导游词之河北野三坡
2019/12/11 职场文书
Python基础知识之变量的详解
2021/04/14 Python
Apache Calcite 实现方言转换的代码
2021/04/24 Servers