解决Python3.7.0 SSL低版本导致Pip无法使用问题


Posted in Python onSeptember 03, 2020

终于下决心把python从2.7升到了3.7。懒人安装当然使用Anaconda。

安装成功,编译成功。但是用pip 安装包的时候提示:

pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available。

原因是python3.7为了安全性考虑,要求使用openssl 1.0.2之后的版本。但是自带的openssl,版本是1.0.1。

解决办法:

重装一下openssl

进入

Anaconda Prompt:

conda install -c anaconda openssl

就一切解决了哈啊哈!完美!

补充知识:Python3使用multiprocessing多进程模块共享变量

在使用Python用CPU跑一个人脸识别的模块,神经网络的计算比较耗时,因为Python GIL的限制,因此这里使用多进程来并行跑数据集。

在多个进程之间共享简单变量

有很多张人脸图片,现在使用8个进程来分别对人脸图片进行识别,但是要知道总的进度和正确率,因此这里要在各个进程之间共享变量。这里需要的只是整型无符号变量。

在对总的进度和准确率进行计算的时候要加锁,防止别的进程改变

在使用 print输出的时候要加锁,因为控制台也是资源,要防止抢占

加锁了之后要记得释放锁

假设8个进程共识别了count张图片,然后正确的图片有correct张。思路如下:

在主进程中声明要共享的count和correct变量,初始化进程的时候传入

在各个进程中识别一张图片count就自增1,识别正确的话correct也要自增1,自增的时候要加锁

控制台输出相关信息的时候也要加锁

# l代表长整型无符号变量
count = multiprocessing.Value('l', 0)
correct = multiprocessing.Value('l', 0)
lock = multiprocessing.Lock()

# 要运行的函数为run(),lis为划分给每个进程的识别图片列表
p = [multiprocessing.Process(target=run, args=(lock, i, count, correct)) for i in lis]

for i in p:
  i.start()
for i in p:
  i.join()

在run函数中:

# 多个线程对共享变量进行操作,加锁
lock.acquire()
# 图片已经识别完毕,总数加一
count.value += 1
# 下面两个if分别为识别正确的情况
if i[0] == 3 and dis >= threshold:
  correct.value += 1
  print("正确率:{0:.5f} 总数:{1} 正确数:{2} 错误数:{3} 参数个数:{4} 向量夹角:{5:.5f} 图片1:{6} 图片2:{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
  lock.release()
  continue
if i[0] == 4 and dis < threshold:
  correct.value += 1
  print("正确率:{0:.5f} 总数:{1} 正确数:{2} 错误数:{3} 参数个数:{4} 向量夹角:{5:.5f} 图片1:{6} 图片2:{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
  lock.release()
  continue
print("识别错误:参数个数:{0} 向量夹角:{1} 图片1:{2} 图片2:{3}".format(i[0], dis[0], i[1], i[2]))
# 不要遗漏解锁,否则进程会死锁
lock.release()

在多个进程中共享字典dict

准备把识别过的照片特征缓存起来,因此这里使用字典,key就是照片名称,value就是特征值。在此使用mutiprocessing.Manage()来实现。

manager = multiprocessing.Manager()
# 这个是用来在多个进程中间共享的字典
sync_dict = manager.dict()
# 这个是使用pickle序列化到文件中用的临时字典变量
mem_dict = dict()

# 如果存在字典就载入,使用临时字典中转是因为sysnc_dict直接序列化会在下次加载时导致Manager在多个进程中的连接出现问题
if os.path.exists("./muti_thread_mem.pkl"):
  with open("./muti_thread_mem.pkl", "rb") as f:
    mem_dict = pickle.load(f)
  for i in mem_dict:
    sync_dict[i] = mem_dict[i]

使用multiprocessing.Manager()时就不用加锁了,它本身带有同步的功能。在run函数中直接使用就好了。

if i[1] in sync_dict:
 # 有记录就直接读取缓存
  encoding1 = sync_dict[i[1]]
else:
 # 没记录就计算出来再缓存一下
  face.file = Image.open(prefix+i[1])
  encoding1 = face.encodings
  sync_dict[i[1]] = encoding1
if i[2] in sync_dict:
  encoding2 = sync_dict[i[2]]
else:
  face.file = Image.open(prefix+i[2])
  encoding2 = face.encodings
  sync_dict[i[2]] = encoding2

如果缓存过就直接读取,如果没有缓存过就计算后然后再缓存一下,便于下次读取。大多都是业务的逻辑,没有什么意思。算完了之后在主程序退出之前再缓存到本地就好了。

with open("./muti_thread_mem.pkl", 'wb') as f:
  for k, v in enumerate(sync_dict):
    mem_dict[v] = sync_dict[v]
  if len(mem_dict):
   # 传入的4就是想试一下Python新版本的特性而已,没啥其他意思
    pickle.dump(mem_dict, f, 4)

在Pycharm里面运行代码的时候会碰到一些问题。

使用Pycharm的Python console运行代码的时候会导致一个进程完成任务之后,join等待主线程退出的时候,所有进程都报错pipe broken连接不到Manager的共享字典。但是使用本地Terminal运行的时候,一个进程完成任务后是不会导致其他进程报错的,因此推断这里是Pycharm的坑。

关键字:multiprocessing.Manager()报错pipe broken,进程获取共享变量时异常,导致所有进程退出

调试代码(Pycharm debug模式)的时候也会导致调试过程中进程连接不到Manager的共享字典变量。

这些坑都涉及到Manager在共享变量时使用的客户端/服务端模式,最后socket连接报错,所有进程读取共享变量时报错退出。我这次的解决方式是不要启用Pycharm的Python console来运行代码就好了。

以上这篇解决Python3.7.0 SSL低版本导致Pip无法使用问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python文件比较示例分享
Jan 10 Python
Python过滤函数filter()使用自定义函数过滤序列实例
Aug 26 Python
Python matplotlib 画图窗口显示到gui或者控制台的实例
May 24 Python
python操作excel文件并输出txt文件的实例
Jul 10 Python
Python 通过requests实现腾讯新闻抓取爬虫的方法
Feb 22 Python
使用python判断jpeg图片的完整性实例
Jun 10 Python
Python简易版图书管理系统
Aug 12 Python
django 数据库连接模块解析及简单长连接改造方法
Aug 29 Python
python 实现Flask中返回图片流给前端展示
Jan 09 Python
如何对python的字典进行排序
Jun 19 Python
Python Sqlalchemy如何实现select for update
Oct 12 Python
Python字符串格式化方式
Apr 07 Python
一篇文章搞懂python的转义字符及用法
Sep 03 #Python
容易被忽略的Python内置类型
Sep 03 #Python
python类共享变量操作
Sep 03 #Python
Python pip install之SSL异常处理操作
Sep 03 #Python
详解python tkinter 图片插入问题
Sep 03 #Python
解决PyCharm IDE环境下,执行unittest不生成测试报告的问题
Sep 03 #Python
PyTorch中Tensor的数据类型和运算的使用
Sep 03 #Python
You might like
PHP新手上路(五)
2006/10/09 PHP
php session应用实例 登录验证
2009/03/16 PHP
php出现web系统多域名登录失败的解决方法
2014/09/30 PHP
PHP网页安全认证的实例详解
2017/09/28 PHP
php用xpath解析html的代码实例讲解
2019/02/14 PHP
TP5.0框架实现无限极回复功能的方法分析
2019/05/04 PHP
JavaScript库 开发规则
2009/01/31 Javascript
node.js中的events.emitter.once方法使用说明
2014/12/10 Javascript
javascript实现完美拖拽效果
2015/05/06 Javascript
avalon js实现仿微博拖动图片排序
2015/08/14 Javascript
JS+CSS实现的竖向简洁折叠菜单效果代码
2015/10/22 Javascript
jQuery使用contains过滤器实现精确匹配方法详解
2016/02/25 Javascript
详解EasyUi控件中的Datagrid
2017/08/23 Javascript
区别JavaScript函数声明与变量声明
2018/09/12 Javascript
vue中v-for通过动态绑定class实现触发效果
2018/12/06 Javascript
通过实例讲解JS如何防抖动
2019/06/15 Javascript
layui自己添加图片按钮并点击跳转页面的例子
2019/09/14 Javascript
node.js使用yargs处理命令行参数操作示例
2020/02/11 Javascript
js实现无缝轮播图插件封装
2020/07/31 Javascript
vue实现移动端拖动排序
2020/08/21 Javascript
给你选择Python语言实现机器学习算法的三大理由
2017/11/15 Python
python如何实现不可变字典inmutabledict
2020/01/08 Python
windows10环境下用anaconda和VScode配置的图文教程
2020/03/30 Python
Python request post上传文件常见要点
2020/11/20 Python
Python爬虫之Selenium实现窗口截图
2020/12/04 Python
华润集团网上药店:健一网
2016/09/19 全球购物
世界上最具创新性的增强型知名运动品牌:Proviz
2018/04/03 全球购物
男女钓鱼靴和甲板鞋:XTRATUF
2021/01/09 全球购物
斯洛伐克电子产品购物网站:DATART
2020/04/05 全球购物
别名指示符是什么
2012/10/08 面试题
农业资源与环境专业自荐信范文
2013/12/30 职场文书
代理班主任的自我评价
2014/02/04 职场文书
竞选班干部演讲稿100字
2014/08/20 职场文书
上课说话检讨书500字
2014/11/01 职场文书
CSS完成视差滚动效果
2021/04/27 HTML / CSS
浅析MongoDB之安全认证
2021/06/26 MongoDB