win10子系统python开发环境准备及kenlm和nltk的使用教程


Posted in Python onOctober 14, 2019

前言

因为NLP作业需要用到kenlm,而kenlm在linux下更为方便。本人win10之前开启了子系统,所以就打算在子系统下进行相关作业的完成。

首先开启win10子系统,网上教程挺多,照着做就成。我当前安装版本是Ubuntu16.04。终端输入cat /etc/lsb-release或uname可以查看版本。子系统开启后,win10的盘符挂载在mnt下,可以执行ls -al /mnt查看。

Python的下载

Linux中自带python2,不过Pyhton软件基金会宣布到2020年元旦不在为py2任何分支提供支持。所以我们下载安装py3。在后面的编译操作中需要用到make和cmake工具,需要提前下载安装。make和cmake的使用,需要gcc的支持。在这里就不介绍gcc的安装了,可自行百度解决。

make是一个命令工具,它解释 Makefile 中的指令。在Makefile文件中描述了整个工程所有文件的编译顺序、编译规则。make依据Makefile文件来批处理编译,因为编写Makefile文件太繁琐复杂,就出现了cmake工具,它能读入所有源文件之后,自动生成makefile。

在进行下面步骤前,先执行sudo apt update更新,防止出现一些错误

1.make的下载和安装

wget http://ftp.gnu.org/gnu/make/make-4.2.tar.gz
tar -zxvf make-4.2.tar.gz
cd make-4.2
./configure #生成 Makefile,为下一步的编译做准备
make     #进行源代码编译
sudo make install #安装,这一步会将编译好的make文件转移到/usr/local/make目录下,该目录需要root权限
ln -s -f /usr/local/bin/make /usr/bin/make
make --version #查看版本

2.cmake的下载和安装

wget https://cmake.org/files/v3.3/cmake-3.5.1.tar.gz
tar xzvf cmake-3.5.1.tar.gz
yum install gcc-c++ # 安装gcc等程序包(安装过就忽略)
cd cmake-3.5.1
./bootstrap
make
make install
cmake --version #查看版本

cmake 会默认安装在 /usr/local/bin 下面

也可以直接安装build-essential软件包,该软件包中包含了编译c/c++所需要的软件包。sudo apt-get install build-essential

3.Python下载

wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz

4.解压

tar zxvf Python-3.7.3.tgz
cd Python-3.7.3

5.编译

./configure --with-ssl
make
sudo make install

注意:?with-ssl必须加上,否则使用pip安装第三方包时,会引发ssl错误。导致无法使用。如果执行pip install出错,重新编译安装即可。

一些错误问题:

ZipError:

sudo apt install zlib*

ImportError:'_ctypes'

sudo apt-get install python-dev python-setuptools python-pip python-smbus build-essential libncursesw5-dev libgdbm-dev libc6-dev zlib1g-dev libsqlite3-dev tk-dev libssl-dev openssl libffi-dev

6.创建软链接

# 添加python3的软链接
sudo ln -s /usr/local/bin/python3.7 /usr/bin/python3
# 添加 pip3 的软链接
sudo ln -s /usr/local/bin/pip3.7 /usr/bin/pip3

kenlm的安装

1.boost

在boost官网下载boost,本人下载了boost_1_70_0。

cd boost_1_70_0
./bootstrap.sh
./b2 install

2.xz

wget http://tukaani.org/xz/xz-5.2.2.tar.gz
tar xzvf xz-5.2.2.tar.gz
cd xz-5.2.2
./configure
make
make install

3.zlib

wget http://zlib.net/zlib-1.2.11.tar.gz
tar xzf zlib-1.2.11.tar.gz
cd zlib-1.2.11
./configure
make
make install

4.bzip

wget https://fossies.org/linux/misc/bzip2-1.0.6.tar.gz
tar xzvf bzip2-1.0.6.tar.gz
cd bzip2-1.0.6/
make
make install

5.libbz2-dev

apt-get install libbz2-dev

6.kenlm

在github上有详细的说明,https://github.com/kpu/kenlm。下载解压后

cd kenlm
mkdir -p build
cd build
cmake ..
make -j 4 # 启用4个cpu去编译。提高编译速度
cd ..
python setup.py install

测试,在python环境中导入kenlm无报错,说明kenlm安装成功。或者运行\kenlm\python\example.py文件

nltk安装

nltk直接用pip下载就行,nltk_data文件较大,可以离线下载后添加进路径。win10下使用nltk_data,直接放进D盘中就行,nltk会自动查找到。但是在Linux下需要将nltk_data路径添加到data,或者移动到下面输出的路径中。为了方便,我个人是建立了个软链接sudo ln -s /mnt/d/nltk_data /usr/local/nltk_data

import nltk
nltk.data.find(".")

# Searched in:
#   - '/root/nltk_data'
#   - '/usr/local/nltk_data'
#   - '/usr/local/share/nltk_data'
#   - '/usr/local/lib/nltk_data'
#   - '/usr/share/nltk_data'
#   - '/usr/local/share/nltk_data'
#   - '/usr/lib/nltk_data'
#   - '/usr/local/lib/nltk_data'

在当前会话下添加路径到data

from nltk import data
data.path.append(r"你下载的nltk_data所在路径")

添加完路径,使用nltk.data.path查看当前已添加路径

简单测试

from nltk.tokenize import word_tokenize
sentence = "since the 1890s , and beginning in france , the term ''libertarianism '' has often been used as an synonym for anarchism and was used almost exclusively in this sense until the 1950s in the united states ; its use as an synonym is still common outside the united states ."
print(word_tokenize(sentence))

总结

以上所述是小编给大家介绍的win10子系统python开发环境准备及kenlm和nltk的使用教程,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
理解python多线程(python多线程简明教程)
Jun 09 Python
在Python中使用列表生成式的教程
Apr 27 Python
python制作企业邮箱的爆破脚本
Oct 05 Python
matplotlib绘制符合论文要求的图片实例(必看篇)
Jun 02 Python
浅谈Python用QQ邮箱发送邮件时授权码的问题
Jan 29 Python
python爬虫基本知识
Mar 05 Python
Python查找两个有序列表中位数的方法【基于归并算法】
Apr 20 Python
django-allauth入门学习和使用详解
Jul 03 Python
通过python实现随机交换礼物程序详解
Jul 10 Python
带你彻底搞懂python操作mysql数据库(cursor游标讲解)
Jan 06 Python
Python实现进度条和时间预估的示例代码
Jun 02 Python
Python实现查询剪贴板自动匹配信息的思路详解
Jul 09 Python
python web框架Flask实现图形验证码及验证码的动态刷新实例
Oct 14 #Python
执行Django数据迁移时报 1091错误及解决方法
Oct 14 #Python
解析Python3中的Import
Oct 13 #Python
Python英文文章词频统计(14份剑桥真题词频统计)
Oct 13 #Python
Python 转换RGB颜色值的示例代码
Oct 13 #Python
Django中自定义查询对象的具体使用
Oct 13 #Python
PyCharm导入python项目并配置虚拟环境的教程详解
Oct 13 #Python
You might like
中东人咖啡哲学
2021/03/03 咖啡文化
一个很不错的PHP翻页类
2009/06/01 PHP
Window 7/XP 安装Apache 2.4与PHP 5.4 的过程详解
2013/06/02 PHP
PHP使用DES进行加密与解密的方法详解
2013/06/06 PHP
PHP基础知识介绍
2013/09/17 PHP
浅谈socket同步和异步、阻塞和非阻塞、I/O模型
2016/12/15 PHP
php readfile下载大文件失败的解决方法
2017/05/22 PHP
PHP+Apache实现二级域名之间共享cookie的方法
2019/07/24 PHP
父窗口获取弹出子窗口文本框的值
2006/06/27 Javascript
jQuery javaScript捕获回车事件(示例代码)
2013/11/07 Javascript
跟我学Nodejs(二)--- Node.js事件模块
2014/05/21 NodeJs
简介JavaScript中用于处理正切的Math.tan()方法
2015/06/15 Javascript
针对初学者的jQuery入门指南
2015/08/15 Javascript
微信小程序之ES6与事项助手的功能实现
2016/11/30 Javascript
详解angularjs popup-table 弹出框表格指令
2017/09/20 Javascript
JavaScript如何获取到导航条中HTTP信息
2017/10/10 Javascript
让网站自动生成章节目录索引的多个js代码
2018/01/07 Javascript
js实现控制文件拖拽并获取拖拽内容功能
2018/02/17 Javascript
nodejs的路径问题的解决
2018/06/30 NodeJs
Angular+ionic实现折叠展开效果的示例代码
2020/07/29 Javascript
WebStorm无法正确识别Vue3组合式API的解决方案
2021/02/18 Vue.js
跟老齐学Python之变量和参数
2014/10/10 Python
简单理解Python中的装饰器
2015/07/31 Python
简单介绍Python中的几种数据类型
2016/01/02 Python
Python自动发邮件脚本
2017/03/31 Python
基于hashlib模块--加密(详解)
2017/06/21 Python
Python中Subprocess的不同函数解析
2019/12/10 Python
浅谈Python里面None True False之间的区别
2020/07/09 Python
使用CSS3和Checkbox实现JQuery的一些效果
2015/08/03 HTML / CSS
CSS3制作圆角图片和椭圆形图片
2016/07/08 HTML / CSS
html5中的input新属性range使用记录
2014/09/05 HTML / CSS
GLAMGLOW香港官网:明星出镜前的秘密武器
2017/03/16 全球购物
实习老师个人总结的自我评价
2013/09/28 职场文书
《恐龙》教学反思
2014/04/27 职场文书
离婚协议书格式范本
2016/03/18 职场文书
python中opencv实现图片文本倾斜校正
2021/06/11 Python