Python爬虫常用库的安装及其环境配置


Posted in Python onSeptember 19, 2018

Python常用库的安装

urllib、re 这两个库是Python的内置库,直接使用方法import导入即可。

在python中输入如下代码:

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)

返回结果为HTTPResponse的对象:

<http.client.HTTPResponse object at 0x000001929C7525F8>

正则表达式模块

import re

该库为python自带的库,直接运行不报错,证明该库正确安装。

requests这个库是请求的库

我们需要使用执行文件pip3来进行安装。文件处于C:\Python36\Scripts下,我们可以先将此路径设为环境变量。在命令行中输入pip3 install requests进行安装。安装完成后进行验证

>>> import requests
>>> requests.get('http://www.baidu.com')
<Response [200]>

selenium实际上是用来浏览器的一个库

做爬虫时可能会碰到使用JS渲染的网页,使用requests来请求时,可能无法正常获取内容,我们使用selenium可以驱动浏览器获得渲染后的页面。也是使用pip3  install selenium安装。进行验证

>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.Chrome()
DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910
>>> driver.get('http://www.baidu.com')

上述命令可以直接打开chrome浏览器,并且打开百度。但是,在这之前我们必须安装一个chromedriver,并且安装googlchrome浏览器,可自行去官网下载。当我们安装完毕后再运行这些测试代码可能依旧会出现一闪而退的情况,那么问题出在,chrome和chromdriver的版本不兼容,可以在官网下载chrome更高的版本,或者chromedriver更低的版本,但是只要都是最高版本就没问题。
如何查看本机的chrome的版本,具体方法如下:

Python爬虫常用库的安装及其环境配置

chromedriver的下载地址如下:
http://chromedriver.storage.googleapis.com/index.html
chromedriver解压后放到Python或者其他配置了环境变量的目录下。 

phantomjs是一个无界面浏览器,在后台运行

可在官网自行下载。并且需要将phantomjs.exe  的所在目录设为环境变量。测试代码

>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source
'<!DOCTYPE html><!--STATUS OK--><html><head>\n

lxml

使用pip3 install lxml安装

beautifulsoup是一个网络解析库,依赖于lxml库

使用pip3安装。必须安装pip3 install beautifulsoup4,因为beautifulsoup已经停止维护了。安装验证

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>

pyquery也是网页解析库

较bs4更加方便,语法和Jquery无异。也是使用pip3 安装

>>> from pyquery import PyQuery as pq #将其重命名
>>> doc = pq('<html></html>')
>>> doc = pq('<html>hello world</html>')
>>> result = doc('html').text()
>>> result
'hello world'

pymysql是一个操作mysql数据库的库

使用pip3 安装

>>> import pymysql
>>> conn = pymysql.connect(host='localhost',user='root',password = '123456',port=3306,db='mysql')
>>> cursor = conn.cursor()
>>> cursor.execute('select * from db')
0

pymongo操作数据库MongoDB的库

需要开启MongoDB服务,在计算机管理当中的服务寻找。也是使用pip3安装

>>> import pymongo
>>> client = pymongo.MongoClient('localhost')
>>> db = client['newtestdb']
>>> db['table'].insert({'name':'tom'})
ObjectId('5b868ee4c4d17a0b2466f748')
>>> db['table'].find_one({'name':'tom'})
{'_id': ObjectId('5b868ee4c4d17a0b2466f748'), 'name': 'tom'}
>>> #完成了单条数据的查询

redis一个非关系型数据库,运行效率高

使用pip3 install redis安装

>>> import redis
>>> r = redis.Redis ('localhost',6379)
>>> r.set('name','tom')
True
>>> r.get('name')
b'tom'
>>> #是一个byte型数据类型

flask做代理时可能会用到

详细内容可以在flask官网查看flask文档

使用pip3 安装pip3 install flask

django是一个web服务器框架

提供了一个完整的后台管理,引擎、接口等,可以使用它做一个完整的网站。可在django的官网查看文档。使用pip3 install django安装

jupyter 可以理解为一个记事本

运行网页端,可以进行写代码,调试,运行。在官网可以下载jupyter,也可以用pip3 安装,相关库非常多,安装比较久。安装后可以在命令行直接运行jupyter notebook,因为此文件在scrips目录下。
C:\Users\dell>jupyter notebook
[I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port.
[I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell

Python爬虫常用库的安装及其环境配置

可以在选项  new   中建立新python3文件,并且可以编写代码。

Python爬虫常用库的安装及其环境配置

默认的文件名为unite,此处将其改为testDemo,使用快捷键ctrl+回车 运行,按键B跳转至新的编辑行。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
如何搜索查找并解决Django相关的问题
Jun 30 Python
python中Apriori算法实现讲解
Dec 10 Python
Python给你的头像加上圣诞帽
Jan 04 Python
使用Eclipse如何开发python脚本
Apr 11 Python
解决PyCharm同目录下导入模块会报错的问题
Oct 13 Python
python opencv minAreaRect 生成最小外接矩形的方法
Jul 01 Python
详解Python list和numpy array的存储和读取方法
Nov 06 Python
python3-flask-3将信息写入日志的实操方法
Nov 12 Python
python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)
Dec 03 Python
matplotlib交互式数据光标mpldatacursor的实现
Feb 03 Python
Pytorch使用shuffle打乱数据的操作
May 20 Python
浅谈pytorch中的dropout的概率p
May 27 Python
Python开发虚拟环境使用virtualenvwrapper的搭建步骤教程图解
Sep 19 #Python
python3.6.3安装图文教程 TensorFlow安装配置方法
Jun 24 #Python
Windows 64位下python3安装nltk模块
Sep 19 #Python
win10 64bit下python NLTK安装教程
Sep 19 #Python
Windows下Anaconda2安装NLTK教程
Sep 19 #Python
浅述python2与python3的简单区别
Sep 19 #Python
NLTK 3.2.4 环境搭建教程
Sep 19 #Python
You might like
PHP程序员编程注意事项
2008/04/10 PHP
PHP 导出数据到淘宝助手CSV的方法分享
2010/02/27 PHP
PHP函数分享之curl方式取得数据、模拟登陆、POST数据
2014/06/04 PHP
20个2014年最优秀的PHP框架回顾
2014/10/22 PHP
php文件缓存类汇总
2014/11/21 PHP
php猜单词游戏
2015/09/29 PHP
使用PHP连接多种数据库的实现代码(mysql,access,sqlserver,Oracle)
2016/12/21 PHP
PHP+MySql实现一个简单的留言板
2020/07/19 PHP
利用JQuery动画制作滑动菜单项效果实现步骤及代码
2013/02/07 Javascript
Node.js开发指南中的简单实例(mysql版)
2013/09/17 Javascript
jQuery切换网页皮肤并保存到Cookie示例代码
2014/06/16 Javascript
javascript使用window.open提示“已经计划系统关机”的原因
2014/08/15 Javascript
jQuery使用之标记元素属性用法实例
2015/01/19 Javascript
HTML5使用DeviceOrientation实现摇一摇功能
2015/06/05 Javascript
解决html-jquery/js引用外部图片时遇到看不了或出现403的问题
2017/09/22 jQuery
vue项目中添加单元测试的方法
2018/07/21 Javascript
详解vuex commit保存数据技巧
2018/12/25 Javascript
一个因@click.stop引发的bug的解决
2019/01/08 Javascript
Vue.js路由实现选项卡简单实例
2019/07/24 Javascript
微信小程序中的video视频实现 自定义播放按钮、封面图、视频封面上文案
2020/01/02 Javascript
TensorFlow.js 微信小程序插件开始支持模型缓存的方法
2020/02/21 Javascript
python中函数总结之装饰器闭包详解
2016/06/12 Python
Python 变量类型详解
2018/10/10 Python
Python3并发写文件与Python对比
2019/11/20 Python
python3将变量写入SQL语句的实现方式
2020/03/02 Python
Python tkinter布局与按钮间距设置方式
2020/03/04 Python
Python 日期时间datetime 加一天,减一天,加减一小时一分钟,加减一年
2020/04/16 Python
对pytorch中x = x.view(x.size(0), -1) 的理解说明
2021/03/03 Python
保加利亚运动鞋购物网站:SneakerStudio.bg
2020/12/23 全球购物
杠杆的科学教学反思
2014/01/10 职场文书
多媒体专业自我鉴定
2014/02/28 职场文书
大学生实习证明范文(5篇)
2014/09/18 职场文书
2014年大学学生会工作总结
2014/12/02 职场文书
2015年安置帮教工作总结
2015/05/22 职场文书
html form表单基础入门案例讲解
2021/07/21 HTML / CSS
OpenCV 图像梯度的实现方法
2021/07/25 Python