Python爬虫常用库的安装及其环境配置


Posted in Python onSeptember 19, 2018

Python常用库的安装

urllib、re 这两个库是Python的内置库,直接使用方法import导入即可。

在python中输入如下代码:

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)

返回结果为HTTPResponse的对象:

<http.client.HTTPResponse object at 0x000001929C7525F8>

正则表达式模块

import re

该库为python自带的库,直接运行不报错,证明该库正确安装。

requests这个库是请求的库

我们需要使用执行文件pip3来进行安装。文件处于C:\Python36\Scripts下,我们可以先将此路径设为环境变量。在命令行中输入pip3 install requests进行安装。安装完成后进行验证

>>> import requests
>>> requests.get('http://www.baidu.com')
<Response [200]>

selenium实际上是用来浏览器的一个库

做爬虫时可能会碰到使用JS渲染的网页,使用requests来请求时,可能无法正常获取内容,我们使用selenium可以驱动浏览器获得渲染后的页面。也是使用pip3  install selenium安装。进行验证

>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.Chrome()
DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910
>>> driver.get('http://www.baidu.com')

上述命令可以直接打开chrome浏览器,并且打开百度。但是,在这之前我们必须安装一个chromedriver,并且安装googlchrome浏览器,可自行去官网下载。当我们安装完毕后再运行这些测试代码可能依旧会出现一闪而退的情况,那么问题出在,chrome和chromdriver的版本不兼容,可以在官网下载chrome更高的版本,或者chromedriver更低的版本,但是只要都是最高版本就没问题。
如何查看本机的chrome的版本,具体方法如下:

Python爬虫常用库的安装及其环境配置

chromedriver的下载地址如下:
http://chromedriver.storage.googleapis.com/index.html
chromedriver解压后放到Python或者其他配置了环境变量的目录下。 

phantomjs是一个无界面浏览器,在后台运行

可在官网自行下载。并且需要将phantomjs.exe  的所在目录设为环境变量。测试代码

>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source
'<!DOCTYPE html><!--STATUS OK--><html><head>\n

lxml

使用pip3 install lxml安装

beautifulsoup是一个网络解析库,依赖于lxml库

使用pip3安装。必须安装pip3 install beautifulsoup4,因为beautifulsoup已经停止维护了。安装验证

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>

pyquery也是网页解析库

较bs4更加方便,语法和Jquery无异。也是使用pip3 安装

>>> from pyquery import PyQuery as pq #将其重命名
>>> doc = pq('<html></html>')
>>> doc = pq('<html>hello world</html>')
>>> result = doc('html').text()
>>> result
'hello world'

pymysql是一个操作mysql数据库的库

使用pip3 安装

>>> import pymysql
>>> conn = pymysql.connect(host='localhost',user='root',password = '123456',port=3306,db='mysql')
>>> cursor = conn.cursor()
>>> cursor.execute('select * from db')
0

pymongo操作数据库MongoDB的库

需要开启MongoDB服务,在计算机管理当中的服务寻找。也是使用pip3安装

>>> import pymongo
>>> client = pymongo.MongoClient('localhost')
>>> db = client['newtestdb']
>>> db['table'].insert({'name':'tom'})
ObjectId('5b868ee4c4d17a0b2466f748')
>>> db['table'].find_one({'name':'tom'})
{'_id': ObjectId('5b868ee4c4d17a0b2466f748'), 'name': 'tom'}
>>> #完成了单条数据的查询

redis一个非关系型数据库,运行效率高

使用pip3 install redis安装

>>> import redis
>>> r = redis.Redis ('localhost',6379)
>>> r.set('name','tom')
True
>>> r.get('name')
b'tom'
>>> #是一个byte型数据类型

flask做代理时可能会用到

详细内容可以在flask官网查看flask文档

使用pip3 安装pip3 install flask

django是一个web服务器框架

提供了一个完整的后台管理,引擎、接口等,可以使用它做一个完整的网站。可在django的官网查看文档。使用pip3 install django安装

jupyter 可以理解为一个记事本

运行网页端,可以进行写代码,调试,运行。在官网可以下载jupyter,也可以用pip3 安装,相关库非常多,安装比较久。安装后可以在命令行直接运行jupyter notebook,因为此文件在scrips目录下。
C:\Users\dell>jupyter notebook
[I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port.
[I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell

Python爬虫常用库的安装及其环境配置

可以在选项  new   中建立新python3文件,并且可以编写代码。

Python爬虫常用库的安装及其环境配置

默认的文件名为unite,此处将其改为testDemo,使用快捷键ctrl+回车 运行,按键B跳转至新的编辑行。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python Spyder界面无法打开的解决方法
Apr 27 Python
Django处理文件上传File Uploads的实例
May 28 Python
Python中浅拷贝copy与深拷贝deepcopy的简单理解
Oct 26 Python
python写日志文件操作类与应用示例
Jul 01 Python
python画双y轴图像的示例代码
Jul 07 Python
使用django的objects.filter()方法匹配多个关键字的方法
Jul 18 Python
python配置文件写入过程详解
Oct 19 Python
Pycharm最新激活码2019(推荐)
Dec 31 Python
python实现ftp文件传输系统(案例分析)
Mar 20 Python
详解Python IO编程
Jul 24 Python
matplotlib 多个图像共用一个colorbar的实现示例
Sep 10 Python
python如何遍历指定路径下所有文件(按按照时间区间检索)
Sep 14 Python
Python开发虚拟环境使用virtualenvwrapper的搭建步骤教程图解
Sep 19 #Python
python3.6.3安装图文教程 TensorFlow安装配置方法
Jun 24 #Python
Windows 64位下python3安装nltk模块
Sep 19 #Python
win10 64bit下python NLTK安装教程
Sep 19 #Python
Windows下Anaconda2安装NLTK教程
Sep 19 #Python
浅述python2与python3的简单区别
Sep 19 #Python
NLTK 3.2.4 环境搭建教程
Sep 19 #Python
You might like
mysql 查询指定日期时间内sql语句实现原理与代码
2012/12/16 PHP
对淘宝URL中ID提取的PHP代码
2013/09/01 PHP
PHP 验证码不显示只有一个小红叉的解决方法
2013/09/30 PHP
php从memcache读取数据再批量写入mysql的方法
2014/12/29 PHP
ThinkPHP自定义函数解决模板标签加减运算的方法
2015/07/03 PHP
jQuery 入门级学习笔记及源码
2010/01/22 Javascript
Javascript中indexOf()和lastIndexOf应用方法实例
2016/08/24 Javascript
AngularJS实现与Java Web服务器交互操作示例【附demo源码下载】
2016/11/02 Javascript
js实现可输入可选择的select下拉框
2016/12/21 Javascript
在原生不支持的旧环境中添加兼容的Object.keys实现方法
2017/09/11 Javascript
浅析vue中常见循环遍历指令的使用 v-for
2018/04/18 Javascript
基于vue2的canvas时钟倒计时组件步骤解析
2018/11/05 Javascript
深入解析ES6中的promise
2018/11/08 Javascript
封装微信小程序http拦截器过程解析
2019/08/13 Javascript
js实现简单扫雷
2020/11/27 Javascript
[04:26]2014DOTA2西雅图国际邀请赛 总决赛TOPPLAY
2014/07/22 DOTA
python 图片验证码代码
2008/12/07 Python
用Python输出一个杨辉三角的例子
2014/06/13 Python
Python中for循环控制语句用法实例
2015/06/02 Python
python实现手势识别的示例(入门)
2020/04/15 Python
详解css3自定义滚动条样式写法
2017/12/25 HTML / CSS
苏宁红孩子母婴商城:redbaby
2017/02/12 全球购物
澳大利亚第一的设计师礼服租赁网站:GlamCorner
2017/08/13 全球购物
英国在线电子和小工具商店:TecoBuy
2018/10/06 全球购物
美国一站式电动和手动工具商店:International Tool
2020/11/26 全球购物
美国椅子和沙发制造商:La-Z-Boy
2020/10/25 全球购物
毕业设计计划书
2014/01/09 职场文书
租赁协议书范本
2014/04/22 职场文书
教师党员自我剖析材料
2014/09/29 职场文书
2014年信息宣传工作总结
2014/12/18 职场文书
2015年党员个人剖析材料
2014/12/18 职场文书
社区干部培训心得体会
2016/01/06 职场文书
使用springMVC所需要的pom配置
2021/09/15 Java/Android
OpenCV实现常见的四种图像几何变换
2022/04/01 Python
Python尝试实现蒙特卡罗模拟期权定价
2022/04/21 Python