Python下载网络文本数据到本地内存的四种实现方法示例


Posted in Python onFebruary 05, 2018

本文实例讲述了Python下载网络文本数据到本地内存的四种实现方法。分享给大家供大家参考,具体如下:

import urllib.request
import requests
from io import StringIO
import numpy as np
import pandas as pd
'''
下载网络文件,并导入CSV文件作为numpy的矩阵
'''
# 网络数据文件地址
url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
# 方法一
# ========================================================
# 下载文件
#r = urllib.request.urlopen(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(r, delimiter=",")
# 方法二
# ========================================================
# 下载文件
#r = requests.get(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(StringIO(r.text), delimiter=",") # 此处用到 StringIO !!!!!!
# 方法三
# ========================================================
#用genfromtxt直接下载网络文件,并将CSV文件导作numpy矩阵。爽!!!!!!!!
#dataset = np.genfromtxt(url, delimiter=",")
# 方法四
# ========================================================
# 用pandas.read_csv直接下载网络文件,并将CSV文件导作pandas.DataFrame。
# dataset = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
dataset = pd.read_csv(url)
# ========================================================
# separate the data from the target attributes
X = dataset[:,0:7]
y = dataset[:,8]
print(X)
#print(y)

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
安装dbus-python的简要教程
May 05 Python
python爬虫之BeautifulSoup 使用select方法详解
Oct 23 Python
python调用Delphi写的Dll代码示例
Dec 05 Python
使用Python进行AES加密和解密的示例代码
Feb 02 Python
Python告诉你木马程序的键盘记录原理
Feb 02 Python
Python从文件中读取数据的方法讲解
Feb 14 Python
Python面向对象进阶学习
May 21 Python
Python 实现一个手机号码获取妹子名字的功能
Sep 25 Python
Python任务调度利器之APScheduler详解
Apr 02 Python
Python如何安装第三方模块
May 28 Python
python 8种必备的gui库
Aug 27 Python
python实现简单的学生管理系统
Feb 22 Python
Python实现屏幕截图的两种方式
Feb 05 #Python
Python实现连接两个无规则列表后删除重复元素并升序排序的方法
Feb 05 #Python
用python实现对比两张图片的不同
Feb 05 #Python
使用pygame模块编写贪吃蛇的实例讲解
Feb 05 #Python
Python安装模块的常见问题及解决方法
Feb 05 #Python
Python实现的用户登录系统功能示例
Feb 05 #Python
python中numpy的矩阵、多维数组的用法
Feb 05 #Python
You might like
十天学会php之第一天
2006/10/09 PHP
杏林同学录(四)
2006/10/09 PHP
PHP memcache扩展的三种安装方法
2009/04/26 PHP
rephactor 优秀的PHP的重构工具
2011/06/09 PHP
php中的观察者模式简单实例
2015/01/20 PHP
php实现字符串反转输出的方法
2015/03/14 PHP
php使用ftp远程上传文件类(完美解决主从文件同步问题的方法)
2016/09/23 PHP
php 如何设置一个严格控制过期时间的session
2017/05/05 PHP
Javascript面向对象设计一 工厂模式
2011/12/20 Javascript
jQuery弹出层始终垂直居中相对于屏幕或当前窗口
2013/04/01 Javascript
Ext JS添加子组件的误区探讨
2013/06/28 Javascript
使用JavaScript获取电池状态的方法
2014/05/03 Javascript
js类定义函数时用prototype与不用的区别示例介绍
2014/06/10 Javascript
jquery实现保存已选用户
2014/07/21 Javascript
分享jQuery插件的学习笔记
2016/01/14 Javascript
jQuery右下角悬浮广告实例
2016/10/17 Javascript
js简单实现网页换肤功能
2017/04/07 Javascript
ES6学习笔记之正则表达式和字符串正则方法分析
2017/04/25 Javascript
vue上传图片组件编写代码
2017/07/26 Javascript
Vue-路由导航菜单栏的高亮设置方法
2018/03/17 Javascript
JavaScript中的"=、==、==="区别讲解
2019/01/22 Javascript
原生JS实现拖拽功能
2020/12/16 Javascript
[47:36]Optic vs Newbee 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/18 DOTA
[55:03]完美世界DOTA2联赛PWL S2 LBZS vs FTD.C 第二场 11.20
2020/11/20 DOTA
详解使用 pyenv 管理多个版本 python 环境
2017/10/19 Python
OpenCV+python手势识别框架和实例讲解
2018/08/03 Python
Python读取mat文件,并保存为pickle格式的方法
2018/10/23 Python
python使用pip安装模块出现ReadTimeoutError: HTTPSConnectionPool的解决方法
2019/10/04 Python
HTML5本地存储之IndexedDB
2017/06/16 HTML / CSS
软件测试英文面试题
2012/10/14 面试题
九年级历史教学反思
2014/01/27 职场文书
《雾凇》教学反思
2014/02/17 职场文书
电气自动化求职信
2014/06/24 职场文书
个人党性分析材料
2014/12/19 职场文书
2015年科普工作总结
2015/07/23 职场文书
pytorch 实现在测试的时候启用dropout
2021/05/27 Python