Python下载网络文本数据到本地内存的四种实现方法示例


Posted in Python onFebruary 05, 2018

本文实例讲述了Python下载网络文本数据到本地内存的四种实现方法。分享给大家供大家参考,具体如下:

import urllib.request
import requests
from io import StringIO
import numpy as np
import pandas as pd
'''
下载网络文件,并导入CSV文件作为numpy的矩阵
'''
# 网络数据文件地址
url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
# 方法一
# ========================================================
# 下载文件
#r = urllib.request.urlopen(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(r, delimiter=",")
# 方法二
# ========================================================
# 下载文件
#r = requests.get(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(StringIO(r.text), delimiter=",") # 此处用到 StringIO !!!!!!
# 方法三
# ========================================================
#用genfromtxt直接下载网络文件,并将CSV文件导作numpy矩阵。爽!!!!!!!!
#dataset = np.genfromtxt(url, delimiter=",")
# 方法四
# ========================================================
# 用pandas.read_csv直接下载网络文件,并将CSV文件导作pandas.DataFrame。
# dataset = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
dataset = pd.read_csv(url)
# ========================================================
# separate the data from the target attributes
X = dataset[:,0:7]
y = dataset[:,8]
print(X)
#print(y)

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python实现115网盘自动下载的方法
Sep 30 Python
初步理解Python进程的信号通讯
Apr 09 Python
Python连接SQLServer2000的方法详解
Apr 19 Python
老生常谈python函数参数的区别(必看篇)
May 29 Python
Python编程argparse入门浅析
Feb 07 Python
对sklearn的使用之数据集的拆分与训练详解(python3.6)
Dec 14 Python
VPS CENTOS 上配置python,mysql,nginx,uwsgi,django的方法详解
Jul 01 Python
django中账号密码验证登陆功能的实现方法
Jul 15 Python
python爬取百度贴吧前1000页内容(requests库面向对象思想实现)
Aug 10 Python
ubuntu 18.04 安装opencv3.4.5的教程(图解)
Nov 04 Python
python如何删除文件、目录
Jun 23 Python
python通过函数名调用函数的几种场景
Sep 23 Python
Python实现屏幕截图的两种方式
Feb 05 #Python
Python实现连接两个无规则列表后删除重复元素并升序排序的方法
Feb 05 #Python
用python实现对比两张图片的不同
Feb 05 #Python
使用pygame模块编写贪吃蛇的实例讲解
Feb 05 #Python
Python安装模块的常见问题及解决方法
Feb 05 #Python
Python实现的用户登录系统功能示例
Feb 05 #Python
python中numpy的矩阵、多维数组的用法
Feb 05 #Python
You might like
PHP 手机归属地查询 api
2010/02/08 PHP
PHP判断文件是否存在、是否可读、目录是否存在的代码
2012/10/03 PHP
JavaScrip单线程引擎工作原理分析
2010/09/04 Javascript
js列举css中所有图标的实现代码
2011/07/04 Javascript
Javascript数组的排序 sort()方法和reverse()方法
2012/06/04 Javascript
js将控件隐藏的方法及display属性介绍
2013/07/04 Javascript
js中的referrer返回上一页使用介绍
2013/09/26 Javascript
深入理解Javascript中的循环优化
2013/11/09 Javascript
JavaScript对内存分配及管理机制详细解析
2013/11/11 Javascript
JS选项卡动态替换banner图片路径的方法
2015/05/11 Javascript
readonly和disabled属性的区别
2015/07/26 Javascript
JS自定义选项卡函数及用法实例分析
2015/09/02 Javascript
js实现拉幕效果的广告代码
2015/09/02 Javascript
javascript:void(0)点击登录没反应怎么解决
2015/11/13 Javascript
详解JavaScript逻辑Not运算符
2015/12/04 Javascript
vue中appear的用法
2017/08/17 Javascript
vue自定义全局组件(自定义插件)的用法
2018/01/30 Javascript
vue里如何主动销毁keep-alive缓存的组件
2019/03/21 Javascript
NodeJs生成sitemap站点地图的方法示例
2019/06/11 NodeJs
微信小程序自定义弹窗滚动与页面滚动冲突的解决方法
2019/07/16 Javascript
JS实现碰撞检测效果
2020/03/12 Javascript
详解Python中的__new__、__init__、__call__三个特殊方法
2016/06/02 Python
Python引用类型和值类型的区别与使用解析
2017/10/17 Python
python pycurl验证basic和digest认证的方法
2018/05/02 Python
解决新django中的path不能使用正则表达式的问题
2018/12/18 Python
python自动化工具之pywinauto实例详解
2019/08/26 Python
Windows平台Python编程必会模块之pywin32介绍
2019/10/01 Python
IE支持HTML5的解决方法
2009/10/20 HTML / CSS
枚举与#define宏的区别
2014/04/30 面试题
个人实用简单的自我评价
2013/10/19 职场文书
传媒专业推荐信范文
2013/11/23 职场文书
中专生自我鉴定书范文
2013/12/28 职场文书
校园活动策划书范文
2014/01/10 职场文书
长江三峡导游词
2015/01/31 职场文书
丧事主持词
2015/07/02 职场文书
幼儿园教师培训心得体会
2016/01/21 职场文书