Python下载网络文本数据到本地内存的四种实现方法示例


Posted in Python onFebruary 05, 2018

本文实例讲述了Python下载网络文本数据到本地内存的四种实现方法。分享给大家供大家参考,具体如下:

import urllib.request
import requests
from io import StringIO
import numpy as np
import pandas as pd
'''
下载网络文件,并导入CSV文件作为numpy的矩阵
'''
# 网络数据文件地址
url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
# 方法一
# ========================================================
# 下载文件
#r = urllib.request.urlopen(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(r, delimiter=",")
# 方法二
# ========================================================
# 下载文件
#r = requests.get(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(StringIO(r.text), delimiter=",") # 此处用到 StringIO !!!!!!
# 方法三
# ========================================================
#用genfromtxt直接下载网络文件,并将CSV文件导作numpy矩阵。爽!!!!!!!!
#dataset = np.genfromtxt(url, delimiter=",")
# 方法四
# ========================================================
# 用pandas.read_csv直接下载网络文件,并将CSV文件导作pandas.DataFrame。
# dataset = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
dataset = pd.read_csv(url)
# ========================================================
# separate the data from the target attributes
X = dataset[:,0:7]
y = dataset[:,8]
print(X)
#print(y)

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python利用小波分析进行特征提取的实例
Jan 09 Python
Django 中间键和上下文处理器的使用
Mar 17 Python
python实现五子棋小程序
Jun 18 Python
python3 动态模块导入与全局变量使用实例
Dec 22 Python
python接口自动化如何封装获取常量的类
Dec 24 Python
Python实现银行账户资金交易管理系统
Jan 03 Python
Python内置函数locals和globals对比
Apr 28 Python
初学者学习Python好还是Java好
May 26 Python
Python如何使用正则表达式爬取京东商品信息
Jun 01 Python
python要安装在哪个盘
Jun 15 Python
PYTHON使用Matplotlib去实现各种条形图的绘制
Mar 22 Python
python的html标准库
Apr 29 Python
Python实现屏幕截图的两种方式
Feb 05 #Python
Python实现连接两个无规则列表后删除重复元素并升序排序的方法
Feb 05 #Python
用python实现对比两张图片的不同
Feb 05 #Python
使用pygame模块编写贪吃蛇的实例讲解
Feb 05 #Python
Python安装模块的常见问题及解决方法
Feb 05 #Python
Python实现的用户登录系统功能示例
Feb 05 #Python
python中numpy的矩阵、多维数组的用法
Feb 05 #Python
You might like
php.ini 中文版
2006/10/28 PHP
从一个不错的留言本弄的mysql数据库操作类
2007/09/02 PHP
PHP去除数组中重复的元素并按键名排序函数
2008/08/18 PHP
php 随机记录mysql rand()造成CPU 100%的解决办法
2010/05/18 PHP
解析dedecms空间迁移步骤详解
2013/05/15 PHP
php实现用于计算执行时间的类实例
2015/04/18 PHP
PHP目录操作实例总结
2016/09/27 PHP
JavaScript的变量作用域深入理解
2009/10/25 Javascript
JavaScript游戏之是男人就下100层代码打包
2010/11/08 Javascript
JQquery的一些使用心得分享
2012/08/01 Javascript
Jquery图形报表插件 jqplot简介及参数详解
2012/10/10 Javascript
js实现数组去重、判断数组以及对象中的内容是否相同
2013/11/29 Javascript
如何从jQuery的ajax请求中删除X-Requested-With
2013/12/11 Javascript
JSP中使用JavaScript动态插入删除输入框实现代码
2014/06/13 Javascript
javascript设计模式之中介者模式Mediator
2014/12/30 Javascript
jQuery中not()方法用法实例
2015/01/06 Javascript
基于AngularJS+HTML+Groovy实现登录功能
2016/02/17 Javascript
如何解决vue与传统jquery插件冲突
2017/03/20 Javascript
微信小程序实现点击按钮修改字体颜色功能【附demo源码下载】
2017/12/05 Javascript
vue-列表下详情的展开与折叠案例
2020/07/28 Javascript
[04:26]DOTA2上海特锦赛小组赛第二日 TOP10精彩集锦
2016/02/27 DOTA
Python使用SocketServer模块编写基本服务器程序的教程
2016/07/12 Python
Python 实现随机数详解及实例代码
2017/04/15 Python
Python正则表达式分组概念与用法详解
2017/06/24 Python
Python在不同目录下导入模块的实现方法
2017/10/27 Python
python实现对指定输入的字符串逆序输出的6种方法
2018/04/26 Python
使用PyCharm创建Django项目及基本配置详解
2018/10/24 Python
python 爬虫爬取京东ps4售卖情况
2020/12/18 Python
描述Cookie和Session的作用,区别和各自的应用范围,Session工作原理
2015/03/25 面试题
20年同学聚会感言
2014/02/03 职场文书
个人简历自我评价范文
2014/02/04 职场文书
秋季运动会活动方案
2014/02/05 职场文书
党的群众路线教育实践活动整改落实情况报告
2014/10/28 职场文书
群众路线自查自纠工作情况报告
2014/10/28 职场文书
2014年物资管理工作总结
2014/12/02 职场文书
培训感想范文
2015/08/07 职场文书