Python下载网络文本数据到本地内存的四种实现方法示例


Posted in Python onFebruary 05, 2018

本文实例讲述了Python下载网络文本数据到本地内存的四种实现方法。分享给大家供大家参考,具体如下:

import urllib.request
import requests
from io import StringIO
import numpy as np
import pandas as pd
'''
下载网络文件,并导入CSV文件作为numpy的矩阵
'''
# 网络数据文件地址
url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
# 方法一
# ========================================================
# 下载文件
#r = urllib.request.urlopen(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(r, delimiter=",")
# 方法二
# ========================================================
# 下载文件
#r = requests.get(url)
# 导入CSV文件作为numpy的矩阵
#dataset = np.loadtxt(StringIO(r.text), delimiter=",") # 此处用到 StringIO !!!!!!
# 方法三
# ========================================================
#用genfromtxt直接下载网络文件,并将CSV文件导作numpy矩阵。爽!!!!!!!!
#dataset = np.genfromtxt(url, delimiter=",")
# 方法四
# ========================================================
# 用pandas.read_csv直接下载网络文件,并将CSV文件导作pandas.DataFrame。
# dataset = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
dataset = pd.read_csv(url)
# ========================================================
# separate the data from the target attributes
X = dataset[:,0:7]
y = dataset[:,8]
print(X)
#print(y)

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python中assert用法实例分析
Apr 30 Python
浅谈Python 字符串格式化输出(format/printf)
Jul 21 Python
Python中运算符"=="和"is"的详解
Oct 08 Python
详解python调度框架APScheduler使用
Mar 28 Python
pandas groupby 分组取每组的前几行记录方法
Apr 20 Python
Python3爬虫学习入门教程
Dec 11 Python
对python函数签名的方法详解
Jan 22 Python
Python流行ORM框架sqlalchemy安装与使用教程
Jun 04 Python
python的debug实用工具 pdb详解
Jul 12 Python
解决Python安装时报缺少DLL问题【两种解决方法】
Jul 15 Python
Pytorch中的VGG实现修改最后一层FC
Jan 15 Python
Django更新models数据库结构步骤
Apr 01 Python
Python实现屏幕截图的两种方式
Feb 05 #Python
Python实现连接两个无规则列表后删除重复元素并升序排序的方法
Feb 05 #Python
用python实现对比两张图片的不同
Feb 05 #Python
使用pygame模块编写贪吃蛇的实例讲解
Feb 05 #Python
Python安装模块的常见问题及解决方法
Feb 05 #Python
Python实现的用户登录系统功能示例
Feb 05 #Python
python中numpy的矩阵、多维数组的用法
Feb 05 #Python
You might like
php htmlspecialchars()与shtmlspecialchars()函数的深入分析
2013/06/05 PHP
ThinkPHP中使用ajax接收json数据的方法
2014/12/18 PHP
PHP使用PDO连接ACCESS数据库
2015/03/05 PHP
Laravel 5 框架入门(四)完结篇
2015/04/09 PHP
UTF-8正则表达式如何匹配汉字
2015/08/03 PHP
PHP实现递归复制整个文件夹的类实例
2015/08/03 PHP
php+MySql实现登录系统与输出浏览者信息功能
2016/07/01 PHP
php5与php7的区别点总结
2019/10/11 PHP
BOOM vs RR BO5 第一场 2.14
2021/03/10 DOTA
10分钟学会写Jquery插件实例教程
2014/09/06 Javascript
简单分析javascript面向对象与原型
2015/05/21 Javascript
AngularJS equal比较对象实例详解
2016/09/14 Javascript
javascript 跨域问题以及解决办法
2017/07/17 Javascript
超级简易的JS计算器实例讲解(实现加减乘除)
2017/08/08 Javascript
Mui使用jquery并且使用点击跳转新窗口的实例
2017/08/19 jQuery
详解angular笔记路由之angular-router
2017/09/12 Javascript
JavaScript 中定义函数用 var foo = function () {} 和 function foo()区别介绍
2018/03/01 Javascript
vue中进入详情页记住滚动位置的方法(keep-alive)
2018/09/21 Javascript
JavaScript onclick事件使用方法详解
2020/05/15 Javascript
nodejs中的异步编程知识点详解
2021/01/17 NodeJs
[00:39]DOTA2上海特级锦标赛 Liquid战队宣传片
2016/03/04 DOTA
给Python初学者的一些编程技巧
2015/04/03 Python
在Python的Django框架中用流响应生成CSV文件的教程
2015/05/02 Python
对web.py设置favicon.ico的方法详解
2018/12/04 Python
Python读写文件基础知识点
2019/06/10 Python
Python学习之路安装pycharm的教程详解
2020/06/17 Python
matplotlib绘制正余弦曲线图的实现
2021/02/22 Python
宝塔面板出现“open_basedir restriction in effect. ”的解决方法
2021/03/14 PHP
纯CSS和jQuery实现的在页面顶部显示的进度条效果2例(仿手机浏览器进度条效果)
2014/04/16 HTML / CSS
详解通过HTML5 Canvas实现图片的平移及旋转变化的方法
2016/03/22 HTML / CSS
白俄罗斯大卖场:21vek.by
2019/07/25 全球购物
英国电子专家:maplin
2019/09/04 全球购物
亲子活动总结
2014/04/26 职场文书
python b站视频下载的五种版本
2021/05/27 Python
关于python爬虫应用urllib库作用分析
2021/09/04 Python
「回转企鹅罐」10周年纪念展「輪るピングドラム展」海报公开
2022/03/22 日漫