幽灵资源网 Design By www.bzswh.com
将 numpy 数组存入文件,有多种文件类型可供选择,对应地就有不同的方法来读写。
下面我将介绍读写 numpy 的三类文件:
- txt 或者 csv 文件
- npy 或者 npz 文件
- hdf5 文件
通过 numpy 读写 txt 或 csv 文件
import numpy as np a = np.array(range(20)).reshape((4, 5)) print(a) # 后缀改为 .txt 一样 filename = 'data/a.csv' # 写文件 np.savetxt(filename, a, fmt='%d', delimiter=',') # 读文件 b = np.loadtxt(filename, dtype=np.int32, delimiter=',') print(b)
缺点:
- 只能保存一维和二维 numpy 数组,当 numpy 数组 a 有多维时,需要将其 a.reshape((a.shape[0], -1)) 后才能用这种方式保存。
- 不能追加保存,即每次 np.savetxt() 都会覆盖之前的内容。
通过 numpy 读写 npy 或 npz 文件
读写 npy 文件
import numpy as np a = np.array(range(20)).reshape((2, 2, 5)) print(a) filename = 'data/a.npy' # 写文件 np.save(filename, a) # 读文件 b = np.load(filename) print(b) print(b.shape)
优点:
- npy 文件可以保存任意维度的 numpy 数组,不限于一维和二维;
- npy 保存了 numpy 数组的结构,保存的时候是什么 shape 和 dtype,取出来时就是什么样的 shape 和 dtype。
缺点:
- 只能保存一个 numpy 数组,每次保存会覆盖掉之前文件中存在的内容(如果有的话)。
读写 npz 文件
import numpy as np a = np.array(range(20)).reshape((2, 2, 5)) b = np.array(range(20, 44)).reshape(2, 3 ,4) print('a:\n', a) print('b:\n', b) filename = 'data/a.npz' # 写文件, 如果不指定key,那么默认key为'arr_0'、'arr_1',一直排下去。 np.savez(filename, a, b=b) # 读文件 c = np.load(filename) print('keys of NpzFile c:\n', c.keys()) print("c['arr_0']:\n", c['arr_0']) print("c['b']:\n", c['b'])
优点:
- npy 文件可以保存任意维度的 numpy 数组,不限于一维和二维;
- npy 保存了 numpy 数组的结构,保存的时候是什么 shape 和 dtype,取出来时就是什么样的 shape 和 dtype;
- 可以同时保存多个 numpy 数组;
- 可以指定保存 numpy 数组的 key,读取的时候很方便,不会混乱。
缺点:
- 保存多个 numpy 数组时,只能同时保存,即 np.savez(filename, a, b=b) 。每次保存会覆盖掉之前文件中存在的内容(如果有的话)。
通过 h5py 读写 hdf5 文件
优点:
- 不限 numpy 数组维度,可以保持 numpy 数组结构和数据类型;
- 适合 numpy 数组很大的情况,文件占用空间小;
- 可以通过 key 来访问 dataset(可以理解为 numpy.array),读取的时候很方便,不会混乱。
- 可以不覆盖原文件中含有的内容。
简单读取
import numpy as np import h5py a = np.array(range(20)).reshape((2, 2, 5)) b = np.array(range(20)).reshape((1, 4, 5)) print(a) print(b) filename = 'data/data.h5' # 写文件 h5f = h5py.File(filename, 'w') h5f.create_dataset('a', data=a) h5f.create_dataset('b', data=b) h5f.close() # 读文件 h5f = h5py.File(filename, 'r') print(type(h5f)) # 通过切片得到numpy数组 print(h5f['a'][:]) print(h5f['b'][:]) h5f.close()
通过切片赋值
import numpy as np import h5py a = np.array(range(20)).reshape((2, 2, 5)) print(a) filename = 'data/a.h5' # 写文件 h5f = h5py.File(filename, 'w') # 当数组a太大,需要切片进行操作时,可以不直接对h5f['a']进行初始化; # 当之后不需要改变h5f['a']的shape时,可以省略maxshape参数 h5f.create_dataset('a', shape=(2, 2, 5), maxshape=(None, 2, 5), dtype=np.int32, compression='gzip') for i in range(2): # 采用切片的形式赋值 h5f['a'][i] = a[i] h5f.close() # 读文件 h5f = h5py.File(filename, 'r') print(type(h5f)) print(h5f['a']) # 通过切片得到numpy数组 print(h5f['a'][:])
同一个 hdf5 文件可以创建多个 dataset,读取的时候按照 key 来即可。
总结
- csv 和 txt 只能用来存一维或二维 numpy 数组;
- npy 用来存单个 numpy 数组,npz 可以同时存多个 numpy 数组,两者都不限 numpy 维度,且都保持 numpy 数组的 shape 和 dtype,写文件时若原文件存在只能覆盖原文件内容;
- 当 numpy 数组很大时,最好使用 hdf5 文件,hdf5 文件相对更小;
- 当 numpy 数组很大时,对整个 numpy 数组进行运算容易发生 MemoryError,那么此时可以选择对 numpy 数组切片,将运算后的数组保存到 hdf5 文件中,hdf5 文件支持切片索引。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
标签:
numpy数组存取文件
幽灵资源网 Design By www.bzswh.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
幽灵资源网 Design By www.bzswh.com
暂无评论...
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。