1 numpy保存和加载二进制数据Api

官方文档：https://numpy.org/doc/stable/reference/routines.io.html

在numpy中常用的保存和加载二进制数据主要有以下API。

1.1 numpy.save

官方文档

https://numpy.org/doc/stable/reference/generated/numpy.save.html

函数形式

numpy.save(file, arr, allow_pickle=True, fix_imports=True)

函数作用

将数据保存为.npy的二进制文件中。

函数参数

  • file：保存数据的文件或者文件名。
  • arr：需要保存的数据。
  • allow_pickle：bool类型，默认为True。如果设置为True，则表示允许使用Pickle对象保存对象数组。
  • fix_imports：bool类型，默认为True。如果设置为True，则pickle则会将新的python3名称映射到pyhon2中使用旧模块的名称，以便pickle数据流可以用python2读取。

1.2 numpy.load

官方文档

https://numpy.org/doc/stable/reference/generated/numpy.load.html#numpy.load

函数形式

numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding='ASCII')

函数功能

从.npz、.npy或者pickled文件加载数组或者pickled对象

函数参数

  • file：要读取的文件。
  • mmap_mode：内存映射模式，可选模式包括r+、r、w+、c。如果没有指定模式，则使用默认模式对文件进行内存映射。
  • allow_pickle：bool类型，默认值为False。如果设置为True，则允许加载在npy文件中的pickle对象数组。不允许的pickle的主要原因是安全性，因为加载pickle数据可以执行任意代码。如果不允许pickle，那么加载对象数组将会失败。
  • fix_imports：bool类型，默认值为True。只有在python3上加载python2生成的pickle文件时生效，其中包括对象数组的npy/npz文件。如果fix_imports设置为True，那么pickle将尝试将旧的python2名称映射到python3中使用的新名称。
  • encoding：默认值为ASCII，读取python2生成的pickle文件时使用的文件编码，只有在python3中加载python2生成的pickle文件时有效。

函数返回值

返回存储在npz/npy文件中的数据。

2 使用numpy保存和加载二进制数据

2.1 保存和加载np.array

# -*- coding: utf-8 -*-

import numpy as np

if __name__ == '__main__':
    x = np.arange(10)
    print(x)
    np.save('nparray.npy',x)

    x_read = np.load('nparray.npy')

    print(x_read)

输出

[0 1 2 3 4 5 6 7 8 9]
[0 1 2 3 4 5 6 7 8 9]

2.2 保存和加载python字典dict

# -*- coding: utf-8 -*-

import numpy as np

if __name__ == '__main__':
    dict_test = {
        'name':'zhangsan',
        'age':19,
        'sex':'man',
        'money':190000
    }

    print(dict_test)
    np.save('dict.npy',dict_test)

    dict_read = np.load('dict.npy',allow_pickle=True).item()
    print(dict_read)

输出

{'name': 'zhangsan', 'age': 19, 'sex': 'man', 'money': 190000}
{'name': 'zhangsan', 'age': 19, 'sex': 'man', 'money': 190000}

这里字典的加载在使用np.load函数将.npy文件加载为numpy.array之后，然后使用item()来获取当时保存的字典。

2.3 保存和加载python列表list

# -*- coding: utf-8 -*-

import numpy as np

if __name__ == '__main__':
    list_test = [1,100,1002,111123,111213,1313,1312,313123]

    print(list_test)
    np.save('list.npy',list_test)

    list_read = np.load('list.npy',allow_pickle=True)
    print(list_read)

输出

[1, 100, 1002, 111123, 111213, 1313, 1312, 313123]
[     1    100   1002 111123 111213   1313   1312 313123]

2.4 保存和加载python字典和列表list的结合体

# -*- coding: utf-8 -*-

import numpy as np

if __name__ == '__main__':
    dict_list_test = [
        {
            'name':'zhangsan',
            'age':19,
            'sex':'man',
            'money':190000
        },
        {
            'name': 'zhaosi',
            'age': 24,
            'sex': 'man',
            'money': 240000
        }
    ]

    print(dict_list_test)
    np.save('dict_list_test.npy',dict_list_test)

    dict_list_read = np.load('dict_list_test.npy',allow_pickle=True)
    print(dict_list_read)

输出

[{'name': 'zhangsan', 'age': 19, 'sex': 'man', 'money': 190000}, {'name': 'zhaosi', 'age': 24, 'sex': 'man', 'money': 240000}]
[{'name': 'zhangsan', 'age': 19, 'sex': 'man', 'money': 190000}
 {'name': 'zhaosi', 'age': 24, 'sex': 'man', 'money': 240000}]