# `shelve` --- Python 对象持久化

源代码: Lib/shelve.py

"Shelf" 是一种持久化的类似字典的对象。 与 "dbm" 数据库的区别在于 Shelf 中的值（不是键！）实际上可以为任意 Python 对象 --- 即 `pickle` 模块能够处理的任何东西。 这包括大部分类实例、递归数据类型，以及包含大量共享子对象的对象。 键则为普通的字符串。

shelve.open(filename, flag='c', protocol=None, writeback=False, *, serializer=None, deserializer=None)

  打开一个持久化字典。 filename 指定下层数据库的基准文件名。 作为附带效果，会为 filename 添加一个扩展名并且可能创建更多的文件。 默认情况下，下层数据库会以读写模式打开。 可选的 flag 形参具有与 `dbm.open()` flag 形参相同的含义。

  在默认情况下，会使用以 `pickle.DEFAULT_PROTOCOL` 创建的 pickle 来序列化值。 pickle 协议的版本可通过 protocol 形参来指定。

  由于 Python 语义的限制，Shelf 对象无法确定一个可变的持久化字典条目在何时被修改。 默认情况下 只有 在被修改对象再赋值给 shelf 时才会写入该对象 (参见 示例)。 如果可选的 writeback 形参设为 `True`，则所有被访问的条目都将在内存中被缓存，并会在 `sync()` 和 `close()` 时被写入；这可以使得对持久化字典中可变条目的修改更方便，但是如果访问的条目很多，这会消耗大量内存作为缓存，并会使得关闭操作变得非常缓慢，因为所有被访问的条目都需要写回到字典（无法确定被访问的条目中哪个是可变的，也无法确定哪个被实际修改了）。

  By default, `shelve` uses `pickle.dumps()` and `pickle.loads()` for serializing and deserializing. This can be changed by supplying serializer and deserializer, respectively.

  The serializer argument must be a callable which takes an object `obj` and the protocol as inputs and returns the representation `obj` as a bytes-like object; the protocol value may be ignored by the serializer.

  The deserializer argument must be callable which takes a serialized object given as a `bytes` object and returns the corresponding object.

  A `ShelveError` is raised if serializer is given but deserializer is not, or vice-versa.

  在 3.10 版本发生变更: `pickle.DEFAULT_PROTOCOL` 现在会被用作默认的 pickle 协议。

  在 3.11 版本发生变更: 接受 path-like object 作为文件名。

  在 3.15 版本发生变更: Accepts custom serializer and deserializer functions in place of `pickle.dumps()` and `pickle.loads()`.

  备注

  请不要依赖于 Shelf 的自动关闭功能；当你不再需要时应当总是显式地调用 `close()`，或者使用 `shelve.open()` 作为上下文管理器:

      with shelve.open('spam') as db:
          db['eggs'] = 'eggs'

警告

Because the `shelve` module is backed by `pickle`, it is insecure to load a shelf from an untrusted source. Like with pickle, loading a shelf can execute arbitrary code.

Shelf 对象支持字典所支持的大多数方法和运算（除了拷贝、构造器以及 `|` 和 `|=` 运算符）。 这样就能方便地将基于字典的脚本转换为要求持久化存储的脚本。

额外支持的两个方法：

Shelf.sync()

  Write back all entries in the cache if the shelf was opened with writeback set to `True`. Also empty the cache and synchronize the persistent dictionary on disk, if feasible. This is called automatically when `reorganize()` is called or the shelf is closed with `close()`.

Shelf.reorganize()

  Calls `sync()` and attempts to shrink space used on disk by removing empty space resulting from deletions.

  Added in version 3.15.

Shelf.close()

  同步并关闭持久化 dict 对象。 对已关闭 Shelf 的操作将失败并引发 `ValueError`。

参见

持久化字典方案 使用了广泛支持的存储格式并具有原生字典的速度。

## 限制

- 可选择使用哪种数据库包 (例如 `dbm.ndbm` 或 `dbm.gnu`) 取决于支持哪种接口。 因此使用 `dbm` 直接打开数据库是不安全的。 如果使用了 `dbm`，数据库同样会（不幸地）受限于它 --- 这意味着存储在数据库中的（封存形式的）对象尺寸应当较小，并且在少数情况下键冲突有可能导致数据库拒绝更新。

- The `shelve` module does not support concurrent read/write access to shelved objects. (Multiple simultaneous read accesses are safe.) When a program has a shelf open for writing, no other program should have it open for reading or writing. Unix file locking can be used to solve this, but this differs across Unix versions and requires knowledge about the database implementation used.

- 在 macOS 上 `dbm.ndbm` 会在更新时静默地破坏数据库文件，这将导致在尝试读取该数据库时发生硬崩溃。

- `Shelf.reorganize()` may not be available for all database packages and may temporarily increase resource usage (especially disk space) when called. Additionally, it will never run automatically and instead needs to be called explicitly.

class shelve.Shelf(dict, protocol=None, writeback=False, keyencoding='utf-8', *, serializer=None, deserializer=None)

  `collections.abc.MutableMapping` 的一个子类，它会将封存的值保存在 dict 对象中。

  在默认情况下，会使用以 `pickle.DEFAULT_PROTOCOL` 创建的 pickle 来序列化值。 pickle 协议的版本可通过 protocol 形参来指定。 请参阅 `pickle` 文档来查看 pickle 协议的相关讨论。

  如果 writeback 形参为 `True`，对象将为所有访问过的条目保留缓存并在同步和关闭时将它们写回到 dict。 这允许对可变的条目执行自然操作，但是会消耗更多内存并让同步和关闭花费更长时间。

  keyencoding 形参是在下层字典被使用之前用于编码键的编码格式。

  The serializer and deserializer parameters have the same interpretation as in `open()`.

  `Shelf` 对象还可以被用作上下文管理器，在这种情况下它将在 `with` 语句块结束时自动被关闭。

  在 3.2 版本发生变更: 添加了 keyencoding 形参；之前，键总是使用 UTF-8 编码。

  在 3.4 版本发生变更: 添加了上下文管理器支持。

  在 3.10 版本发生变更: `pickle.DEFAULT_PROTOCOL` 现在会被用作默认的 pickle 协议。

  在 3.15 版本发生变更: Added the serializer and deserializer parameters.

class shelve.BsdDbShelf(dict, protocol=None, writeback=False, keyencoding='utf-8', *, serializer=None, deserializer=None)

  A subclass of `Shelf` which exposes `first()`, `next()`, `previous()`, `last()` and `set_location()` methods. These are available in the third-party `bsddb` module from pybsddb but not in other database modules. The dict object passed to the constructor must support those methods. This is generally accomplished by calling one of `bsddb.hashopen()`, `bsddb.btopen()` or `bsddb.rnopen()`. The optional protocol, writeback, keyencoding, serializer and deserializer parameters have the same interpretation as in `open()`.

  在 3.15 版本发生变更: Added the serializer and deserializer parameters.

class shelve.DbfilenameShelf(filename, flag='c', protocol=None, writeback=False, *, serializer=None, deserializer=None)

  A subclass of `Shelf` which accepts a filename instead of a dict-like object. The underlying file will be opened using `dbm.open()`. By default, the file will be created and opened for both read and write. The optional flag parameter has the same interpretation as for the `open()` function. The optional protocol, writeback, serializer and deserializer parameters have the same interpretation as in `open()`.

  在 3.15 版本发生变更: Added the serializer and deserializer parameters.

## 示例

对接口的总结如下 (`key` 为字符串，`data` 为任意对象):

    import shelve

    d = shelve.open(filename)  # 打开 -- 文件可能带有低层级库
                               # 所添加的后缀

    d[key] = data              # 将 data 存储到 key 位置 (如果使用现有的 key
                               # 则会覆盖旧数据)
    data = d[key]              # 获取 key 位置上 data 的拷贝 (如果 key 不存在
                               # 则会引发 KeyError)
    del d[key]                 # 删除 key 位置上的 data (如果 key 不存在
                               # 则会引发 KeyError)

    flag = key in d            # 如果 key 存在则为真值
    klist = list(d.keys())     # 由全部现有 key 组成的列表 (会很慢!)

    # 由于 d 打开时未设置 writeback=True，需要注意：
    d['xx'] = [0, 1, 2]        # 这将符合预期，但是...
    d['xx'].append(3)          # *这将不符合预期！* -- d['xx'] 仍为 [0, 1, 2]！

    # 由于 d 打开时未设置 writeback=True，你需要小心地编码：
    temp = d['xx']             # 提取副本
    temp.append(5)             # 修改副本
    d['xx'] = temp             # 将副本存储回去，以使其持久化

    # 或者，d=shelve.open(filename,writeback=True) 将允许你
    # 编码 d['xx'].append(5) 并使其符合预期，但是它也会
    # 消耗更多内存并使 d.close() 操作变慢。

    d.close()                  # 关闭它

## Exceptions

exception shelve.ShelveError

  Exception raised when one of the arguments deserializer and serializer is missing in the `open()`, `Shelf`, `BsdDbShelf` and `DbfilenameShelf`.

  The deserializer and serializer arguments must be given together.

  Added in version 3.15.

参见

模块 `dbm`

  `dbm` 风格数据库的泛型接口。

模块 `pickle`

  Object serialization used by `shelve`.