weakref
— Referências fracas¶
Código-fonte: Lib/weakref.py
O módulo weakref
permite ao programador Python criar referências fracas para objetos.
A seguir, o termo referente significa o objeto ao qual é referido por uma referência fraca.
Uma referência fraca a um objeto não é suficiente para mantê-lo vivo: quando as únicas referências restantes a um referente são referências fracas, a coleta de lixo está livre para destruir o referente e reutilizar sua memória para outra coisa. Entretanto, até que o objeto seja realmente destruído, a referência fraca poderá retornar o objeto mesmo que não haja referências fortes a ele.
Um uso principal para referências fracas é implementar caches ou mapeamentos contendo objetos grandes, onde é desejado que um objeto grande não seja mantido ativo apenas porque aparece em um cache ou mapeamento.
Por exemplo, se você tiver vários objetos de imagem binária grandes, poderá associar um nome a cada um. Se você usasse um dicionário Python para mapear nomes para imagens, ou imagens para nomes, os objetos de imagem permaneceriam vivos apenas porque apareceriam como valores ou chaves nos dicionários. As classes WeakKeyDictionary
e WeakValueDictionary
fornecidas pelo módulo weakref
são uma alternativa, usando referências fracas para construir mapeamentos que não mantêm objetos vivos apenas porque aparecem nos objetos de mapeamento. Se, por exemplo, um objeto de imagem for um valor em um WeakValueDictionary
, então quando as últimas referências restantes a esse objeto de imagem forem as referências fracas mantidas por mapeamentos fracos, a coleta de lixo poderá recuperar o objeto e suas entradas correspondentes em mapeamentos fracos são simplesmente excluídos.
WeakKeyDictionary
e WeakValueDictionary
usam referências fracas em sua implementação, configurando funções de retorno de chamada nas referências fracas que notificam os dicionários fracos quando uma chave ou valor foi recuperado pela coleta de lixo. WeakSet
implementa a interface set
, mas mantém referências fracas aos seus elementos, assim como WeakKeyDictionary
faz.
finalize
fornece uma maneira direta de registrar uma função de limpeza a ser chamada quando um objeto é coletado como lixo. Isso é mais simples de usar do que configurar uma função de retorno de chamada em uma referência fraca não tratada, pois o módulo garante automaticamente que o finalizador permaneça ativo até que o objeto seja coletado.
A maioria dos programas deve descobrir que usar um desses tipos de contêineres fracos ou finalize
é tudo que eles precisam – geralmente não é necessário criar suas próprias referências fracas diretamente. O maquinário de baixo nível é exposto pelo módulo weakref
para benefício de usos avançados.
Nem todos os objetos podem ser referenciados de maneira fraca. Objetos que oferecem suporte a referências fracas incluem instâncias de classe, funções escritas em Python (mas não em C), métodos de instância, conjuntos, frozensets, alguns objetos arquivos, geradores, objetos tipo, sockets, arrays, deques, objetos padrão de expressão regular e objetos código.
Alterado na versão 3.2: Adicionado suporte para thread.lock, threading.Lock e objetos código.
Vários tipos embutidos como list
e dict
não oferecem suporta diretamente a referências fracas, mas podem adicionar suporte através de subclasses:
class Dict(dict):
pass
obj = Dict(red=1, green=2, blue=3) # this object is weak referenceable
Detalhes da implementação do CPython: Outros tipos embutidos como tuple
e int
não oferecem suporte a referências fracas mesmo em subclasses.
Os tipos de extensão podem ser facilmente criados para oferecer suporte a referências fracas; veja Weak Reference Support.
Quando __slots__
são definidos para um determinado tipo, o suporte a referência fraca é desativado a menos que uma string '__weakref__'
também esteja presente na sequência de strings na declaração de __slots__
. Veja a documentação de __slots__ para detalhes.
- class weakref.ref(object[, callback])¶
Retorna uma referência fraca para object. O objeto original pode ser recuperado chamando o objeto referência se o referente ainda estiver ativo; se o referente não estiver mais ativo, chamar o objeto referência fará com que
None
seja retornado. Se callback for fornecido e não forNone
, e o objeto referência fraca retornado ainda estiver ativo, o função de retorno será chamada quando o objeto estiver prestes a ser finalizado; o objeto referência fraca será passado como único parâmetro para a função de retorno; o referente não estará mais disponível.É permitido que muitas referências fracas sejam construídas para o mesmo objeto. As funções de retorno registradas para cada referência fraca serão chamadas da função de retorno registrada mais recentemente para a função de retorno registrada mais antiga.
As exceções levantadas pela função de retorno serão anotadas na saída de erro padrão, mas não poderão ser propagadas; elas são tratadas exatamente da mesma maneira que as exceções levantadas pelo método
__del__()
de um objeto.Referências fracas são hasheáveis se o object for hasheável. Elas manterão seu valor de hash mesmo depois que object for excluído. Se
hash()
for chamada pela primeira vez somente após o object ter sido excluído, a chamada vai levantarTypeError
.Referências fracas oferecem suporte a testes de igualdade, mas não de ordenação. Se os referentes ainda estiverem vivos, duas referências terão a mesma relação de igualdade que seus referentes (independentemente do callback). Se um dos referentes tiver sido excluído, as referências serão iguais somente se os objetos referência forem o mesmo objeto.
Este é um tipo do qual pode ser feita subclasse em vez de uma função de fábrica.
- __callback__¶
Este atributo somente leitura retorna a função de retorno atualmente associada à referência fraca. Se não houver função de retorno ou se o referente da referência fraca não estiver mais ativo, então este atributo terá o valor
None
.
Alterado na versão 3.4: Adicionado o atributo
__callback__
.
- weakref.proxy(object[, callback])¶
Retorna um intermediário (proxy, em inglês) para object que usa uma referência fraca. Isto provê suporte ao uso do intermediário na maioria dos contextos, em vez de exigir a desreferenciação explícita usada com objetos de referência fraca. O objeto retornado terá um tipo
ProxyType
ouCallableProxyType
, dependendo se object é chamável. Objetos intermediários não são hasheáveis independentemente do referente; isso evita uma série de problemas relacionados à sua natureza fundamentalmente mutável e impede seu uso como chaves de dicionário. callback é igual ao parâmetro de mesmo nome da funçãoref()
.Accessing an attribute of the proxy object after the referent is garbage collected raises
ReferenceError
.Alterado na versão 3.8: Extended the operator support on proxy objects to include the matrix multiplication operators
@
and@=
.
- weakref.getweakrefcount(object)¶
Return the number of weak references and proxies which refer to object.
- weakref.getweakrefs(object)¶
Return a list of all weak reference and proxy objects which refer to object.
- class weakref.WeakKeyDictionary([dict])¶
Mapping class that references keys weakly. Entries in the dictionary will be discarded when there is no longer a strong reference to the key. This can be used to associate additional data with an object owned by other parts of an application without adding attributes to those objects. This can be especially useful with objects that override attribute accesses.
Note that when a key with equal value to an existing key (but not equal identity) is inserted into the dictionary, it replaces the value but does not replace the existing key. Due to this, when the reference to the original key is deleted, it also deletes the entry in the dictionary:
>>> class T(str): pass ... >>> k1, k2 = T(), T() >>> d = weakref.WeakKeyDictionary() >>> d[k1] = 1 # d = {k1: 1} >>> d[k2] = 2 # d = {k1: 2} >>> del k1 # d = {}
A workaround would be to remove the key prior to reassignment:
>>> class T(str): pass ... >>> k1, k2 = T(), T() >>> d = weakref.WeakKeyDictionary() >>> d[k1] = 1 # d = {k1: 1} >>> del d[k1] >>> d[k2] = 2 # d = {k2: 2} >>> del k1 # d = {k2: 2}
Alterado na versão 3.9: Adicionado suporte para os operadores
|
e|=
, especificados na PEP 584.
WeakKeyDictionary
objects have an additional method that
exposes the internal references directly. The references are not guaranteed to
be “live” at the time they are used, so the result of calling the references
needs to be checked before being used. This can be used to avoid creating
references that will cause the garbage collector to keep the keys around longer
than needed.
- WeakKeyDictionary.keyrefs()¶
Return an iterable of the weak references to the keys.
- class weakref.WeakValueDictionary([dict])¶
Mapping class that references values weakly. Entries in the dictionary will be discarded when no strong reference to the value exists any more.
Alterado na versão 3.9: Added support for
|
and|=
operators, as specified in PEP 584.
WeakValueDictionary
objects have an additional method that has the
same issues as the WeakKeyDictionary.keyrefs()
method.
- WeakValueDictionary.valuerefs()¶
Return an iterable of the weak references to the values.
- class weakref.WeakSet([elements])¶
Set class that keeps weak references to its elements. An element will be discarded when no strong reference to it exists any more.
- class weakref.WeakMethod(method[, callback])¶
A custom
ref
subclass which simulates a weak reference to a bound method (i.e., a method defined on a class and looked up on an instance). Since a bound method is ephemeral, a standard weak reference cannot keep hold of it.WeakMethod
has special code to recreate the bound method until either the object or the original function dies:>>> class C: ... def method(self): ... print("method called!") ... >>> c = C() >>> r = weakref.ref(c.method) >>> r() >>> r = weakref.WeakMethod(c.method) >>> r() <bound method C.method of <__main__.C object at 0x7fc859830220>> >>> r()() method called! >>> del c >>> gc.collect() 0 >>> r() >>>
callback is the same as the parameter of the same name to the
ref()
function.Adicionado na versão 3.4.
- class weakref.finalize(obj, func, /, *args, **kwargs)¶
Return a callable finalizer object which will be called when obj is garbage collected. Unlike an ordinary weak reference, a finalizer will always survive until the reference object is collected, greatly simplifying lifecycle management.
A finalizer is considered alive until it is called (either explicitly or at garbage collection), and after that it is dead. Calling a live finalizer returns the result of evaluating
func(*arg, **kwargs)
, whereas calling a dead finalizer returnsNone
.Exceptions raised by finalizer callbacks during garbage collection will be shown on the standard error output, but cannot be propagated. They are handled in the same way as exceptions raised from an object’s
__del__()
method or a weak reference’s callback.When the program exits, each remaining live finalizer is called unless its
atexit
attribute has been set to false. They are called in reverse order of creation.A finalizer will never invoke its callback during the later part of the interpreter shutdown when module globals are liable to have been replaced by
None
.- __call__()¶
If self is alive then mark it as dead and return the result of calling
func(*args, **kwargs)
. If self is dead then returnNone
.
- detach()¶
If self is alive then mark it as dead and return the tuple
(obj, func, args, kwargs)
. If self is dead then returnNone
.
- peek()¶
If self is alive then return the tuple
(obj, func, args, kwargs)
. If self is dead then returnNone
.
- alive¶
Property which is true if the finalizer is alive, false otherwise.
- atexit¶
A writable boolean property which by default is true. When the program exits, it calls all remaining live finalizers for which
atexit
is true. They are called in reverse order of creation.
Nota
It is important to ensure that func, args and kwargs do not own any references to obj, either directly or indirectly, since otherwise obj will never be garbage collected. In particular, func should not be a bound method of obj.
Adicionado na versão 3.4.
- weakref.ReferenceType¶
The type object for weak references objects.
- weakref.ProxyType¶
The type object for proxies of objects which are not callable.
- weakref.CallableProxyType¶
The type object for proxies of callable objects.
- weakref.ProxyTypes¶
Sequence containing all the type objects for proxies. This can make it simpler to test if an object is a proxy without being dependent on naming both proxy types.
Ver também
- PEP 205 - Weak References
The proposal and rationale for this feature, including links to earlier implementations and information about similar features in other languages.
Objetos de referência fraca¶
Weak reference objects have no methods and no attributes besides
ref.__callback__
. A weak reference object allows the referent to be
obtained, if it still exists, by calling it:
>>> import weakref
>>> class Object:
... pass
...
>>> o = Object()
>>> r = weakref.ref(o)
>>> o2 = r()
>>> o is o2
True
If the referent no longer exists, calling the reference object returns
None
:
>>> del o, o2
>>> print(r())
None
Testing that a weak reference object is still live should be done using the
expression ref() is not None
. Normally, application code that needs to use
a reference object should follow this pattern:
# r is a weak reference object
o = r()
if o is None:
# referent has been garbage collected
print("Object has been deallocated; can't frobnicate.")
else:
print("Object is still live!")
o.do_something_useful()
Using a separate test for “liveness” creates race conditions in threaded applications; another thread can cause a weak reference to become invalidated before the weak reference is called; the idiom shown above is safe in threaded applications as well as single-threaded applications.
Specialized versions of ref
objects can be created through subclassing.
This is used in the implementation of the WeakValueDictionary
to reduce
the memory overhead for each entry in the mapping. This may be most useful to
associate additional information with a reference, but could also be used to
insert additional processing on calls to retrieve the referent.
This example shows how a subclass of ref
can be used to store
additional information about an object and affect the value that’s returned when
the referent is accessed:
import weakref
class ExtendedRef(weakref.ref):
def __init__(self, ob, callback=None, /, **annotations):
super().__init__(ob, callback)
self.__counter = 0
for k, v in annotations.items():
setattr(self, k, v)
def __call__(self):
"""Return a pair containing the referent and the number of
times the reference has been called.
"""
ob = super().__call__()
if ob is not None:
self.__counter += 1
ob = (ob, self.__counter)
return ob
Exemplo¶
This simple example shows how an application can use object IDs to retrieve objects that it has seen before. The IDs of the objects can then be used in other data structures without forcing the objects to remain alive, but the objects can still be retrieved by ID if they do.
import weakref
_id2obj_dict = weakref.WeakValueDictionary()
def remember(obj):
oid = id(obj)
_id2obj_dict[oid] = obj
return oid
def id2obj(oid):
return _id2obj_dict[oid]
Objetos finalizadores¶
The main benefit of using finalize
is that it makes it simple
to register a callback without needing to preserve the returned finalizer
object. For instance
>>> import weakref
>>> class Object:
... pass
...
>>> kenny = Object()
>>> weakref.finalize(kenny, print, "You killed Kenny!")
<finalize object at ...; for 'Object' at ...>
>>> del kenny
You killed Kenny!
The finalizer can be called directly as well. However the finalizer will invoke the callback at most once.
>>> def callback(x, y, z):
... print("CALLBACK")
... return x + y + z
...
>>> obj = Object()
>>> f = weakref.finalize(obj, callback, 1, 2, z=3)
>>> assert f.alive
>>> assert f() == 6
CALLBACK
>>> assert not f.alive
>>> f() # callback not called because finalizer dead
>>> del obj # callback not called because finalizer dead
You can unregister a finalizer using its detach()
method. This kills the finalizer and returns the arguments passed to
the constructor when it was created.
>>> obj = Object()
>>> f = weakref.finalize(obj, callback, 1, 2, z=3)
>>> f.detach()
(<...Object object ...>, <function callback ...>, (1, 2), {'z': 3})
>>> newobj, func, args, kwargs = _
>>> assert not f.alive
>>> assert newobj is obj
>>> assert func(*args, **kwargs) == 6
CALLBACK
Unless you set the atexit
attribute to
False
, a finalizer will be called when the program exits if it
is still alive. For instance
>>> obj = Object()
>>> weakref.finalize(obj, print, "obj dead or exiting")
<finalize object at ...; for 'Object' at ...>
>>> exit()
obj dead or exiting
Comparing finalizers with __del__()
methods¶
Suppose we want to create a class whose instances represent temporary directories. The directories should be deleted with their contents when the first of the following events occurs:
the object is garbage collected,
the object’s
remove()
method is called, oro programa finaliza.
We might try to implement the class using a __del__()
method as
follows:
class TempDir:
def __init__(self):
self.name = tempfile.mkdtemp()
def remove(self):
if self.name is not None:
shutil.rmtree(self.name)
self.name = None
@property
def removed(self):
return self.name is None
def __del__(self):
self.remove()
Starting with Python 3.4, __del__()
methods no longer prevent
reference cycles from being garbage collected, and module globals are
no longer forced to None
during interpreter shutdown.
So this code should work without any issues on CPython.
However, handling of __del__()
methods is notoriously implementation
specific, since it depends on internal details of the interpreter’s garbage
collector implementation.
A more robust alternative can be to define a finalizer which only references the specific functions and objects that it needs, rather than having access to the full state of the object:
class TempDir:
def __init__(self):
self.name = tempfile.mkdtemp()
self._finalizer = weakref.finalize(self, shutil.rmtree, self.name)
def remove(self):
self._finalizer()
@property
def removed(self):
return not self._finalizer.alive
Defined like this, our finalizer only receives a reference to the details it needs to clean up the directory appropriately. If the object never gets garbage collected the finalizer will still be called at exit.
The other advantage of weakref based finalizers is that they can be used to register finalizers for classes where the definition is controlled by a third party, such as running code when a module is unloaded:
import weakref, sys
def unloading_module():
# implicit reference to the module globals from the function body
weakref.finalize(sys.modules[__name__], unloading_module)
Nota
If you create a finalizer object in a daemonic thread just as the program
exits then there is the possibility that the finalizer
does not get called at exit. However, in a daemonic thread
atexit.register()
, try: ... finally: ...
and with: ...
do not guarantee that cleanup occurs either.