Usando importlib.metadata

Source code: Lib/importlib/metadata.py

Nuevo en la versión 3.8.

Nota

Esta funcionalidad es provisional y puede desviarse de la versión habitual de la semántica de la librería estándar.

importlib.metadata is a library that provides for access to installed package metadata. Built in part on Python’s import system, this library intends to replace similar functionality in the entry point API and metadata API of pkg_resources. Along with importlib.resources in Python 3.7 and newer (backported as importlib_resources for older versions of Python), this can eliminate the need to use the older and less efficient pkg_resources package.

By «installed package» we generally mean a third-party package installed into Python’s site-packages directory via tools such as pip. Specifically, it means a package with either a discoverable dist-info or egg-info directory, and metadata defined by PEP 566 or its older specifications. By default, package metadata can live on the file system or in zip archives on sys.path. Through an extension mechanism, the metadata can live almost anywhere.

Descripción general

Supongamos que desea obtener la cadena de versión para un paquete que ha instalado con pip. Comenzamos creando un entorno virtual e instalando algo en él:

$ python3 -m venv example
$ source example/bin/activate
(example) $ pip install wheel

Se puede obtener la cadena de versión para wheel ejecutando lo siguiente:

(example) $ python
>>> from importlib.metadata import version  
>>> version('wheel')  
'0.32.3'

También se puede obtener el conjunto de los puntos de entrada clasificados usando el grupo, como console_scripts, distutils.commands y otros, como claves. Cada grupo contiene una secuencia de objetos EntryPoint.

Se pueden obtener los metadatos para una distribución:

>>> list(metadata('wheel'))  
['Metadata-Version', 'Name', 'Version', 'Summary', 'Home-page', 'Author', 'Author-email', 'Maintainer', 'Maintainer-email', 'License', 'Project-URL', 'Project-URL', 'Project-URL', 'Keywords', 'Platform', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Requires-Python', 'Provides-Extra', 'Requires-Dist', 'Requires-Dist']

También se puede obtener el número de versión de una distribución, enumerar sus archivos constituyentes y obtener una lista de los Requerimientos de la distribución de la distribución.

API funcional

Este paquete provee la siguiente funcionalidad a través de su API pública.

Puntos de entrada

The entry_points() function returns a dictionary of all entry points, keyed by group. Entry points are represented by EntryPoint instances; each EntryPoint has a .name, .group, and .value attributes and a .load() method to resolve the value. There are also .module, .attr, and .extras attributes for getting the components of the .value attribute:

>>> eps = entry_points()  
>>> list(eps)  
['console_scripts', 'distutils.commands', 'distutils.setup_keywords', 'egg_info.writers', 'setuptools.installation']
>>> scripts = eps['console_scripts']  
>>> wheel = [ep for ep in scripts if ep.name == 'wheel'][0]  
>>> wheel  
EntryPoint(name='wheel', value='wheel.cli:main', group='console_scripts')
>>> wheel.module  
'wheel.cli'
>>> wheel.attr  
'main'
>>> wheel.extras  
[]
>>> main = wheel.load()  
>>> main  
<function main at 0x103528488>

The group and name are arbitrary values defined by the package author and usually a client will wish to resolve all entry points for a particular group. Read the setuptools docs for more information on entry points, their definition, and usage.

Metadatos de distribución

Cada distribución incluye algunos metadatos, que puede extraer utilizando la función metadata():

>>> wheel_metadata = metadata('wheel')  

Las claves de la estructura de datos retornada 1 nombran las palabras clave de los metadatos y sus valores se retornan sin analizar de los metadatos de distribución:

>>> wheel_metadata['Requires-Python']  
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'

Versiones de distribución

La función version() es la forma más rápida para obtener el número de versión de una distribución, como una cadena de caracteres:

>>> version('wheel')  
'0.32.3'

Archivos de distribución

You can also get the full set of files contained within a distribution. The files() function takes a distribution package name and returns all of the files installed by this distribution. Each file object returned is a PackagePath, a pathlib.PurePath derived object with additional dist, size, and hash properties as indicated by the metadata. For example:

>>> util = [p for p in files('wheel') if 'util.py' in str(p)][0]  
>>> util  
PackagePath('wheel/util.py')
>>> util.size  
859
>>> util.dist  
<importlib.metadata._hooks.PathDistribution object at 0x101e0cef0>
>>> util.hash  
<FileHash mode: sha256 value: bYkw5oMccfazVCoYQwKkkemoVyMAFoR34mmKBx8R1NI>

Una vez que se tiene el archivo, también se puede leer su contenido:

>>> print(util.read_text())  
import base64
import sys
...
def as_bytes(s):
    if isinstance(s, text_type):
        return s.encode('utf-8')
    return s

You can also use the locate method to get a the absolute path to the file:

>>> util.locate()  
PosixPath('/home/gustav/example/lib/site-packages/wheel/util.py')

En el caso de que el archivo de metadatos que enumera los archivos (RECORD o SOURCES.txt) falte, files() retornará None. Para evitar esta condición, si no se sabe si la distribución de destino contiene los metadatos, se puede envolver las llamadas a files() con always_iterable u otra protección similar.

Requerimientos de la distribución

Para obtener el conjunto completo de los requerimientos de una distribución, usa la función requires():

>>> requires('wheel')  
["pytest (>=3.0.0) ; extra == 'test'", "pytest-cov ; extra == 'test'"]

Distribuciones

Si bien la API de arriba es el uso más común y conveniente, se puede obtener toda esa información de la clase Distribution. Una instancia de Distribution es un objeto abstracto que representa los metadatos de un paquete de Python. Se puede obtener la instancia de Distribución de la siguiente forma:

>>> from importlib.metadata import distribution  
>>> dist = distribution('wheel')  

Por lo tanto, una forma alternativa de obtener el número de versión es mediante la instancia de Distribución:

>>> dist.version  
'0.32.3'

Hay todo tipo de metadatos disponibles adicionales en la instancia de Distribution:

>>> dist.metadata['Requires-Python']  
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'
>>> dist.metadata['License']  
'MIT'

The full set of available metadata is not described here. See PEP 566 for additional details.

Extendiendo el algoritmo de búsqueda

Debido a que los metadatos de los paquetes no están disponibles a través de las búsquedas en sys.path, o en los cargadores de paquetes directamente, los metadatos de un paquete se encuentran a través del sistema de importación finders. Para encontrar los metadatos de un paquete de distribución, importlib.metadata consulta la lista de meta path finders en sys.meta_path.

El PathFinder predeterminado para Python incluye un enlace que llama a importlib.metadata.MetadataPathFinder para encontrar distribuciones cargadas desde rutas basadas en sistemas de archivos típicos.

The abstract class importlib.abc.MetaPathFinder defines the interface expected of finders by Python’s import system. importlib.metadata extends this protocol by looking for an optional find_distributions callable on the finders from sys.meta_path and presents this extended interface as the DistributionFinder abstract base class, which defines this abstract method:

@abc.abstractmethod
def find_distributions(context=DistributionFinder.Context()):
    """Return an iterable of all Distribution instances capable of
    loading the metadata for packages for the indicated ``context``.
    """

The DistributionFinder.Context object provides .path and .name properties indicating the path to search and name to match and may supply other relevant context.

Lo que esto significa en la práctica es que, para soportar la búsqueda de metadatos en paquetes de distribución en ubicaciones distintas al sistema de archivos, se debe subclasificar Distribution e implementar sus métodos abstractos. Luego, en el método find_distributions() de un buscador personalizado no hay más que retornar instancias de esta Distribution derivada.

Notas al pie

1

Técnicamente, el objeto de metadatos de distribución devuelto es una instancia email.message.EmailMessage, pero esto es un detalle de implementación, y no forma parte de la API estable. Para acceder al contenido de los metadatos sólo debe utilizar métodos y sintaxis de tipo diccionario.