importlib.metadata
-- パッケージメタデータへのアクセス¶
Added in version 3.8.
バージョン 3.10 で変更: importlib.metadata
は暫定的なものではなくなりました。
ソースコード: Lib/importlib/metadata/__init__.py
importlib.metadata
is a library that provides access to
the metadata of an installed Distribution Package,
such as its entry points
or its top-level names (Import Packages, modules, if any).
Built in part on Python's import system, this library
intends to replace similar functionality in the entry point
API and metadata API of pkg_resources
. Along with
importlib.resources
,
this package can eliminate the need to use the older and less efficient
pkg_resources
package.
importlib.metadata
は、Pythonの site-packages
ディレクトリに pip などのツールでインストールしたサードパーティの 配布パッケージ に対して動作します。具体的には、 dist-info
や egg-info
ディレクトリを持つ配布物や、 コアとなるメタデータの仕様 で定義されたメタデータを検出できるようにします。
重要
これらはPythonコード内でインポートできるトップレベルの パッケージ 名と 必ずしも 同等であったり、1:1 で対応するものではありません。1つの 配布パッケージ は複数の パッケージ (および単一のモジュール) を含むことができ、1つのトップレベルの パッケージ は、それが名前空間パッケージであれば複数の 配布パッケージ にマップすることができます。これらのマッピングを得るには packages_distributions() を使用します。
By default, distribution metadata can live on the file system
or in zip archives on
sys.path
. Through an extension mechanism, the metadata can live almost
anywhere.
参考
- https://importlib-metadata.readthedocs.io/
importlib_metadata
のドキュメントはimportlib.metadata
のバックポートです。これには、このモジュールのクラスと関数の APIリファレンス と、pkg_resources
の既存のユーザーのための 移行ガイド があります。
概要¶
Let's say you wanted to get the version string for a
Distribution Package you've installed
using pip
. We start by creating a virtual environment and installing
something into it:
$ python -m venv example
$ source example/bin/activate
(example) $ python -m pip install wheel
以下のように実行することで、wheel
のバージョン文字列を取得することができます:
(example) $ python
>>> from importlib.metadata import version
>>> version('wheel')
'0.32.3'
You can also get a collection of entry points selectable by properties of the EntryPoint (typically 'group' or 'name'), such as
console_scripts
, distutils.commands
and others. Each group contains a
collection of EntryPoint objects.
ディストリビューションのメタデータ を取得することができます。:
>>> list(metadata('wheel'))
['Metadata-Version', 'Name', 'Version', 'Summary', 'Home-page', 'Author', 'Author-email', 'Maintainer', 'Maintainer-email', 'License', 'Project-URL', 'Project-URL', 'Project-URL', 'Keywords', 'Platform', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Requires-Python', 'Provides-Extra', 'Requires-Dist', 'Requires-Dist']
また、 配布物のバージョン番号 を取得し、 構成ファイル をリストアップし、配布物の 配布物の要件 のリストを取得することができます。
機能 API¶
本パッケージは、公開APIを通じて以下の機能を提供します。
エントリポイント¶
The entry_points()
function returns a collection of entry points.
Entry points are represented by EntryPoint
instances;
each EntryPoint
has a .name
, .group
, and .value
attributes and
a .load()
method to resolve the value. There are also .module
,
.attr
, and .extras
attributes for getting the components of the
.value
attribute.
すべてのエントリポイントに問い合わせる:
>>> eps = entry_points()
entry_points()
関数は、すべての EntryPoint
オブジェクトを集めた EntryPoints
オブジェクトを、便宜上 names
と groups
属性を付けて返します。
>>> sorted(eps.groups)
['console_scripts', 'distutils.commands', 'distutils.setup_keywords', 'egg_info.writers', 'setuptools.installation']
EntryPoints
には、特定のプロパティに一致するエントリポイントを選択するための select
メソッドがあります。console_scripts
グループ内のエントリポイントを選択する:
>>> scripts = eps.select(group='console_scripts')
Equivalently, since entry_points
passes keyword arguments
through to select:
>>> scripts = entry_points(group='console_scripts')
"wheel" という名前の特定のスクリプトを選択します。(wheelプロジェクトにあります):
>>> 'wheel' in scripts.names
True
>>> wheel = scripts['wheel']
同様に、選択時にそのエントリポイントを問い合わせます:
>>> (wheel,) = entry_points(group='console_scripts', name='wheel')
>>> (wheel,) = entry_points().select(group='console_scripts', name='wheel')
解決したエントリポイントを検証する:
>>> wheel
EntryPoint(name='wheel', value='wheel.cli:main', group='console_scripts')
>>> wheel.module
'wheel.cli'
>>> wheel.attr
'main'
>>> wheel.extras
[]
>>> main = wheel.load()
>>> main
<function main at 0x103528488>
The group
and name
are arbitrary values defined by the package author
and usually a client will wish to resolve all entry points for a particular
group. Read the setuptools docs
for more information on entry points, their definition, and usage.
バージョン 3.12 で変更: The "selectable" entry points were introduced in importlib_metadata
3.6 and Python 3.10. Prior to those changes, entry_points
accepted
no parameters and always returned a dictionary of entry points, keyed
by group. With importlib_metadata
5.0 and Python 3.12,
entry_points
always returns an EntryPoints
object. See
backports.entry_points_selectable
for compatibility options.
バージョン 3.13 で変更: EntryPoint
objects no longer present a tuple-like interface
(__getitem__()
).
配布物メタデータ¶
すべての 配布パッケージ にはメタデータが含まれており、 metadata()
関数を使って取得することができます:
>>> wheel_metadata = metadata('wheel')
返されたデータ構造である PackageMetadata
のキーはメタデータのキーワードを表し、値は配布パッケージのメタデータから解析されずに返されます:
>>> wheel_metadata['Requires-Python']
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'
PackageMetadata
には json
属性があり、 PEP 566 に従ってすべてのメタデータをJSON互換の形式で返します:
>>> wheel_metadata.json['requires_python']
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'
注釈
metadata()
が返すオブジェクトの実際の型は実装の詳細であり、 PackageMetadataプロトコル が示すインターフェースを通じてのみアクセスすることができます。
バージョン 3.10 で変更: ペイロードを通して提示されるとき、 Description
がメタデータに含まれるようになりました。行の継続文字は削除されました。
json
属性が追加されました。
配布物バージョン¶
version()
関数は 配布パッケージ のバージョン番号を文字列で取得するもっとも簡単な方法です。:
>>> version('wheel')
'0.32.3'
配布物ファイル¶
You can also get the full set of files contained within a distribution. The
files()
function takes a Distribution Package name
and returns all of the
files installed by this distribution. Each file object returned is a
PackagePath
, a pathlib.PurePath
derived object with additional dist
,
size
, and hash
properties as indicated by the metadata. For example:
>>> util = [p for p in files('wheel') if 'util.py' in str(p)][0]
>>> util
PackagePath('wheel/util.py')
>>> util.size
859
>>> util.dist
<importlib.metadata._hooks.PathDistribution object at 0x101e0cef0>
>>> util.hash
<FileHash mode: sha256 value: bYkw5oMccfazVCoYQwKkkemoVyMAFoR34mmKBx8R1NI>
ファイルを取得したら、その内容を読むこともできます:
>>> print(util.read_text())
import base64
import sys
...
def as_bytes(s):
if isinstance(s, text_type):
return s.encode('utf-8')
return s
また、 locate
メソッドを使用すると、ファイルへの絶対パスを取得することができます:
>>> util.locate()
PosixPath('/home/gustav/example/lib/site-packages/wheel/util.py')
In the case where the metadata file listing files
(RECORD or SOURCES.txt) is missing, files()
will
return None
. The caller may wish to wrap calls to
files()
in always_iterable
or otherwise guard against this condition if the target
distribution is not known to have the metadata present.
配布物の要件¶
配布パッケージ に必要なすべての要件を取得するには、 requires()
関数を使用します:
>>> requires('wheel')
["pytest (>=3.0.0) ; extra == 'test'", "pytest-cov ; extra == 'test'"]
Mapping import to distribution packages¶
インポート可能なトップレベルのPythonモジュールまたは パッケージ を提供する 配布パッケージ 名(名前空間パッケージの場合はその名前)を解決する便利なメソッドです:
>>> packages_distributions()
{'importlib_metadata': ['importlib-metadata'], 'yaml': ['PyYAML'], 'jaraco': ['jaraco.classes', 'jaraco.functools'], ...}
Some editable installs, do not supply top-level names, and thus this function is not reliable with such installs.
Added in version 3.10.
Distributions¶
While the above API is the most common and convenient usage, you can get all
of that information from the Distribution
class. A Distribution
is an
abstract object that represents the metadata for
a Python Distribution Package. You can
get the Distribution
instance:
>>> from importlib.metadata import distribution
>>> dist = distribution('wheel')
したがって、バージョン情報を取得する別の方法として、 Distribution
インスタンスを使用します:
>>> dist.version
'0.32.3'
Distribution
インスタンスには、あらゆる種類の追加メタデータが用意されています:
>>> dist.metadata['Requires-Python']
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'
>>> dist.metadata['License']
'MIT'
For editable packages, an origin
property may present PEP 610
metadata:
>>> dist.origin.url
'file:///path/to/wheel-0.32.3.editable-py3-none-any.whl'
利用可能なメタデータのフルセットは、ここでは説明しません。詳細は コアとなるメタデータの仕様 を参照してください。
Added in version 3.13: The .origin
property was added.
Distribution Discovery¶
デフォルトでは、このパッケージは組み込みで、ファイルシステムおよび zip ファイル 配布パッケージ のメタデータを発見するためのサポートを提供します。このメタデータ検索のデフォルトは sys.path
ですが、その値をどのように解釈するかは、他のインポート機構が行う方法とは若干異なります。具体的には:
importlib.metadata
はsys.path
のbytes
オブジェクトを受け入れません。importlib.metadata
は、インポート時には無視されますが、sys.path
上のpathlib.Path
オブジェクトを優先的に使用します。
Implementing Custom Providers¶
importlib.metadata
address two API surfaces, one for consumers
and another for providers. Most users are consumers, consuming
metadata provided by the packages. There are other use-cases, however,
where users wish to expose metadata through some other mechanism,
such as alongside a custom importer. Such a use case calls for a
custom provider.
Because Distribution Package metadata
is not available through sys.path
searches, or
package loaders directly,
the metadata for a distribution is found through import
system finders. To find a distribution package's metadata,
importlib.metadata
queries the list of meta path finders on
sys.meta_path
.
The implementation has hooks integrated into the PathFinder
,
serving metadata for distribution packages found on the file system.
抽象クラス importlib.abc.MetaPathFinder
はPythonの importシステムによってファインダーに期待されるインターフェイスを定義しています。 importlib.metadata
はこのプロトコルを拡張し、 sys.meta_path
からファインダーにオプションの find_distributions
を呼び出すことができるようにし、この拡張インターフェースを DistributionFinder
抽象基底クラスとして提示し、この抽象メソッドを定義しています:
@abc.abstractmethod
def find_distributions(context=DistributionFinder.Context()) -> Iterable[Distribution]:
"""Return an iterable of all Distribution instances capable of
loading the metadata for packages for the indicated ``context``.
"""
The DistributionFinder.Context
object provides .path
and .name
properties indicating the path to search and name to match and may
supply other relevant context sought by the consumer.
In practice, to support finding distribution package
metadata in locations other than the file system, subclass
Distribution
and implement the abstract methods. Then from
a custom finder, return instances of this derived Distribution
in the
find_distributions()
method.
使用例¶
Imagine a custom finder that loads Python modules from a database:
class DatabaseImporter(importlib.abc.MetaPathFinder):
def __init__(self, db):
self.db = db
def find_spec(self, fullname, target=None) -> ModuleSpec:
return self.db.spec_from_name(fullname)
sys.meta_path.append(DatabaseImporter(connect_db(...)))
That importer now presumably provides importable modules from a
database, but it provides no metadata or entry points. For this
custom importer to provide metadata, it would also need to implement
DistributionFinder
:
from importlib.metadata import DistributionFinder
class DatabaseImporter(DistributionFinder):
...
def find_distributions(self, context=DistributionFinder.Context()):
query = dict(name=context.name) if context.name else {}
for dist_record in self.db.query_distributions(query):
yield DatabaseDistribution(dist_record)
In this way, query_distributions
would return records for
each distribution served by the database matching the query. For
example, if requests-1.0
is in the database, find_distributions
would yield a DatabaseDistribution
for Context(name='requests')
or Context(name=None)
.
For the sake of simplicity, this example ignores context.path
. The
path
attribute defaults to sys.path
and is the set of import paths to
be considered in the search. A DatabaseImporter
could potentially function
without any concern for a search path. Assuming the importer does no
partitioning, the "path" would be irrelevant. In order to illustrate the
purpose of path
, the example would need to illustrate a more complex
DatabaseImporter
whose behavior varied depending on
sys.path
/PYTHONPATH
. In that case, the find_distributions
should
honor the context.path
and only yield Distribution
s pertinent to that
path.
DatabaseDistribution
, then, would look something like:
class DatabaseDistribution(importlib.metadata.Distributon):
def __init__(self, record):
self.record = record
def read_text(self, filename):
"""
Read a file like "METADATA" for the current distribution.
"""
if filename == "METADATA":
return f"""Name: {self.record.name}
Version: {self.record.version}
"""
if filename == "entry_points.txt":
return "\n".join(
f"""[{ep.group}]\n{ep.name}={ep.value}"""
for ep in self.record.entry_points)
def locate_file(self, path):
raise RuntimeError("This distribution has no file system")
This basic implementation should provide metadata and entry points for
packages served by the DatabaseImporter
, assuming that the
record
supplies suitable .name
, .version
, and
.entry_points
attributes.
The DatabaseDistribution
may also provide other metadata files, like
RECORD
(required for Distribution.files
) or override the
implementation of Distribution.files
. See the source for more inspiration.