# Інструментування CPython за допомогою DTrace і SystemTap

автор:

  David Malcolm

автор:

  Łukasz Langa

DTrace і SystemTap — це інструменти моніторингу, кожен з яких надає спосіб перевірити, що роблять процеси в комп’ютерній системі. Вони обидва використовують доменно-спеціальні мови, що дозволяє користувачеві писати сценарії, які:

- фільтрувати процеси, які слід спостерігати

- збирати дані з цікавих процесів

- створювати звіти за даними

Починаючи з Python 3.6, CPython можна створювати за допомогою вбудованих «маркерів», також відомих як «зонди», які можна спостерігати за допомогою сценарію DTrace або SystemTap, що полегшує моніторинг того, що роблять процеси CPython у системі.

Деталі реалізації CPython: Маркери DTrace є деталями реалізації інтерпретатора CPython. Жодних гарантій щодо сумісності зондів між версіями CPython не надається. Під час зміни версій CPython сценарії DTrace можуть перестати працювати або працювати неправильно без попередження.

## Увімкнення статичних маркерів

macOS має вбудовану підтримку DTrace. У Linux, щоб створити CPython із вбудованими маркерами для SystemTap, необхідно встановити інструменти розробки SystemTap.

На машині Linux це можна зробити за допомогою:

    $ yum install systemtap-sdt-devel

або:

    $ sudo apt-get install systemtap-sdt-dev

Тоді CPython має бути `налаштований за допомогою параметра --with-dtrace`:

    checking for --with-dtrace... yes

У macOS ви можете отримати список доступних зондів DTrace, запустивши процес Python у фоновому режимі та перерахувавши всі зонди, доступні постачальником Python:

    $ python3.6 -q &
    $ sudo dtrace -l -P python$!  # or: dtrace -l -m python3.6

       ID   PROVIDER            MODULE                          FUNCTION NAME
    29564 python18035        python3.6          _PyEval_EvalFrameDefault function-entry
    29565 python18035        python3.6             dtrace_function_entry function-entry
    29566 python18035        python3.6          _PyEval_EvalFrameDefault function-return
    29567 python18035        python3.6            dtrace_function_return function-return
    29568 python18035        python3.6                           collect gc-done
    29569 python18035        python3.6                           collect gc-start
    29570 python18035        python3.6          _PyEval_EvalFrameDefault line
    29571 python18035        python3.6                 maybe_dtrace_line line

У Linux ви можете перевірити наявність статичних маркерів SystemTap у вбудованому двійковому файлі, перевіривши, чи містить він розділ «.note.stapsdt».

    $ readelf -S ./python | grep .note.stapsdt
    [30] .note.stapsdt        NOTE         0000000000000000 00308d78

Якщо ви створили Python як спільну бібліотеку (з параметром конфігурації `--enable-shared`), вам потрібно натомість шукати в спільній бібліотеці. Наприклад:

    $ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
    [29] .note.stapsdt        NOTE         0000000000000000 00365b68

Досить сучасний readelf може друкувати метадані:

    $ readelf -n ./python

    Displaying notes found at file offset 0x00000254 with length 0x00000020:
        Owner                 Data size          Description
        GNU                  0x00000010          NT_GNU_ABI_TAG (ABI version tag)
            OS: Linux, ABI: 2.6.32

    Displaying notes found at file offset 0x00000274 with length 0x00000024:
        Owner                 Data size          Description
        GNU                  0x00000014          NT_GNU_BUILD_ID (unique build ID bitstring)
            Build ID: df924a2b08a7e89f6e11251d4602022977af2670

    Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
        Owner                 Data size          Description
        stapsdt              0x00000031          NT_STAPSDT (SystemTap probe descriptors)
            Provider: python
            Name: gc__start
            Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
            Arguments: -4@%ebx
        stapsdt              0x00000030          NT_STAPSDT (SystemTap probe descriptors)
            Provider: python
            Name: gc__done
            Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
            Arguments: -8@%rax
        stapsdt              0x00000045          NT_STAPSDT (SystemTap probe descriptors)
            Provider: python
            Name: function__entry
            Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
            Arguments: 8@%rbp 8@%r12 -4@%eax
        stapsdt              0x00000046          NT_STAPSDT (SystemTap probe descriptors)
            Provider: python
            Name: function__return
            Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
            Arguments: 8@%rbp 8@%r12 -4@%eax

The above metadata contains information for SystemTap describing how it can patch strategically placed machine code instructions to enable the tracing hooks used by a SystemTap script.

## Статичні зонди DTrace

Наступний приклад сценарію DTrace можна використовувати, щоб показати ієрархію викликів/повернень сценарію Python, лише відстежуючи в межах виклику функції під назвою «start». Іншими словами, виклики функцій під час імпорту не будуть перераховані:

    self int indent;

    python$target:::function-entry
    /copyinstr(arg1) == "start"/
    {
            self->trace = 1;
    }

    python$target:::function-entry
    /self->trace/
    {
            printf("%d\t%*s:", timestamp, 15, probename);
            printf("%*s", self->indent, "");
            printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
            self->indent++;
    }

    python$target:::function-return
    /self->trace/
    {
            self->indent--;
            printf("%d\t%*s:", timestamp, 15, probename);
            printf("%*s", self->indent, "");
            printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
    }

    python$target:::function-return
    /copyinstr(arg1) == "start"/
    {
            self->trace = 0;
    }

Його можна викликати так:

    $ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"

Результат виглядає так:

    156641360502280  function-entry:call_stack.py:start:23
    156641360518804  function-entry: call_stack.py:function_1:1
    156641360532797  function-entry:  call_stack.py:function_3:9
    156641360546807 function-return:  call_stack.py:function_3:10
    156641360563367 function-return: call_stack.py:function_1:2
    156641360578365  function-entry: call_stack.py:function_2:5
    156641360591757  function-entry:  call_stack.py:function_1:1
    156641360605556  function-entry:   call_stack.py:function_3:9
    156641360617482 function-return:   call_stack.py:function_3:10
    156641360629814 function-return:  call_stack.py:function_1:2
    156641360642285 function-return: call_stack.py:function_2:6
    156641360656770  function-entry: call_stack.py:function_3:9
    156641360669707 function-return: call_stack.py:function_3:10
    156641360687853  function-entry: call_stack.py:function_4:13
    156641360700719 function-return: call_stack.py:function_4:14
    156641360719640  function-entry: call_stack.py:function_5:18
    156641360732567 function-return: call_stack.py:function_5:21
    156641360747370 function-return:call_stack.py:start:28

## Статичні маркери SystemTap

Низькорівневий спосіб використання інтеграції SystemTap полягає в безпосередньому використанні статичних маркерів. Це вимагає, щоб ви явно вказали бінарний файл, який їх містить.

Наприклад, цей сценарій SystemTap можна використовувати, щоб показати ієрархію викликів/повернень сценарію Python:

    probe process("python").mark("function__entry") {
         filename = user_string($arg1);
         funcname = user_string($arg2);
         lineno = $arg3;

         printf("%s => %s in %s:%d\\n",
                thread_indent(1), funcname, filename, lineno);
    }

    probe process("python").mark("function__return") {
        filename = user_string($arg1);
        funcname = user_string($arg2);
        lineno = $arg3;

        printf("%s <= %s in %s:%d\\n",
               thread_indent(-1), funcname, filename, lineno);
    }

Його можна викликати так:

    $ stap \
      show-call-hierarchy.stp \
      -c "./python test.py"

Результат виглядає так:

    11408 python(8274):        => __contains__ in Lib/_abcoll.py:362
    11414 python(8274):         => __getitem__ in Lib/os.py:425
    11418 python(8274):          => encode in Lib/os.py:490
    11424 python(8274):          <= encode in Lib/os.py:493
    11428 python(8274):         <= __getitem__ in Lib/os.py:426
    11433 python(8274):        <= __contains__ in Lib/_abcoll.py:366

де стовпці:

- час у мікросекундах з моменту запуску сценарію

- ім’я виконуваного файлу

- PID процесу

а залишок вказує на ієрархію виклику/повернення під час виконання сценарію.

Для `--enable-shared` збірки CPython маркери містяться в спільній бібліотеці libpython, і пунктирний шлях зонда повинен це відображати. Наприклад, цей рядок із наведеного вище прикладу:

    probe process("python").mark("function__entry") {

замість цього слід читати:

    probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {

(за умови debug build CPython 3.6)

## Наявні статичні маркери

function__entry(str filename, str funcname, int lineno)

  Цей маркер вказує на те, що почалося виконання функції Python. Він запускається лише для функцій чистого Python (байт-код).

  Ім’я файлу, ім’я функції та номер рядка повертаються до сценарію трасування як позиційні аргументи, до яких потрібно отримати доступ за допомогою `$arg1`, `$arg2`, `$arg3`:

  > - `$arg1` : `(const char *)` ім’я файлу, доступне за допомогою `user_string($arg1)`

  > - `$arg2` : `(const char *)` назва функції, доступна за допомогою `user_string($arg2)`

  > - `$arg3` : `int` номер рядка

function__return(str filename, str funcname, int lineno)

  This marker is the converse of `function__entry()`, and indicates that execution of a Python function has ended (either via `return`, or via an exception). It is only triggered for pure-Python (bytecode) functions.

  The arguments are the same as for `function__entry()`

line(str filename, str funcname, int lineno)

  Цей маркер вказує на те, що рядок Python збирається виконати. Це еквівалент построкової трасування за допомогою профайлера Python. Він не запускається у функціях C.

  The arguments are the same as for `function__entry()`.

gc__start(int generation)

  Fires when the Python interpreter starts a garbage collection cycle. `arg0` is the generation to scan, like `gc.collect()`.

gc__done(long collected)

  Спрацьовує, коли інтерпретатор Python завершує цикл збирання сміття. `arg0` - кількість зібраних об’єктів.

import__find__load__start(str modulename)

  Спрацьовує перед спробою `importlib` знайти та завантажити модуль. `arg0` - це назва модуля.

  Нове в версії 3.7.

import__find__load__done(str modulename, int found)

  Спрацьовує після виклику функції find_and_load `importlib`. `arg0` - це назва модуля, `arg1` вказує, чи модуль було успішно завантажено.

  Нове в версії 3.7.

audit(str event, void *tuple)

  Спрацьовує під час виклику `sys.audit()` або `PySys_Audit()`. `arg0` — це ім’я події у вигляді рядка C, `arg1` — це покажчик `PyObject` на об’єкт кортежу.

  Нове в версії 3.8.

## Системні крани

Шлях вищого рівня використання інтеграції SystemTap полягає у використанні «tapset»: еквівалента бібліотеки SystemTap, яка приховує деякі деталі нижчого рівня статичних маркерів.

Ось файл tapset, заснований на незагальній збірці CPython:

    /*
       Provide a higher-level wrapping around the function__entry and
       function__return markers:
     \*/
    probe python.function.entry = process("python").mark("function__entry")
    {
        filename = user_string($arg1);
        funcname = user_string($arg2);
        lineno = $arg3;
        frameptr = $arg4
    }
    probe python.function.return = process("python").mark("function__return")
    {
        filename = user_string($arg1);
        funcname = user_string($arg2);
        lineno = $arg3;
        frameptr = $arg4
    }

Якщо цей файл встановлено в каталозі tapset SystemTap (наприклад, `/usr/share/systemtap/tapset`), тоді ці додаткові точки дослідження стають доступними:

python.function.entry(str filename, str funcname, int lineno, frameptr)

  Ця точка тестування вказує на те, що почалося виконання функції Python. Він запускається лише для функцій чистого Python (байт-код).

python.function.return(str filename, str funcname, int lineno, frameptr)

  Ця точка тестування є протилежністю `python.function.return` і вказує, що виконання функції Python завершилося (або через `return`, або через виняток). Він запускається лише для функцій чистого Python (байт-код).

## Приклади

Цей сценарій SystemTap використовує наведений вище набір для більш чіткої реалізації наведеного вище прикладу відстеження ієрархії викликів функцій Python, без необхідності безпосередньо називати статичні маркери:

    probe python.function.entry
    {
      printf("%s => %s in %s:%d\n",
             thread_indent(1), funcname, filename, lineno);
    }

    probe python.function.return
    {
      printf("%s <= %s in %s:%d\n",
             thread_indent(-1), funcname, filename, lineno);
    }

The following script uses the tapset above to provide a top-like view of all running CPython code, showing the top 20 most frequently entered bytecode frames, each second, across the whole system:

    global fn_calls;

    probe python.function.entry
    {
        fn_calls[pid(), filename, funcname, lineno] += 1;
    }

    probe timer.ms(1000) {
        printf("\033[2J\033[1;1H") /* clear screen \*/
        printf("%6s %80s %6s %30s %6s\n",
               "PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
        foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
            printf("%6d %80s %6d %30s %6d\n",
                pid, filename, lineno, funcname,
                fn_calls[pid, filename, funcname, lineno]);
        }
        delete fn_calls;
    }