Інструментування CPython за допомогою DTrace і SystemTap

автор

David Malcolm

автор

Łukasz Langa

DTrace і SystemTap — це інструменти моніторингу, кожен з яких надає спосіб перевірити, що роблять процеси в комп’ютерній системі. Вони обидва використовують доменно-спеціальні мови, що дозволяє користувачеві писати сценарії, які:

• фільтрувати процеси, які слід спостерігати

• збирати дані з цікавих процесів

• створювати звіти за даними

Починаючи з Python 3.6, CPython можна створювати за допомогою вбудованих «маркерів», також відомих як «зонди», які можна спостерігати за допомогою сценарію DTrace або SystemTap, що полегшує моніторинг того, що роблять процеси CPython у системі.

CPython implementation detail: Маркери DTrace є деталями реалізації інтерпретатора CPython. Жодних гарантій щодо сумісності зондів між версіями CPython не надається. Під час зміни версій CPython сценарії DTrace можуть перестати працювати або працювати неправильно без попередження.

Увімкнення статичних маркерів

macOS має вбудовану підтримку DTrace. У Linux, щоб створити CPython із вбудованими маркерами для SystemTap, необхідно встановити інструменти розробки SystemTap.

На машині Linux це можна зробити за допомогою:

$ yum install systemtap-sdt-devel

або:

$ sudo apt-get install systemtap-sdt-dev

CPython must then be configured --with-dtrace:

checking for --with-dtrace... yes

У macOS ви можете отримати список доступних зондів DTrace, запустивши процес Python у фоновому режимі та перерахувавши всі зонди, доступні постачальником Python:

$ python3.6 -q &
$ sudo dtrace -l -P python$!  # or: dtrace -l -m python3.6

   ID   PROVIDER            MODULE                          FUNCTION NAME
29564 python18035        python3.6          _PyEval_EvalFrameDefault function-entry
29565 python18035        python3.6             dtrace_function_entry function-entry
29566 python18035        python3.6          _PyEval_EvalFrameDefault function-return
29567 python18035        python3.6            dtrace_function_return function-return
29568 python18035        python3.6                           collect gc-done
29569 python18035        python3.6                           collect gc-start
29570 python18035        python3.6          _PyEval_EvalFrameDefault line
29571 python18035        python3.6                 maybe_dtrace_line line

У Linux ви можете перевірити наявність статичних маркерів SystemTap у вбудованому двійковому файлі, перевіривши, чи містить він розділ «.note.stapsdt».

$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt        NOTE         0000000000000000 00308d78

If you’ve built Python as a shared library (with –enable-shared), you need to look instead within the shared library. For example:

$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt        NOTE         0000000000000000 00365b68

Досить сучасний readelf може друкувати метадані:

$ readelf -n ./python

Displaying notes found at file offset 0x00000254 with length 0x00000020:
    Owner                 Data size          Description
    GNU                  0x00000010          NT_GNU_ABI_TAG (ABI version tag)
        OS: Linux, ABI: 2.6.32

Displaying notes found at file offset 0x00000274 with length 0x00000024:
    Owner                 Data size          Description
    GNU                  0x00000014          NT_GNU_BUILD_ID (unique build ID bitstring)
        Build ID: df924a2b08a7e89f6e11251d4602022977af2670

Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
    Owner                 Data size          Description
    stapsdt              0x00000031          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__start
        Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
        Arguments: -4@%ebx
    stapsdt              0x00000030          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__done
        Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
        Arguments: -8@%rax
    stapsdt              0x00000045          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__entry
        Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
        Arguments: 8@%rbp 8@%r12 -4@%eax
    stapsdt              0x00000046          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__return
        Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
        Arguments: 8@%rbp 8@%r12 -4@%eax

The above metadata contains information for SystemTap describing how it can patch strategically-placed machine code instructions to enable the tracing hooks used by a SystemTap script.

Статичні зонди DTrace

Наступний приклад сценарію DTrace можна використовувати, щоб показати ієрархію викликів/повернень сценарію Python, лише відстежуючи в межах виклику функції під назвою «start». Іншими словами, виклики функцій під час імпорту не будуть перераховані:

self int indent;

python$target:::function-entry
/copyinstr(arg1) == "start"/
{
        self->trace = 1;
}

python$target:::function-entry
/self->trace/
{
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
        self->indent++;
}

python$target:::function-return
/self->trace/
{
        self->indent--;
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}

python$target:::function-return
/copyinstr(arg1) == "start"/
{
        self->trace = 0;
}

Його можна викликати так:

$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"

Результат виглядає так:

156641360502280  function-entry:call_stack.py:start:23
156641360518804  function-entry: call_stack.py:function_1:1
156641360532797  function-entry:  call_stack.py:function_3:9
156641360546807 function-return:  call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365  function-entry: call_stack.py:function_2:5
156641360591757  function-entry:  call_stack.py:function_1:1
156641360605556  function-entry:   call_stack.py:function_3:9
156641360617482 function-return:   call_stack.py:function_3:10
156641360629814 function-return:  call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770  function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853  function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640  function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28

Статичні маркери SystemTap

Низькорівневий спосіб використання інтеграції SystemTap полягає в безпосередньому використанні статичних маркерів. Це вимагає, щоб ви явно вказали бінарний файл, який їх містить.

Наприклад, цей сценарій SystemTap можна використовувати, щоб показати ієрархію викликів/повернень сценарію Python:

probe process("python").mark("function__entry") {
     filename = user_string($arg1);
     funcname = user_string($arg2);
     lineno = $arg3;

     printf("%s => %s in %s:%d\\n",
            thread_indent(1), funcname, filename, lineno);
}

probe process("python").mark("function__return") {
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;

    printf("%s <= %s in %s:%d\\n",
           thread_indent(-1), funcname, filename, lineno);
}

Його можна викликати так:

$ stap \
  show-call-hierarchy.stp \
  -c "./python test.py"

Результат виглядає так:

11408 python(8274):        => __contains__ in Lib/_abcoll.py:362
11414 python(8274):         => __getitem__ in Lib/os.py:425
11418 python(8274):          => encode in Lib/os.py:490
11424 python(8274):          <= encode in Lib/os.py:493
11428 python(8274):         <= __getitem__ in Lib/os.py:426
11433 python(8274):        <= __contains__ in Lib/_abcoll.py:366

де стовпці:

• час у мікросекундах з моменту запуску сценарію

• ім’я виконуваного файлу

• PID процесу

а залишок вказує на ієрархію виклику/повернення під час виконання сценарію.

For a –enable-shared build of CPython, the markers are contained within the libpython shared library, and the probe’s dotted path needs to reflect this. For example, this line from the above example:

probe process("python").mark("function__entry") {

замість цього слід читати:

probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {

(assuming a debug build of CPython 3.6)

Наявні статичні маркери

function__entry(str filename, str funcname, int lineno)

Цей маркер вказує на те, що почалося виконання функції Python. Він запускається лише для функцій чистого Python (байт-код).

Ім’я файлу, ім’я функції та номер рядка повертаються до сценарію трасування як позиційні аргументи, до яких потрібно отримати доступ за допомогою $arg1, $arg2, $arg3:

• $arg1 : (const char *) ім’я файлу, доступне за допомогою user_string($arg1)

• $arg2 : (const char *) назва функції, доступна за допомогою user_string($arg2)

• $arg3 : int номер рядка

function__return(str filename, str funcname, int lineno)

This marker is the converse of function__entry(), and indicates that execution of a Python function has ended (either via return, or via an exception). It is only triggered for pure-Python (bytecode) functions.

The arguments are the same as for function__entry()

line(str filename, str funcname, int lineno)

Цей маркер вказує на те, що рядок Python збирається виконати. Це еквівалент построкової трасування за допомогою профайлера Python. Він не запускається у функціях C.

The arguments are the same as for function__entry().

gc__start(int generation)

Fires when the Python interpreter starts a garbage collection cycle. arg0 is the generation to scan, like gc.collect().

gc__done(long collected)

Спрацьовує, коли інтерпретатор Python завершує цикл збирання сміття. arg0 - кількість зібраних об’єктів.

import__find__load__start(str modulename)

Спрацьовує перед спробою importlib знайти та завантажити модуль. arg0 - це назва модуля.

Нове в версії 3.7.

import__find__load__done(str modulename, int found)

Спрацьовує після виклику функції find_and_load importlib. arg0 - це назва модуля, arg1 вказує, чи модуль було успішно завантажено.

Нове в версії 3.7.

audit(str event, void *tuple)

Спрацьовує під час виклику sys.audit() або PySys_Audit(). arg0 — це ім’я події у вигляді рядка C, arg1 — це покажчик PyObject на об’єкт кортежу.

Нове в версії 3.8.

Системні крани

Шлях вищого рівня використання інтеграції SystemTap полягає у використанні «tapset»: еквівалента бібліотеки SystemTap, яка приховує деякі деталі нижчого рівня статичних маркерів.

Ось файл tapset, заснований на незагальній збірці CPython:

/*
   Provide a higher-level wrapping around the function__entry and
   function__return markers:
 \*/
probe python.function.entry = process("python").mark("function__entry")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}

Якщо цей файл встановлено в каталозі tapset SystemTap (наприклад, /usr/share/systemtap/tapset), тоді ці додаткові точки дослідження стають доступними:

python.function.entry(str filename, str funcname, int lineno, frameptr)

Ця точка тестування вказує на те, що почалося виконання функції Python. Він запускається лише для функцій чистого Python (байт-код).

python.function.return(str filename, str funcname, int lineno, frameptr)

Ця точка тестування є протилежністю python.function.return і вказує, що виконання функції Python завершилося (або через return, або через виняток). Він запускається лише для функцій чистого Python (байт-код).

Приклади

Цей сценарій SystemTap використовує наведений вище набір для більш чіткої реалізації наведеного вище прикладу відстеження ієрархії викликів функцій Python, без необхідності безпосередньо називати статичні маркери:

probe python.function.entry
{
  printf("%s => %s in %s:%d\n",
         thread_indent(1), funcname, filename, lineno);
}

probe python.function.return
{
  printf("%s <= %s in %s:%d\n",
         thread_indent(-1), funcname, filename, lineno);
}

The following script uses the tapset above to provide a top-like view of all running CPython code, showing the top 20 most frequently-entered bytecode frames, each second, across the whole system:

global fn_calls;

probe python.function.entry
{
    fn_calls[pid(), filename, funcname, lineno] += 1;
}

probe timer.ms(1000) {
    printf("\033[2J\033[1;1H") /* clear screen \*/
    printf("%6s %80s %6s %30s %6s\n",
           "PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
    foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
        printf("%6d %80s %6d %30s %6d\n",
            pid, filename, lineno, funcname,
            fn_calls[pid, filename, funcname, lineno]);
    }
    delete fn_calls;
}