timeit — Μέτρηση χρόνου εκτέλεσης μικρών αποσπασμάτων κώδικα

Πηγαίος κώδικας: Lib/timeit.py

Αυτό το module παρέχει έναν απλό τρόπο για να μετρήσετε τον χρόνο εκτέλεσης μικρών αποσπασμάτων κώδικα Python. Διαθέτει τόσο Διεπαφή Γραμμής Εντολών όσο και callable. Αποφεύγει αρκετές συνηθισμένες παγίδες στη μέτρηση χρόνου εκτέλεσης. Δείτε επίσης την εισαγωγή του Tim Peters στο κεφάλαιο «Αλγόριθμοι» της δεύτερης έκδοσης του Python Cookbook, που εκδόθηκε από την O’Reilly.

Βασικά Παραδείγματα

Το παρακάτω παράδειγμα δείχνει πώς η Διεπαφή Γραμμής Εντολών μπορεί να χρησιμοποιηθεί για να συγκρίνει τρεις διαφορετικές εκφράσεις:

$ python -m timeit "'-'.join(str(n) for n in range(100))"
10000 loops, best of 5: 30.2 usec per loop
$ python -m timeit "'-'.join([str(n) for n in range(100)])"
10000 loops, best of 5: 27.5 usec per loop
$ python -m timeit "'-'.join(map(str, range(100)))"
10000 loops, best of 5: 23.2 usec per loop

Αυτό μπορεί να επιτευχθεί από το Διεπαφή Python ως εξής:

>>> import timeit
>>> timeit.timeit('"-".join(str(n) for n in range(100))', number=10000)
0.3018611848820001
>>> timeit.timeit('"-".join([str(n) for n in range(100)])', number=10000)
0.2727368790656328
>>> timeit.timeit('"-".join(map(str, range(100)))', number=10000)
0.23702679807320237

Μπορεί επίσης να δοθεί μια καλέσιμη συνάρτηση από το Διεπαφή Python:

>>> timeit.timeit(lambda: "-".join(map(str, range(100))), number=10000)
0.19665591977536678

Σημειώστε όμως ότι η timeit() θα καθορίσει αυτόματα τον αριθμό των επαναλήψεων μόνο όταν χρησιμοποιείται η διεπαφή γραμμής εντολών. Στην ενότητα Παραδείγματα μπορείτε να βρείτε πιο προχωρημένα παραδείγματα.

Διεπαφή Python

Το module ορίζει τρεις βοηθητικές συναρτήσεις και μία δημόσια κλάση:

timeit.timeit(stmt='pass', setup='pass', timer=<default timer>, number=1000000, globals=None)

Δημιουργεί ένα στιγμιότυπο της κλάσης Timer με τη δοσμένη εντολή, τον κώδικα setup και τη συνάρτηση timer και εκτελεί τη μέθοδο timeit() με number εκτελέσεις. Η προαιρετική παράμετρος globals καθορίζει το namespace στο οποίο θα εκτελεστεί ο κώδικας.

Άλλαξε στην έκδοση 3.5: Προστέθηκε η προαιρετική παράμετρος globals.

timeit.repeat(stmt='pass', setup='pass', timer=<default timer>, repeat=5, number=1000000, globals=None)

Δημιουργεί ένα στιγμιότυπο της κλάσης Timer με τη δοσμένη εντολή, τον κώδικα setup και τη συνάρτηση timer και εκτελεί τη μέθοδο repeat() με το δοσμένο πλήθος repeat και number εκτελέσεις. Η προαιρετική παράμετρος globals καθορίζει το namespace στο οποίο θα εκτελεστεί ο κώδικας.

Άλλαξε στην έκδοση 3.5: Προστέθηκε η προαιρετική παράμετρος globals.

Άλλαξε στην έκδοση 3.7: Η προεπιλεγμένη τιμή του repeat άλλαξε από 3 σε 5.

timeit.default_timer()

Ο προεπιλεγμένος χρονομετρητής, που είναι πάντα το time.perf_counter(), επιστρέφει δευτερόλεπτα ως float. Εναλλακτικά, το time.perf_counter_ns επιστρέφει ακέραια νανοδευτερόλεπτα.

Άλλαξε στην έκδοση 3.3: Η time.perf_counter() είναι πλέον ο προεπιλεγμένος χρονομετρητής.

class timeit.Timer(stmt='pass', setup='pass', timer=<timer function>, globals=None)

Κλάση για τη μέτρηση της ταχύτητας εκτέλεσης μικρών αποσπασμάτων κώδικα.

The constructor takes a statement to be timed, an additional statement used for setup, and a timer function. Both statements default to 'pass'; the timer function is platform-dependent (see the module doc string). stmt and setup may also contain multiple statements separated by ; or newlines, as long as they don’t contain multi-line string literals. The statement will by default be executed within timeit’s namespace; this behavior can be controlled by passing a namespace to globals.

Για να μετρήσετε τον χρόνο εκτέλεσης της πρώτης εντολής, χρησιμοποιήστε τη μέθοδο timeit(). Οι μέθοδοι repeat() και autorange() είναι μέθοδοι ευκολίας για να καλέσετε τη timeit() πολλές φορές.

Ο χρόνος εκτέλεσης του setup εξαιρείται από τη συνολική χρονομετρημένη εκτέλεση.

Οι παράμετροι stmt και setup μπορούν επίσης να πάρουν αντικείμενα που είναι καλέσιμα χωρίς ορίσματα. Αυτό θα ενσωματώσει κλήσεις σε αυτά σε μια συνάρτηση χρονομέτρησης που θα εκτελείται στη συνέχεια από τη timeit(). Σημειώστε ότι το κόστος χρονομέτρησης είναι λίγο μεγαλύτερο σε αυτή την περίπτωση λόγω των επιπλέον κλήσεων των συναρτήσεων.

Άλλαξε στην έκδοση 3.5: Προστέθηκε η προαιρετική παράμετρος globals.

timeit(number=1000000)

Χρονομετρεί number εκτελέσεις της κύριας εντολής. Αυτή εκτελεί την εντολή setup μία φορά και στη συνέχεια επιστρέφει το χρόνο που απαιτείται για να εκτελέσει την κύρια εντολή πολλές φορές. Ο προεπιλεγμένος χρονομετρητής επιστρέφει δευτερόλεπτα ως float. Το όρισμα είναι ο αριθμός των επαναλήψεων, με προεπιλογή το ένα εκατομμύριο. Η κύρια εντολή, η εντολή setup και η συνάρτηση χρονομέτρησης που θα χρησιμοποιηθούν περνιούνται στον κατασκευαστή.

Σημείωση

Από προεπιλογή, η timeit() απενεργοποιεί προσωρινά τον garbage collection κατά τη διάρκεια της χρονομέτρησης. Το πλεονέκτημα αυτής της προσέγγισης είναι ότι καθιστά τις ανεξάρτητες χρονομετρήσεις πιο συγκρίσιμες. Το μειονέκτημα είναι ότι ο GC μπορεί να είναι σημαντικό συστατικό της απόδοσης της λειτουργίας που μετράται. Αν ισχύει αυτό, ο GC μπορεί να ενεργοποιηθεί ξανά ως η πρώτη εντολή στο setup string. Για παράδειγμα:

timeit.Timer('for i in range(10): oct(i)', 'gc.enable()').timeit()
autorange(callback=None)

Καθορίζει αυτόματα πόσες φορές θα καλέσει τη timeit().

Αυτή είναι μια συνάρτηση ευκολίας που καλεί τη timeit() επανειλημμένα έτσι ώστε ο συνολικός χρόνος >= 0.2 δευτερόλεπτα, επιστρέφοντας το τελικό (αριθμό επαναλήψεων, χρόνος που απαιτείται για αυτόν τον αριθμό επαναλήψεων). Καλεί τη timeit() με αυξανόμενους αριθμούς από τη σειρά 1, 2, 5, 10, 20, 50, … μέχρι ο χρόνος που απαιτείται να είναι τουλάχιστον 0.2 δευτερόλεπτα.

Εάν το callback είναι δοσμένο και δεν είναι None, θα κληθεί μετά από κάθε δοκιμή με δύο ορίσματα: callback(number, time_taken).

Added in version 3.6.

repeat(repeat=5, number=1000000)

Καλέστε τη timeit() μερικές φορές.

Αυτή είναι μια συνάρτηση ευκολίας που καλεί τη timeit() επανειλημμένα, επιστρέφοντας μια λίστα αποτελεσμάτων. Το πρώτο όρισμα καθορίζει πόσες φορές να καλέσει τη timeit(). Το δεύτερο όρισμα καθορίζει το όρισμα number για τη timeit().

Σημείωση

Είναι δελεαστικό να υπολογίσετε τον μέσο όρο και την τυπική απόκλιση από το αποτέλεσμα vector και να τα αναφέρετε. Ωστόσο, αυτό δεν είναι πολύ χρήσιμο. Σε μια τυπική περίπτωση, η χαμηλότερη τιμή δίνει ένα κατώτατο όριο για το πόσο γρήγορα μπορεί να εκτελέσει το μηχάνημα σας το συγκεκριμένο απόσπασμα κώδικα∙ οι υψηλότερες τιμές στο αποτέλεσμα vector συνήθως δεν προκαλούνται από μεταβλητότητα στην ταχύτητα της Python, αλλά από άλλες διεργασίες που παρεμβαίνουν στην ακρίβεια της χρονομέτρησής σας. Έτσι, η min() του αποτελέσματος είναι πιθανώς ο μόνος αριθμός που θα πρέπει να σας ενδιαφέρει. Μετά από αυτό, θα πρέπει να εξετάσετε ολόκληρο το vector και να εφαρμόσετε κοινή λογική αντί για στατιστικά.

Άλλαξε στην έκδοση 3.7: Η προεπιλεγμένη τιμή του repeat άλλαξε από 3 σε 5.

print_exc(file=None)

Βοηθός για την εκτύπωση μιας ανίχνευσης από τον χρονομετρημένο κώδικα.

Τυπική χρήση:

t = Timer(...)       # outside the try/except
try:
    t.timeit(...)    # or t.repeat(...)
except Exception:
    t.print_exc()

Το πλεονέκτημα σε σχέση με την τυπική ανίχνευση είναι ότι οι γραμμές πηγαίου κώδικα στο μεταγλωττισμένο πρότυπο θα εμφανίζονται. Η προαιρετική παράμετρος file καθορίζει πού θα σταλεί η ανίχνευση· η προεπιλογή είναι sys.stderr.

Διεπαφή Γραμμής Εντολών

Όταν καλείται ως πρόγραμμα από τη γραμμή εντολών, χρησιμοποιείται η εξής μορφή:

python -m timeit [-n N] [-r N] [-u U] [-s S] [-p] [-v] [-h] [statement ...]

Όπου γίνονται κατανοητές οι εξής επιλογές:

-n N, --number=N

πόσες φορές να εκτελεστεί η “statement”

-r N, --repeat=N

πόσες φορές να επαναληφθεί ο χρονομετρητής (προεπιλογή 5)

-s S, --setup=S

δήλωση που θα εκτελείται μία φορά αρχικά (προεπιλογή pass)

-p, --process

μετράει τον χρόνο διεργασίας, όχι τον χρόνο ρολογιού, χρησιμοποιώντας την time.process_time() αντί της time.perf_counter(), που είναι η προεπιλογή

Added in version 3.3.

-u, --unit=U

καθορίζει μια μονάδα χρόνου για την έξοδο του χρονομέτρου· μπορεί να επιλέξει nsec, usec, msec ή sec

Added in version 3.5.

-v, --verbose

τυπώνει τα ακατέργαστα αποτελέσματα χρονομέτρησης· επαναλάβετε για περισσότερη ακρίβεια ψηφίων

-h, --help

τυπώνει ένα σύντομο μήνυμα χρήσης και εξέρχεται

Μια πολυγραμμική δήλωση μπορεί να δοθεί καθορίζοντας κάθε γραμμή ως ξεχωριστό όρισμα δήλωσης∙ οι εσοχές είναι δυνατές περικλείοντας ένα όρισμα σε εισαγωγικά και χρησιμοποιώντας αρχικά κενά. Πολλαπλές επιλογές -s θεωρούνται παρόμοιες.

Εάν το -n δεν δοθεί, ένας κατάλληλος αριθμός επαναλήψεων υπολογίζεται δοκιμάζοντας αυξανόμενους αριθμούς από τη σειρά 1, 2, 5, 10, 20, 50, … μέχρι ο συνολικός χρόνος να είναι τουλάχιστον 0.2 δευτερόλεπτα.

Οι μετρήσεις της default_timer() μπορεί να επηρεαστούν από άλλα προγράμματα που εκτελούνται στο ίδιο μηχάνημα, οπότε το καλύτερο πράγμα που μπορείτε να κάνετε όταν απαιτείται ακριβής χρονομέτρηση είναι να επαναλάβετε τη χρονομέτρηση μερικές φορές και να χρησιμοποιήσετε τον καλύτερο χρόνο. Η επιλογή -r είναι καλή γι” αυτό· η προεπιλογή των 5 επαναλήψεων είναι μάλλον αρκετή στις περισσότερες περιπτώσεις. Μπορείτε να χρησιμοποιήσετε την time.process_time() για να μετρήσετε τον χρόνο CPU.

Σημείωση

Υπάρχει μια συγκεκριμένη βασική καθυστέρηση που σχετίζεται με την εκτέλεση μιας δήλωσης pass. Ο κώδικας εδώ δεν προσπαθεί να την αποκρύψει, αλλά θα πρέπει να είστε ενήμεροι γι” αυτήν. Η βασική καθυστέρηση μπορεί να μετρηθεί καλώντας το πρόγραμμα χωρίς ορίσματα, και μπορεί να διαφέρει μεταξύ των εκδόσεων της Python.

Παραδείγματα

Είναι δυνατόν να δοθεί μια δήλωση setup που εκτελείται μόνο μία φορά στην αρχή:

$ python -m timeit -s "text = 'sample string'; char = 'g'" "char in text"
5000000 loops, best of 5: 0.0877 usec per loop
$ python -m timeit -s "text = 'sample string'; char = 'g'" "text.find(char)"
1000000 loops, best of 5: 0.342 usec per loop

Στην έξοδο, υπάρχουν τρία πεδία. Ο αριθμός επαναλήψεων, που σας λέει πόσες φορές το σώμα της δήλωσης εκτελέστηκε ανά επανάληψη του χρονομετρημένου βρόχου. Ο αριθμός των επαναλήψεων (“best of 5”) που σας λέει πόσες φορές η χρονομέτρηση επαναλήφθηκε, και τέλος ο χρόνος που χρειάστηκε το σώμα της δήλωσης κατά μέσο όρο μέσα στην καλύτερη επανάληψη του χρονομετρημένου βρόχου. Δηλαδή, ο χρόνος που χρειάστηκε η ταχύτερη επανάληψη διαιρούμενος με τον αριθμό επαναλήψεων.

>>> import timeit
>>> timeit.timeit('char in text', setup='text = "sample string"; char = "g"')
0.41440500499993504
>>> timeit.timeit('text.find(char)', setup='text = "sample string"; char = "g"')
1.7246671520006203

Το ίδιο μπορεί να γίνει χρησιμοποιώντας την κλάση Timer και τις μεθόδους της:

>>> import timeit
>>> t = timeit.Timer('char in text', setup='text = "sample string"; char = "g"')
>>> t.timeit()
0.3955516149999312
>>> t.repeat()
[0.40183617287970225, 0.37027556854118704, 0.38344867356679524, 0.3712595970846668, 0.37866875250654886]

Τα παρακάτω παραδείγματα δείχνουν πως να χρονομετρήσετε εκφράσεις που περιέχουν πολλαπλές γραμμές. Εδώ συγκρίνουμε το κόστος της χρήσης της hasattr() σε σχέση με το try/except για να ελέγξουμε για απουσία και παρουσία χαρακτηριστικών αντικειμένων:

$ python -m timeit "try:" "  str.__bool__" "except AttributeError:" "  pass"
20000 loops, best of 5: 15.7 usec per loop
$ python -m timeit "if hasattr(str, '__bool__'): pass"
50000 loops, best of 5: 4.26 usec per loop

$ python -m timeit "try:" "  int.__bool__" "except AttributeError:" "  pass"
200000 loops, best of 5: 1.43 usec per loop
$ python -m timeit "if hasattr(int, '__bool__'): pass"
100000 loops, best of 5: 2.23 usec per loop

>>> import timeit
>>> # attribute is missing
>>> s = """\
... try:
...     str.__bool__
... except AttributeError:
...     pass
... """
>>> timeit.timeit(stmt=s, number=100000)
0.9138244460009446
>>> s = "if hasattr(str, '__bool__'): pass"
>>> timeit.timeit(stmt=s, number=100000)
0.5829014980008651
>>>
>>> # attribute is present
>>> s = """\
... try:
...     int.__bool__
... except AttributeError:
...     pass
... """
>>> timeit.timeit(stmt=s, number=100000)
0.04215312199994514
>>> s = "if hasattr(int, '__bool__'): pass"
>>> timeit.timeit(stmt=s, number=100000)
0.08588060699912603

To give the timeit module access to functions you define, you can pass a setup parameter which contains an import statement:

def test():
    """Stupid test function"""
    L = [i for i in range(100)]

if __name__ == '__main__':
    import timeit
    print(timeit.timeit("test()", setup="from __main__ import test"))

Μια άλλη επιλογή είναι να περάσετε τη globals() στην παράμετρο globals, η οποία θα προκαλέσει την εκτέλεση του κώδικα στο τρέχον global namespace σας. Αυτό μπορεί να είναι πιο βολικό από το να καθορίσετε μεμονωμένα τις εισαγωγές (imports):

def f(x):
    return x**2
def g(x):
    return x**4
def h(x):
    return x**8

import timeit
print(timeit.timeit('[func(42) for func in (f,g,h)]', globals=globals()))