並行実行

この章で記述されているモジュールは、コードの並行実行のサポートを提供します。ツールの適切な選択は、実行されるタスク(IO bound vs CPU bound) や推奨される開発スタイル (イベントドリブンな協調的マルチタスク vs プリエンプティブマルチタスク) に依存します。ここに概観を示します:

• threading --- スレッドベースの並列処理
  • active_count()
  • current_thread()
  • excepthook()
  • __excepthook__
  • get_ident()
  • get_native_id()
  • enumerate()
  • main_thread()
  • settrace()
  • settrace_all_threads()
  • gettrace()
  • setprofile()
  • setprofile_all_threads()
  • getprofile()
  • stack_size()
  • TIMEOUT_MAX
  • スレッドローカルデータ
    • local
  • Thread オブジェクト
    • Thread
      • start()
      • run()
      • join()
      • name
      • getName()
      • setName()
      • ident
      • native_id
      • is_alive()
      • daemon
      • isDaemon()
      • setDaemon()
  • Lock オブジェクト
    • Lock
      • acquire()
      • release()
      • locked()
  • RLock オブジェクト
    • RLock
      • acquire()
      • release()
  • Condition オブジェクト
    • Condition
      • acquire()
      • release()
      • wait()
      • wait_for()
      • notify()
      • notify_all()
  • Semaphore オブジェクト
    • Semaphore
      • acquire()
      • release()
    • BoundedSemaphore
    • Semaphore の例
  • Event オブジェクト
    • Event
      • is_set()
      • set()
      • clear()
      • wait()
  • Timer オブジェクト
    • Timer
      • cancel()
  • バリアオブジェクト
    • Barrier
      • wait()
      • reset()
      • abort()
      • parties
      • n_waiting
      • broken
    • BrokenBarrierError
  • with 文でのロック・条件変数・セマフォの使い方
• multiprocessing --- プロセスベースの並列処理
  • はじめに
    • Process クラス
    • コンテキストと開始方式
    • プロセス間でのオブジェクト交換
    • プロセス間の同期
    • プロセス間での状態の共有
    • ワーカープロセスのプールを使用
  • リファレンス
    • Process クラスと例外
      • Process
        • run()
        • start()
        • join()
        • name
        • is_alive()
        • daemon
        • pid
        • exitcode
        • authkey
        • sentinel
        • terminate()
        • kill()
        • close()
      • ProcessError
      • BufferTooShort
      • AuthenticationError
      • TimeoutError
    • パイプ (Pipe) とキュー (Queue)
      • Pipe()
      • Queue
        • qsize()
        • empty()
        • full()
        • put()
        • put_nowait()
        • get()
        • get_nowait()
        • close()
        • join_thread()
        • cancel_join_thread()
      • SimpleQueue
        • close()
        • empty()
        • get()
        • put()
      • JoinableQueue
        • task_done()
        • join()
    • その他
      • active_children()
      • cpu_count()
      • current_process()
      • parent_process()
      • freeze_support()
      • get_all_start_methods()
      • get_context()
      • get_start_method()
      • set_executable()
      • set_forkserver_preload()
      • set_start_method()
    • Connection オブジェクト
      • Connection
        • send()
        • recv()
        • fileno()
        • close()
        • poll()
        • send_bytes()
        • recv_bytes()
        • recv_bytes_into()
    • 同期プリミティブ
      • Barrier
      • BoundedSemaphore
      • Condition
      • Event
      • Lock
        • acquire()
        • release()
      • RLock
        • acquire()
        • release()
      • Semaphore
    • 共有 ctypes オブジェクト
      • Value()
      • Array()
      • multiprocessing.sharedctypes モジュール
        • RawArray()
        • RawValue()
        • Array()
        • Value()
        • copy()
        • synchronized()
    • マネージャー
      • Manager()
      • BaseManager
        • start()
        • get_server()
        • connect()
        • shutdown()
        • register()
        • address
      • SyncManager
        • Barrier()
        • BoundedSemaphore()
        • Condition()
        • Event()
        • Lock()
        • Namespace()
        • Queue()
        • RLock()
        • Semaphore()
        • Array()
        • Value()
        • dict()
        • list()
      • Namespace
      • カスタマイズされたマネージャー
      • リモートマネージャーを使用する
    • Proxy オブジェクト
      • BaseProxy
        • _callmethod()
        • _getvalue()
        • __repr__()
        • __str__()
      • クリーンアップ
    • プロセスプール
      • Pool
        • apply()
        • apply_async()
        • map()
        • map_async()
        • imap()
        • imap_unordered()
        • starmap()
        • starmap_async()
        • close()
        • terminate()
        • join()
      • AsyncResult
        • get()
        • wait()
        • ready()
        • successful()
    • リスナーとクライアント
      • deliver_challenge()
      • answer_challenge()
      • Client()
      • Listener
        • accept()
        • close()
        • address
        • last_accepted
      • wait()
      • アドレスフォーマット
    • 認証キー
    • ログ記録
      • get_logger()
      • log_to_stderr()
    • multiprocessing.dummy モジュール
      • ThreadPool
  • プログラミングガイドライン
    • すべての開始方式について
    • 開始方式が spawn および forkserver の場合
  • 使用例
• multiprocessing.shared_memory --- プロセス間で直接アクセス可能な共有メモリ
  • SharedMemory
    • close()
    • unlink()
    • buf
    • name
    • size
  • SharedMemoryManager
    • SharedMemory()
    • ShareableList()
  • ShareableList
    • count()
    • index()
    • format
    • shm
• concurrent パッケージ
• concurrent.futures --- 並列タスク実行
  • Executor オブジェクト
    • Executor
      • submit()
      • map()
      • shutdown()
  • ThreadPoolExecutor
    • ThreadPoolExecutor
    • ThreadPoolExecutor の例
  • ProcessPoolExecutor
    • ProcessPoolExecutor
    • ProcessPoolExecutor の例
  • Future オブジェクト
    • Future
      • cancel()
      • cancelled()
      • running()
      • done()
      • result()
      • exception()
      • add_done_callback()
      • set_running_or_notify_cancel()
      • set_result()
      • set_exception()
  • モジュール関数
    • wait()
      • FIRST_COMPLETED
      • FIRST_EXCEPTION
      • ALL_COMPLETED
    • as_completed()
  • 例外クラス
    • CancelledError
    • TimeoutError
    • BrokenExecutor
    • InvalidStateError
    • BrokenThreadPool
    • BrokenProcessPool
• subprocess --- サブプロセス管理
  • subprocess モジュールを使う
    • run()
    • CompletedProcess
      • args
      • returncode
      • stdout
      • stderr
      • check_returncode()
    • DEVNULL
    • PIPE
    • STDOUT
    • SubprocessError
    • TimeoutExpired
      • cmd
      • timeout
      • output
      • stdout
      • stderr
    • CalledProcessError
      • returncode
      • cmd
      • output
      • stdout
      • stderr
    • よく使われる引数
    • Popen コンストラクター
      • Popen
    • 例外
  • セキュリティで考慮すべき点
  • Popen オブジェクト
    • poll()
    • wait()
    • communicate()
    • send_signal()
    • terminate()
    • kill()
    • args
    • stdin
    • stdout
    • stderr
    • pid
    • returncode
  • Windows Popen ヘルパー
    • STARTUPINFO
      • dwFlags
      • hStdInput
      • hStdOutput
      • hStdError
      • wShowWindow
      • lpAttributeList
    • Windows Constants
      • STD_INPUT_HANDLE
      • STD_OUTPUT_HANDLE
      • STD_ERROR_HANDLE
      • SW_HIDE
      • STARTF_USESTDHANDLES
      • STARTF_USESHOWWINDOW
      • STARTF_FORCEONFEEDBACK
      • STARTF_FORCEOFFFEEDBACK
      • CREATE_NEW_CONSOLE
      • CREATE_NEW_PROCESS_GROUP
      • ABOVE_NORMAL_PRIORITY_CLASS
      • BELOW_NORMAL_PRIORITY_CLASS
      • HIGH_PRIORITY_CLASS
      • IDLE_PRIORITY_CLASS
      • NORMAL_PRIORITY_CLASS
      • REALTIME_PRIORITY_CLASS
      • CREATE_NO_WINDOW
      • DETACHED_PROCESS
      • CREATE_DEFAULT_ERROR_MODE
      • CREATE_BREAKAWAY_FROM_JOB
  • 古い高水準 API
    • call()
    • check_call()
    • check_output()
  • 古い関数を subprocess モジュールで置き換える
    • Replacing /bin/sh shell command substitution
    • シェルのパイプラインを置き換える
    • os.system() を置き換える
    • os.spawn 関数群を置き換える
    • os.popen(), os.popen2(), os.popen3() を置き換える
    • Replacing functions from the popen2 module
  • レガシーなシェル呼び出し関数
    • getstatusoutput()
    • getoutput()
  • 注釈
    • Windows における引数シーケンスから文字列への変換
    • Disabling use of vfork() or posix_spawn()
• sched --- イベントスケジューラー
  • scheduler
  • スケジューラオブジェクト
    • enterabs()
    • enter()
    • cancel()
    • empty()
    • run()
    • queue
• queue --- 同期キュークラス
  • Queue
  • LifoQueue
  • PriorityQueue
  • SimpleQueue
  • Empty
  • Full
  • ShutDown
  • キューオブジェクト
    • qsize()
    • empty()
    • full()
    • put()
    • put_nowait()
    • get()
    • get_nowait()
    • task_done()
    • join()
    • Terminating queues
      • shutdown()
  • SimpleQueue オブジェクト
    • qsize()
    • empty()
    • put()
    • put_nowait()
    • get()
    • get_nowait()
• contextvars --- コンテキスト変数
  • コンテキスト変数
    • ContextVar
      • name
      • get()
      • set()
      • reset()
    • Token
      • var
      • old_value
      • MISSING
  • マニュアルでのコンテキスト管理
    • copy_context()
    • Context
      • run()
      • copy()
      • get()
      • keys()
      • values()
      • items()
  • asyncio サポート

以下のモジュールは上記のサービスの一部で使われるサポートモジュールです:

• _thread --- 低水準なスレッド API
  • error
  • LockType
  • start_new_thread()
  • interrupt_main()
  • exit()
  • allocate_lock()
  • get_ident()
  • get_native_id()
  • stack_size()
  • TIMEOUT_MAX
  • acquire()
  • release()
  • locked()