Protocolo Búfer
***************

Ciertos objetos disponibles en Python ajustan el acceso a un arreglo
de memoria subyacente o *buffer*. Dichos objetos incluyen el
incorporado "bytes" y "bytearray", y algunos tipos de extensión como
"array.array". Las bibliotecas de terceros pueden definir sus propios
tipos para fines especiales, como el procesamiento de imágenes o el
análisis numérico.

Si bien cada uno de estos tipos tiene su propia semántica, comparten
la característica común de estar respaldados por un búfer de memoria
posiblemente grande. Es deseable, en algunas situaciones, acceder a
ese búfer directamente y sin copia intermedia.

Python proporciona una instalación de este tipo en el nivel C en la
forma de protocolo búfer. Este protocolo tiene dos lados:

* en el lado del productor, un tipo puede exportar una "interfaz de
  búfer" que permite a los objetos de ese tipo exponer información
  sobre su búfer subyacente. Esta interfaz se describe en la sección
  Estructuras de Objetos Búfer;

* en el lado del consumidor, hay varios medios disponibles para
  obtener un puntero a los datos subyacentes sin procesar de un objeto
  (por ejemplo, un parámetro de método).

Los objetos simples como "bytes" y "bytearray" exponen su búfer
subyacente en forma orientada a bytes. Otras formas son posibles; por
ejemplo, los elementos expuestos por un "array.array" pueden ser
valores de varios bytes.

Un consumidor de ejemplo de la interfaz del búfer es el método
"write()" de objetos de archivo: cualquier objeto que pueda exportar
una serie de bytes a través de la interfaz del búfer puede escribirse
en un archivo. Mientras que "write()" solo necesita acceso de solo
lectura a los contenidos internos del objeto que se le pasa, otros
métodos como "readinto()" necesitan acceso de escritura a los
contenidos de su argumento. La interfaz del búfer permite que los
objetos permitan o rechacen selectivamente la exportación de búferes
de lectura-escritura y solo lectura.

Hay dos formas para que un consumidor de la interfaz del búfer
adquiera un búfer sobre un objeto de destino:

* llamar "PyObject_GetBuffer()" con los parámetros correctos;

* llamar "PyArg_ParseTuple()" (o uno de sus hermanos) con uno de los
  "y*", "w*" o "s*" códigos de formato.

En ambos casos, se debe llamar a "PyBuffer_Release()" cuando ya no se
necesita el búfer. De lo contrario, podrían surgir varios problemas,
como pérdidas de recursos.


Estructura de búfer
===================

Las estructuras de búfer (o simplemente "búferes") son útiles como una
forma de exponer los datos binarios de otro objeto al programador de
Python. También se pueden usar como un mecanismo de corte de copia
cero. Usando su capacidad para hacer referencia a un bloque de
memoria, es posible exponer cualquier información al programador
Python con bastante facilidad. La memoria podría ser una matriz grande
y constante en una extensión C, podría ser un bloque de memoria sin
procesar para su manipulación antes de pasar a una biblioteca del
sistema operativo, o podría usarse para pasar datos estructurados en
su formato nativo en memoria .

Contrariamente a la mayoría de los tipos de datos expuestos por el
intérprete de Python, los búferes no son punteros "PyObject" sino
estructuras C simples. Esto les permite ser creados y copiados de
manera muy simple. Cuando se necesita un contenedor genérico alrededor
de un búfer, un objeto memoryview puede ser creado.

Para obtener instrucciones breves sobre cómo escribir un objeto de
exportación, consulte Estructuras de objetos búfer. Para obtener un
búfer, consulte "PyObject_GetBuffer()".

Py_buffer

   void *buf

      Un puntero al inicio de la estructura lógica descrita por los
      campos del búfer. Puede ser cualquier ubicación dentro del
      bloque de memoria física subyacente del exportador. Por ejemplo,
      con negativo "strides" el valor puede apuntar al final del
      bloque de memoria.

      Para arreglos *contiguous*, el valor apunta al comienzo del
      bloque de memoria.

   void *obj

      Una nueva referencia al objeto exportador. La referencia es
      propiedad del consumidor y automáticamente disminuye y se
      establece en "NULL" por "PyBuffer_Release()". El campo es el
      equivalente del valor de retorno de cualquier función estándar
      de C-API.

      Como un caso especial, para los búferes *temporary* que están
      envueltos por "PyMemoryView_FromBuffer()" o
      "PyBuffer_FillInfo()" este campo es "NULL". En general, los
      objetos de exportación NO DEBEN usar este esquema.

   Py_ssize_t len

      "product(shape) * itemize". Para arreglos contiguos, esta es la
      longitud del bloque de memoria subyacente. Para arreglos no
      contiguos, es la longitud que tendría la estructura lógica si se
      copiara en una representación contigua.

      Accede a "((char *)buf)[0] hasta ((char *)buf)[len-1]" solo es
      válido si el búfer se ha obtenido mediante una solicitud que
      garantiza la contigüidad. En la mayoría de los casos, dicha
      solicitud será "PyBUF_SIMPLE" o "PyBUF_WRITABLE".

   int readonly

      Un indicador de si el búfer es de solo lectura. Este campo está
      controlado por el indicador "PyBUF_WRITABLE".

   Py_ssize_t itemsize

      Tamaño del elemento en bytes de un solo elemento. Igual que el
      valor de "struct.calcsize()" invocado en valores no "NULL"
      "format".

      Excepción importante: si un consumidor solicita un búfer sin el
      indicador "PyBUF_FORMAT", "format" se establecerá en "NULL",
      pero "itemsize" todavía tiene el valor para el formato original.

      Si "shape" está presente, la igualdad "product(shape) * itemsize
      == len" aún se mantiene y el consumidor puede usar "itemsize"
      para navegar el búfer.

      Si "shape" es "NULL" como resultado de un "PyBUF_SIMPLE" o un
      "PyBUF_WRITABLE", el consumidor debe ignorar "itemsize" y asume
      "itemsize == 1".

   const char *format

      Una cadena de caracteres terminada en *NUL* en sintaxis de
      estilo del modulo "struct" que describe el contenido de un solo
      elemento. Si esto es "NULL", se supone ""B"" (bytes sin signo).

      Este campo está controlado por el indicador "PyBUF_FORMAT".

   int ndim

      El número de dimensiones que representa la memoria como un
      arreglo n-dimensional. Si es `` 0``, "buf" apunta a un solo
      elemento que representa un escalar. En este caso, "shape",
      "strides" y "suboffsets" DEBE ser "NULL".

      La macro "PyBUF_MAX_NDIM" limita el número máximo de dimensiones
      a 64. Los exportadores DEBEN respetar este límite, los
      consumidores de búfer multidimensionales DEBEN poder manejar
      hasta dimensiones "PyBUF_MAX_NDIM".

   Py_ssize_t *shape

      Un arreglo de "Py_ssize_t" de longitud "ndim" que indica la
      forma de la memoria como un arreglo n-dimensional. Tenga en
      cuenta que "shape[0] * ... * shape[ndim-1] * itemsize" DEBE ser
      igual a "len".

      Los valores de forma están restringidos a "shape[n] >= 0". El
      caso "shape[n] == 0" requiere atención especial. Vea arreglos
      complejos (complex arrays) para más información.

      El arreglo de formas es de sólo lectura para el consumidor.

   Py_ssize_t *strides

      Un arreglo de "Py_ssize_t" de longitud "ndim" que proporciona el
      número de bytes que se omiten para llegar a un nuevo elemento en
      cada dimensión.

      Los valores de *stride* pueden ser cualquier número entero. Para
      los arreglos regulares, los pasos son generalmente positivos,
      pero un consumidor DEBE ser capaz de manejar el caso "strides[n]
      <= 0". Ver complex arrays para más información.

      El arreglo *strides* es de sólo lectura para el consumidor.

   Py_ssize_t *suboffsets

      Un arreglo de "Py_ssize_t" de longitud "ndim". Si "suboffsets[n]
      >= 0", los valores almacenados a lo largo de la enésima
      dimensión son punteros y el valor del *suboffsets* dicta cuántos
      bytes agregar a cada puntero después de desreferenciarlos. Un
      valor de *suboffsets* negativo indica que no debe producirse una
      desreferenciación (*striding* en un bloque de memoria contiguo).

      Si todos los *suboffsets* son negativos (es decir, no se
      necesita desreferenciar), entonces este campo debe ser "NULL"
      (el valor predeterminado).

      *Python Imaging Library (PIL)* utiliza este tipo de
      representación de arreglos. Consulte complex arrays para obtener
      más información sobre cómo acceder a los elementos de dicho
      arreglo.

      El arreglo de *suboffsets* es de sólo lectura para el
      consumidor.

   void *internal

      Esto es para uso interno del objeto exportador. Por ejemplo, el
      exportador podría volver a emitirlo como un número entero y
      utilizarlo para almacenar indicadores sobre si las matrices de
      forma, *strides* y *suboffsets* deben liberarse cuando se libera
      el búfer. El consumidor NO DEBE alterar este valor.


Tipos de solicitud búfer
========================

Los búferes obtienen generalmente enviando una solicitud de búfer a un
objeto de exportación a través de "PyObject_GetBuffer()". Dado que la
complejidad de la estructura lógica de la memoria puede variar
drásticamente, el consumidor usa el argumento *flags* para especificar
el tipo de búfer exacto que puede manejar.

Todos los campos "Py_buffer" están definidos inequívocamente por el
tipo de solicitud.


campos independientes de solicitud
----------------------------------

Los siguientes campos no están influenciados por *flags* y siempre
deben completarse con los valores correctos: "obj", "buf", "len",
"itemsize", "ndim".


formato de sólo lectura
-----------------------

   PyBUF_WRITABLE

      Controla el campo "readonly". Si se establece, el exportador
      DEBE proporcionar un búfer de escritura o, de lo contrario,
      informar de un error. De lo contrario, el exportador PUEDE
      proporcionar un búfer de solo lectura o de escritura, pero la
      elección DEBE ser coherente para todos los consumidores.

   PyBUF_FORMAT

      Controla el campo "format". Si se establece, este campo DEBE
      completarse correctamente. De lo contrario, este campo DEBE ser
      "NULL".

"PyBUF_WRITABLE" puede ser |'d a cualquiera de las banderas en la
siguiente sección. Dado que "PyBUF_SIMPLE" se define como 0,
"PyBUF_WRITABLE" puede usarse como un indicador independiente para
solicitar un búfer de escritura simple.

"PyBUF_FORMAT" puede ser |'d para cualquiera de las banderas excepto
"PyBUF_SIMPLE". Este último ya implica el formato "B" (bytes sin
signo).


formas, *strides*, *suboffsets*
-------------------------------

Las banderas que controlan la estructura lógica de la memoria se
enumeran en orden decreciente de complejidad. Tenga en cuenta que cada
bandera contiene todos los bits de las banderas debajo de ella.

+-------------------------------+---------+-----------+--------------+
| Solicitud                     | forma   | *strides* | *suboffsets* |
|===============================|=========|===========|==============|
| PyBUF_INDIRECT                | sí      | sí        | si es        |
|                               |         |           | necesario    |
+-------------------------------+---------+-----------+--------------+
| PyBUF_STRIDES                 | sí      | sí        | NULL         |
+-------------------------------+---------+-----------+--------------+
| PyBUF_ND                      | sí      | NULL      | NULL         |
+-------------------------------+---------+-----------+--------------+
| PyBUF_SIMPLE                  | NULL    | NULL      | NULL         |
+-------------------------------+---------+-----------+--------------+


solicitudes de contigüidad
--------------------------

La *contigüidad* C o Fortran se puede solicitar explícitamente, con y
sin información de paso. Sin información de paso, el búfer debe ser
C-contiguo.

+-------------------------------------+---------+-----------+--------------+----------+
| Solicitud                           | forma   | *strides* | *suboffsets* | contig   |
|=====================================|=========|===========|==============|==========|
| PyBUF_C_CONTIGUOUS                  | sí      | sí        | NULL         | C        |
+-------------------------------------+---------+-----------+--------------+----------+
| PyBUF_F_CONTIGUOUS                  | sí      | sí        | NULL         | F        |
+-------------------------------------+---------+-----------+--------------+----------+
| PyBUF_ANY_CONTIGUOUS                | sí      | sí        | NULL         | C o F    |
+-------------------------------------+---------+-----------+--------------+----------+
| "PyBUF_ND"                          | sí      | NULL      | NULL         | C        |
+-------------------------------------+---------+-----------+--------------+----------+


solicitudes compuestas
----------------------

Todas las solicitudes posibles están completamente definidas por
alguna combinación de las banderas en la sección anterior. Por
conveniencia, el protocolo de memoria intermedia proporciona
combinaciones de uso frecuente como indicadores únicos.

En la siguiente tabla *U* significa contigüidad indefinida. El
consumidor tendría que llamar a "PyBuffer_IsContiguous()" para
determinar la contigüidad.

+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| Solicitud                       | forma   | *strides* | *suboffsets* | contig   | sólo       | formato  |
|                                 |         |           |              |          | lectura    |          |
|=================================|=========|===========|==============|==========|============|==========|
| PyBUF_FULL                      | sí      | sí        | si es        | U        | 0          | sí       |
|                                 |         |           | necesario    |          |            |          |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| PyBUF_FULL_RO                   | sí      | sí        | si es        | U        | 1 o 0      | sí       |
|                                 |         |           | necesario    |          |            |          |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| PyBUF_RECORDS                   | sí      | sí        | NULL         | U        | 0          | sí       |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| PyBUF_RECORDS_RO                | sí      | sí        | NULL         | U        | 1 o 0      | sí       |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| PyBUF_STRIDED                   | sí      | sí        | NULL         | U        | 0          | NULL     |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| PyBUF_STRIDED_RO                | sí      | sí        | NULL         | U        | 1 o 0      | NULL     |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| PyBUF_CONTIG                    | sí      | NULL      | NULL         | C        | 0          | NULL     |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+
| PyBUF_CONTIG_RO                 | sí      | NULL      | NULL         | C        | 1 o 0      | NULL     |
+---------------------------------+---------+-----------+--------------+----------+------------+----------+


Arreglos complejos
==================


Estilo NumPy: forma y *strides*
-------------------------------

La estructura lógica de las matrices de estilo NumPy está definida por
"itemsize", "ndim", "shape" y "strides".

Si "ndim == 0", la ubicación de memoria señalada por "buf" se
interpreta como un escalar de tamaño "itemsize". En ese caso, tanto
"shape" como "strides" son "NULL".

Si "strides" es "NULL", el arreglo se interpreta como un arreglo C
n-dimensional estándar. De lo contrario, el consumidor debe acceder a
un arreglo n-dimensional de la siguiente manera:

   ptr = (char *)buf + indices[0] * strides[0] + ... + indices[n-1] * strides[n-1];
   item = *((typeof(item) *)ptr);

Como se señaló anteriormente, "buf" puede apuntar a cualquier
ubicación dentro del bloque de memoria real. Un exportador puede
verificar la validez de un búfer con esta función:

   def verify_structure(memlen, itemsize, ndim, shape, strides, offset):
       """Verify that the parameters represent a valid array within
          the bounds of the allocated memory:
              char *mem: start of the physical memory block
              memlen: length of the physical memory block
              offset: (char *)buf - mem
       """
       if offset % itemsize:
           return False
       if offset < 0 or offset+itemsize > memlen:
           return False
       if any(v % itemsize for v in strides):
           return False

       if ndim <= 0:
           return ndim == 0 and not shape and not strides
       if 0 in shape:
           return True

       imin = sum(strides[j]*(shape[j]-1) for j in range(ndim)
                  if strides[j] <= 0)
       imax = sum(strides[j]*(shape[j]-1) for j in range(ndim)
                  if strides[j] > 0)

       return 0 <= offset+imin and offset+imax+itemsize <= memlen


Estilo PIL: forma, *strides* y *suboffsets*
-------------------------------------------

Además de los elementos normales, los arreglos de estilo PIL pueden
contener punteros que deben seguirse para llegar al siguiente elemento
en una dimensión. Por ejemplo, el arreglo C tridimensional regular
"char v[2][2][3]" también se puede ver como un arreglo de 2 punteros a
2 arreglos bidimensionales: "char (*v[2])[2][3]". En la representación
de *suboffsets*, esos dos punteros pueden incrustarse al comienzo de
"buf", apuntando a dos matrices "char x[2][3]" que pueden ubicarse en
cualquier lugar de la memoria.

Aquí hay una función que retorna un puntero al elemento en un arreglo
N-D a la que apunta un índice N-dimensional cuando hay *strides* y
*suboffsets* no "NULL":

   void *get_item_pointer(int ndim, void *buf, Py_ssize_t *strides,
                          Py_ssize_t *suboffsets, Py_ssize_t *indices) {
       char *pointer = (char*)buf;
       int i;
       for (i = 0; i < ndim; i++) {
           pointer += strides[i] * indices[i];
           if (suboffsets[i] >=0 ) {
               pointer = *((char**)pointer) + suboffsets[i];
           }
       }
       return (void*)pointer;
   }


Funciones relacionadas a búfer
==============================

int PyObject_CheckBuffer(PyObject *obj)

   Retorna "1" si *obj* admite la interfaz de búfer; de lo contrario,
   "0" cuando se retorna "1", no garantiza que "PyObject_GetBuffer()"
   tenga éxito. Esta función siempre tiene éxito.

int PyObject_GetBuffer(PyObject *exporter, Py_buffer *view, int flags)

   Send a request to *exporter* to fill in *view* as specified by
   *flags*. If the exporter cannot provide a buffer of the exact type,
   it MUST raise "PyExc_BufferError", set "view->obj" to "NULL" and
   return "-1".

   On success, fill in *view*, set "view->obj" to a new reference to
   *exporter* and return 0. In the case of chained buffer providers
   that redirect requests to a single object, "view->obj" MAY refer to
   this object instead of *exporter* (See Buffer Object Structures).

   Las llamadas exitosas a "PyObject_GetBuffer()" deben combinarse con
   las llamadas a "PyBuffer_Release()", similar a "malloc()" y
   "free()". Por lo tanto, después de que el consumidor haya terminado
   con el búfer, "PyBuffer_Release()" debe llamarse exactamente una
   vez.

void PyBuffer_Release(Py_buffer *view)

   Release the buffer *view* and decrement the reference count for
   "view->obj". This function MUST be called when the buffer is no
   longer being used, otherwise reference leaks may occur.

   Es un error llamar a esta función en un búfer que no se obtuvo a
   través de "PyObject_GetBuffer()".

Py_ssize_t PyBuffer_SizeFromFormat(const char *)

   Retorna el "itemsize" implícito de "format". Esta función aún no
   está implementada.

int PyBuffer_IsContiguous(Py_buffer *view, char order)

   Retorna "1" si la memoria definida por *view* es de estilo C
   (*order* es "'C'") o de estilo Fortran (*order* es "'F'")
   *contiguous* o uno cualquiera (*order* es "'A'"). Retorna "0" de lo
   contrario. Esta función siempre tiene éxito.

void* PyBuffer_GetPointer(Py_buffer *view, Py_ssize_t *indices)

   Obtiene el área de memoria señalada por los *indices* dentro del
   *view* dado. *indices* deben apuntar a un arreglo de índices
   "view->ndim".

int PyBuffer_FromContiguous(Py_buffer *view, void *buf, Py_ssize_t len, char fort)

   Copia *len* bytes contiguos de *buf* a *view*. *fort* puede ser
   "'C'" o "'F'" (para pedidos al estilo C o al estilo Fortran). "0"
   se retorna en caso de éxito, "-1" en caso de error.

int PyBuffer_ToContiguous(void *buf, Py_buffer *src, Py_ssize_t len, char order)

   Copia *len* bytes de *src* a su representación contigua en *buf*.
   *order* puede ser "'C'" o "'F'" o "''A'" (para pedidos al estilo C
   o al estilo Fortran o cualquiera) "0" se retorna en caso de éxito,
   "-1" en caso de error.

   Esta función falla si *len* != *src->len*.

void PyBuffer_FillContiguousStrides(int ndims, Py_ssize_t *shape, Py_ssize_t *strides, int itemsize, char order)

   Rellena el arreglo *strides* con bytes de paso de un *contiguous*
   (estilo C si *order* es "'C'" o estilo Fortran si *order* es "'F '"
   ) arreglo de la forma dada con el número dado de bytes por
   elemento.

int PyBuffer_FillInfo(Py_buffer *view, PyObject *exporter, void *buf, Py_ssize_t len, int readonly, int flags)

   Maneje las solicitudes de búfer para un exportador que quiera
   exponer *buf* de tamaño *len* con capacidad de escritura
   establecida de acuerdo con *readonly*. *buf* se interpreta como una
   secuencia de bytes sin signo.

   El argumento *flags* indica el tipo de solicitud. Esta función
   siempre llena *view* según lo especificado por *flags*, a menos que
   *buf* haya sido designado como solo lectura y "PyBUF_WRITABLE" esté
   configurado en *flags*.

   On success, set "view->obj" to a new reference to *exporter* and
   return 0. Otherwise, raise "PyExc_BufferError", set "view->obj" to
   "NULL" and return "-1";

   Si esta función se usa como parte de a getbufferproc, *exporter*
   DEBE establecerse en el objeto exportador y *flags* deben pasarse
   sin modificaciones. De lo contrario, *exporter* DEBE ser "NULL".
