유니코드 객체와 코덱¶

유니코드 객체¶

파이썬 3.3에서 PEP 393을 구현한 이후, 유니코드 객체는 내부적으로 다양한 표현을 사용하여 전체 유니코드 문자 범위를 처리하면서 메모리 효율성을 유지합니다. 모든 코드 포인트가 128, 256 또는 65536 미만인 문자열에 대한 특별한 경우가 있습니다; 그렇지 않으면, 코드 포인트는 1114112 (전체 유니코드 범위) 미만이어야 합니다.

Py_UNICODE* and UTF-8 representations are created on demand and cached in the Unicode object. The Py_UNICODE* representation is deprecated and inefficient.

이전 API와 새 API 간의 전환으로 인해, 유니코드 객체는 만들어진 방법에 따라 내부적으로 두 가지 상태가 될 수 있습니다:

“규범적(canonical)” 유니코드 객체는 폐지되지 않은 유니코드 API에 의해 만들어진 모든 객체입니다. 구현에서 허용하는 가장 효율적인 표현을 사용합니다.
“레거시” 유니코드 객체는 폐지된 API 중 하나(일반적으로 PyUnicode_FromUnicode())를 통해 만들어지고 Py_UNICODE* 표현만 포함합니다; 다른 API를 호출하기 전에 이들에 대해 PyUnicode_READY()를 호출해야 합니다.

참고

“레거시” 유니코드 객체는 폐지된 API와 함께 파이썬 3.12에서 제거됩니다. 그 이후로 모든 유니코드 객체는 “규범적”이 됩니다. 자세한 정보는 PEP 623을 참조하십시오.

유니코드 형¶

다음은 파이썬에서 유니코드 구현에 사용되는 기본 유니코드 객체 형입니다:

Py_UCS4¶
Py_UCS2¶
Py_UCS1¶: 이 형들은 각각 32비트, 16비트 및 8비트의 문자를 포함하기에 충분한 부호 없는 정수 형을 위한 typedef 입니다. 단일 유니코드 문자를 처리할 때는, Py_UCS4를 사용하십시오.

버전 3.3에 추가.

Py_UNICODE¶: 이것은 플랫폼에 따라 16비트 형이나 32비트 형인 wchar_t의 typedef 입니다.

버전 3.3에서 변경: 이전 버전에서, 이것은 빌드 시 파이썬의 “내로우(narrow)”나 “와이드(wide)” 유니코드 버전 중 어느 것을 선택했는지에 따라 16비트 형이나 32비트 형이었습니다.

PyASCIIObject¶
PyCompactUnicodeObject¶
PyUnicodeObject¶: 이 PyObject 서브 형들은 파이썬 유니코드 객체를 나타냅니다. 거의 모든 경우에, 유니코드 객체를 처리하는 모든 API 함수가 PyObject 포인터를 취하고 반환하므로 직접 사용해서는 안 됩니다.

버전 3.3에 추가.

PyTypeObject PyUnicode_Type¶: 이 PyTypeObject 인스턴스는 파이썬 유니코드 형을 나타냅니다. 파이썬 코드에 str로 노출됩니다.

다음 API는 실제로는 C 매크로이며 빠른 검사를 수행하고 유니코드 객체의 내부 읽기 전용 데이터에 액세스하는 데 사용할 수 있습니다:

int PyUnicode_Check(PyObject *o)¶: 객체 o가 유니코드 객체이거나 유니코드 서브 형의 인스턴스이면 참을 반환합니다.

int PyUnicode_CheckExact(PyObject *o)¶: 객체 o가 유니코드 객체이지만, 서브 형의 인스턴스가 아니면 참을 반환합니다.

int PyUnicode_READY(PyObject *o)¶

문자열 객체 o가 “규범적(canonical)” 표현인지 확인합니다. 이것은 아래에 설명된 액세스 매크로를 사용하기 전에 필요합니다.

성공 시 0을 반환하고, 실패 시 예외를 설정하면서 -1을 반환하는데, 특히 메모리 할당이 실패하면 발생합니다.

버전 3.3에 추가.

Deprecated since version 3.10, will be removed in version 3.12: 이 API는 PyUnicode_FromUnicode()와 함께 제거됩니다.

Py_ssize_t PyUnicode_GET_LENGTH(PyObject *o)¶: 유니코드 문자열의 길이를 코드 포인트로 반환합니다. o는 “규범적(canonical)” 표현의 유니코드 객체여야 합니다 (검사하지 않습니다).

버전 3.3에 추가.

Py_UCS1* PyUnicode_1BYTE_DATA(PyObject *o)¶
Py_UCS2* PyUnicode_2BYTE_DATA(PyObject *o)¶
Py_UCS4* PyUnicode_4BYTE_DATA(PyObject *o)¶: 직접 문자 액세스를 위해 UCS1, UCS2 또는 UCS4 정수 형으로 캐스트 된 규범적(canonical) 표현에 대한 포인터를 반환합니다. 규범적(canonical) 표현이 올바른 문자 크기인지 검사하지 않습니다; PyUnicode_KIND()를 사용하여 올바른 매크로를 선택하십시오. 이것을 액세스하기 전에 PyUnicode_READY()가 호출되었어야 합니다.

버전 3.3에 추가.

PyUnicode_WCHAR_KIND¶
PyUnicode_1BYTE_KIND¶
PyUnicode_2BYTE_KIND¶
PyUnicode_4BYTE_KIND¶: PyUnicode_KIND() 매크로의 값을 반환합니다.

버전 3.3에 추가.

Deprecated since version 3.10, will be removed in version 3.12: PyUnicode_WCHAR_KIND는 폐지되었습니다.

int PyUnicode_KIND(PyObject *o)¶: 이 유니코드 객체가 데이터를 저장하는 데 사용하는 문자 당 바이트 수를 나타내는 PyUnicode 종류 상수 (위를 참조하십시오) 중 하나를 반환합니다. o는 “규범적(canonical)” 표현의 유니코드 객체여야 합니다 (검사하지 않습니다).

버전 3.3에 추가.

void* PyUnicode_DATA(PyObject *o)¶: 원시 유니코드 버퍼에 대한 void 포인터를 반환합니다. o는 “규범적(canonical)” 표현의 유니코드 객체여야 합니다 (검사하지 않습니다).

버전 3.3에 추가.

void PyUnicode_WRITE(int kind, void *data, Py_ssize_t index, Py_UCS4 value)¶: 규범적(canonical) 표현 data(PyUnicode_DATA()로 얻은 대로)에 씁니다. 이 매크로는 온전성 검사(sanity checks)를 수행하지 않으며 루프에서 사용하기 위한 것입니다. 호출자는 다른 매크로 호출에서 얻은 대로 kind 값과 data 포인터를 캐시 해야 합니다. index는 문자열의 인덱스(0에서 시작합니다)이고 value는 해당 위치에 기록되어야 하는 새 코드 포인트 값입니다.

버전 3.3에 추가.

Py_UCS4 PyUnicode_READ(int kind, void *data, Py_ssize_t index)¶: 규범적(canonical) 표현 data(PyUnicode_DATA()로 얻은 대로)에서 코드 포인트를 읽습니다. 검사나 준비(ready) 호출이 수행되지 않습니다.

버전 3.3에 추가.

Py_UCS4 PyUnicode_READ_CHAR(PyObject *o, Py_ssize_t index)¶: “규범적(canonical)” 표현이어야 하는, 유니코드 객체 o에서 문자를 읽습니다. 여러 연속 읽기를 수행한다면 PyUnicode_READ()보다 효율성이 떨어집니다.

버전 3.3에 추가.

PyUnicode_MAX_CHAR_VALUE(o)¶: “규범적(canonical)” 표현이어야 하는, o를 기반으로 다른 문자열을 만드는 데 적합한 최대 코드 포인트를 반환합니다. 이것은 항상 근사치이지만 문자열을 이터레이트 하는 것보다 효율적입니다.

버전 3.3에 추가.

int PyUnicode_ClearFreeList()¶: Clear the free list. Return the total number of freed items.

Py_ssize_t PyUnicode_GET_SIZE(PyObject *o)¶: 폐지된 Py_UNICODE 표현의 크기를 코드 단위로 반환합니다 (서로게이트 쌍을 2단위로 포함합니다). o는 유니코드 객체여야 합니다 (검사하지 않습니다).

Deprecated since version 3.3, will be removed in version 3.12: 이전 스타일 유니코드 API의 일부입니다, PyUnicode_GET_LENGTH()를 사용하여 마이그레이션 하십시오.

Py_ssize_t PyUnicode_GET_DATA_SIZE(PyObject *o)¶: 폐지된 Py_UNICODE 표현의 크기를 바이트 단위로 반환합니다. o는 유니코드 객체여야 합니다 (검사하지 않습니다).

Deprecated since version 3.3, will be removed in version 3.12: 이전 스타일 유니코드 API의 일부입니다, PyUnicode_GET_LENGTH()를 사용하여 마이그레이션 하십시오.

Py_UNICODE* PyUnicode_AS_UNICODE(PyObject *o)¶
const char* PyUnicode_AS_DATA(PyObject *o)¶: 객체의 Py_UNICODE 표현에 대한 포인터를 반환합니다. 반환된 버퍼는 항상 추가 널 코드 포인트로 끝납니다. 또한 내장된 널 코드 포인트를 포함할 수 있는데, 대부분의 C 함수에서 사용될 때 문자열이 잘리도록 합니다. AS_DATA 형식은 포인터를 const char *로 캐스트 합니다. o 인자는 유니코드 객체여야 합니다 (검사하지 않습니다).

버전 3.3에서 변경: 이 매크로는 이제 비효율적이고 – 많은 경우에 Py_UNICODE 표현이 존재하지 않고 만들어야 해서 – 실패할 수 있습니다 (예외 설정과 함께 NULL을 반환합니다). 새 PyUnicode_nBYTE_DATA() 매크로를 사용하거나 PyUnicode_WRITE()나 PyUnicode_READ()를 사용하도록 코드를 이식하십시오.

Deprecated since version 3.3, will be removed in version 3.12: 이전 스타일 유니코드 API의 일부입니다. PyUnicode_nBYTE_DATA() 매크로 계열을 사용하도록 마이그레이션 하십시오.

유니코드 문자 속성¶

유니코드는 다양한 문자 속성을 제공합니다. 가장 자주 필요한 것은 파이썬 구성에 따라 C 함수에 매핑되는 이러한 매크로를 통해 사용할 수 있습니다.

int Py_UNICODE_ISSPACE(Py_UNICODE ch)¶: ch가 공백 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISLOWER(Py_UNICODE ch)¶: ch가 소문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISUPPER(Py_UNICODE ch)¶: ch가 대문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISTITLE(Py_UNICODE ch)¶: ch가 제목 케이스 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISLINEBREAK(Py_UNICODE ch)¶: ch가 줄 바꿈 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISDECIMAL(Py_UNICODE ch)¶: ch가 10진수 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISDIGIT(Py_UNICODE ch)¶: ch가 디짓(digit) 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISNUMERIC(Py_UNICODE ch)¶: ch가 숫자(numeric) 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISALPHA(Py_UNICODE ch)¶: ch가 알파벳 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISALNUM(Py_UNICODE ch)¶: ch가 영숫자 문자인지에 따라 1이나 0을 반환합니다.

int Py_UNICODE_ISPRINTABLE(Py_UNICODE ch)¶: ch가 인쇄 가능한 문자인지에 따라 1이나 0을 반환합니다. 인쇄할 수 없는 문자는, 인쇄 가능한 것으로 간주하는 ASCII 스페이스(0x20)를 제외하고, 유니코드 문자 데이터베이스에서 “Other”나 “Separator”로 정의된 문자입니다. (이 문맥에서 인쇄 가능한 문자는 repr()이 문자열에 대해 호출될 때 이스케이프 되지 않아야 하는 문자임에 유의하십시오. sys.stdout이나 sys.stderr에 기록된 문자열의 처리와 관련이 없습니다.)

다음 API는 빠른 직접 문자 변환에 사용할 수 있습니다:

Py_UNICODE Py_UNICODE_TOLOWER(Py_UNICODE ch)¶: 소문자로 변환된 문자 ch를 반환합니다.

버전 3.3부터 폐지: 이 함수는 간단한 케이스 매핑을 사용합니다.

Py_UNICODE Py_UNICODE_TOUPPER(Py_UNICODE ch)¶: 대문자로 변환된 문자 ch를 반환합니다.

버전 3.3부터 폐지: 이 함수는 간단한 케이스 매핑을 사용합니다.

Py_UNICODE Py_UNICODE_TOTITLE(Py_UNICODE ch)¶: 제목 케이스로 변환된 문자 ch를 반환합니다.

버전 3.3부터 폐지: 이 함수는 간단한 케이스 매핑을 사용합니다.

int Py_UNICODE_TODECIMAL(Py_UNICODE ch)¶: 10진 양의 정수로 변환된 문자 ch를 반환합니다. 이것이 불가능하면 -1을 반환합니다. 이 매크로는 예외를 발생시키지 않습니다.

int Py_UNICODE_TODIGIT(Py_UNICODE ch)¶: 한 자리 정수로 변환된 문자 ch를 반환합니다. 이것이 불가능하면 -1을 반환합니다. 이 매크로는 예외를 발생시키지 않습니다.

double Py_UNICODE_TONUMERIC(Py_UNICODE ch)¶: double로 변환된 문자 ch를 반환합니다. 이것이 불가능하면 -1.0을 반환합니다. 이 매크로는 예외를 발생시키지 않습니다.

다음 API를 사용하여 서로게이트를 다룰 수 있습니다:

Py_UNICODE_IS_SURROGATE(ch)¶: ch가 서로게이트인지 확인합니다 (0xD800 <= ch <= 0xDFFF).

Py_UNICODE_IS_HIGH_SURROGATE(ch)¶: ch가 상위 서로게이트인지 확인합니다 (0xD800 <= ch <= 0xDBFF).

Py_UNICODE_IS_LOW_SURROGATE(ch)¶: ch가 하위 서로게이트인지 확인합니다 (0xDC00 <= ch <= 0xDFFF).

Py_UNICODE_JOIN_SURROGATES(high, low)¶: 두 서로게이트 문자를 결합하고 단일 Py_UCS4 값을 반환합니다. high와 low는 각각 서로게이트 쌍의 선행과 후행 서로게이트입니다.

유니코드 문자열 생성과 액세스¶

유니코드 객체를 만들고 기본 시퀀스 속성에 액세스하려면 다음 API를 사용하십시오:

PyObject* PyUnicode_New(Py_ssize_t size, Py_UCS4 maxchar)¶

Return value: New reference.

새 유니코드 객체를 만듭니다. maxchar은 문자열에 배치할 실제 최대 코드 포인트여야 합니다. 근삿값으로, 127, 255, 65535, 1114111 시퀀스에서 가장 가까운 값으로 올림 할 수 있습니다.

이것은 새 유니코드 객체를 할당하는 데 권장되는 방법입니다. 이 함수를 사용하여 만든 객체는 크기를 조정할 수 없습니다.

버전 3.3에 추가.

PyObject* PyUnicode_FromKindAndData(int kind, const void *buffer, Py_ssize_t size)¶: Return value: New reference.
주어진 kind(가능한 값은 PyUnicode_KIND()에 의해 반환된 PyUnicode_1BYTE_KIND 등입니다)로 새로운 유니코드 객체를 만듭니다. buffer는 kind에 따라 문자 당 1, 2 또는 4바이트의 size 단위의 배열을 가리켜야 합니다.

버전 3.3에 추가.

PyObject* PyUnicode_FromStringAndSize(const char *u, Py_ssize_t size)¶

Return value: New reference.

char 버퍼 u에서 유니코드 객체를 만듭니다. 바이트는 UTF-8로 인코딩된 것으로 해석됩니다. 버퍼는 새 객체에 복사됩니다. 버퍼가 NULL이 아니면, 반환 값은 공유 객체일 수 있습니다, 즉, 데이터 수정이 허용되지 않습니다.

If u is NULL, this function behaves like PyUnicode_FromUnicode() with the buffer set to NULL. This usage is deprecated in favor of PyUnicode_New(), and will be removed in Python 3.12.

PyObject *PyUnicode_FromString(const char *u)¶: Return value: New reference.
UTF-8로 인코딩된 널-종료 char 버퍼 u에서 유니코드 객체를 만듭니다.

PyObject* PyUnicode_FromFormat(const char *format, ...)¶

Return value: New reference.

C printf()-스타일 format 문자열과 가변 개수의 인자를 취해서, 결과 파이썬 유니코드 문자열의 크기를 계산하고 포맷된 값이 들어간 문자열을 반환합니다. 변수 인자는 C형이어야 하며 format ASCII 인코딩된 문자열의 포맷 문자와 정확히 일치해야 합니다. 다음 포맷 문자가 허용됩니다:

포맷 문자	형	주석
`%%`	n/a	리터럴 % 문자.
`%c`	int	C int로 표현된, 단일 문자.
`%d`	int	`printf("%d")`와 동등합니다. 1
`%u`	unsigned int	`printf("%u")`와 동등합니다. 1
`%ld`	long	`printf("%ld")`와 동등합니다. 1
`%li`	long	`printf("%li")`와 동등합니다. 1
`%lu`	unsigned long	`printf("%lu")`와 동등합니다. 1
`%lld`	long long	`printf("%lld")`와 동등합니다. 1
`%lli`	long long	`printf("%lli")`와 동등합니다. 1
`%llu`	unsigned long long	`printf("%llu")`와 동등합니다. 1
`%zd`	Py_ssize_t	`printf("%zd")`와 동등합니다. 1
`%zi`	Py_ssize_t	`printf("%zi")`와 동등합니다. 1
`%zu`	size_t	`printf("%zu")`와 동등합니다. 1
`%i`	int	`printf("%i")`와 동등합니다. 1
`%x`	int	`printf("%x")`와 동등합니다. 1
`%s`	const char*	널-종료 C 문자 배열.
`%p`	const void*	C 포인터의 16진수 표현. 플랫폼의 `printf`가 산출하는 내용과 관계없이 리터럴 `0x`로 시작하는 것이 보장된다는 점을 제외하면 거의 `printf("%p")`와 동등합니다.
`%A`	PyObject*	`ascii()`를 호출한 결과.
`%U`	PyObject*	유니코드 객체.
`%V`	PyObject, const char	유니코드 객체(`NULL`일 수 있습니다)와 두 번째 매개 변수로서 널-종료 C 문자 배열 (첫 번째 매개 변수가 `NULL`이면 사용됩니다).
`%S`	PyObject*	`PyObject_Str()`을 호출한 결과.
`%R`	PyObject*	`PyObject_Repr()`을 호출한 결과.

인식할 수 없는 포맷 문자는 나머지 포맷 문자열이 모두 결과 문자열에 그대로 복사되고, 추가 인자는 버려지도록 합니다.

참고

너비 포매터 단위는 바이트가 아닌 문자 수입니다. 정밀도 포매터 단위는 "%s"와 "%V"의 경우는 바이트 수이고 (PyObject* 인자가 NULL이면), "%A", "%U", "%S", "%R" 및 "%V"의 경우 문자 수입니다 (PyObject* 인자가 NULL이 아니면).

1(1,2,3,4,5,6,7,8,9,10,11,12,13): 정수 지정자 (d, u, ld, li, lu, lld, lli, llu, zd, zi, zu, i, x)의 경우: 0-변환 플래그는 정밀도가 제공되는 경우에도 적용됩니다.

버전 3.2에서 변경: "%lld"와 "%llu"에 대한 지원이 추가되었습니다.

버전 3.3에서 변경: "%li", "%lli" 및 "%zi"에 대한 지원이 추가되었습니다.

버전 3.4에서 변경: "%s", "%A", "%U", "%V", "%S", "%R"에 대한 너비와 정밀도 포매터 지원이 추가되었습니다.

PyObject* PyUnicode_FromFormatV(const char *format, va_list vargs)¶: Return value: New reference.
정확히 두 개의 인자를 취한다는 점을 제외하면 PyUnicode_FromFormat()과 동일합니다.

PyObject* PyUnicode_FromEncodedObject(PyObject *obj, const char *encoding, const char *errors)¶

Return value: New reference.

인코딩된 객체 obj를 유니코드 객체로 디코딩합니다.

bytes, bytearray 및 기타 바이트열류 객체는 주어진 encoding에 따라 errors로 정의한 에러 처리를 사용하여 디코딩됩니다. 둘 다 NULL이 될 수 있고, 이 경우 인터페이스는 기본값을 사용합니다 (자세한 내용은 내장 코덱를 참조하십시오).

유니코드 객체를 포함한 다른 모든 객체는 TypeError가 설정되도록 합니다.

API는 에러가 있으면 NULL을 반환합니다. 호출자는 반환된 객체의 참조 횟수를 감소시킬 책임이 있습니다.

Py_ssize_t PyUnicode_GetLength(PyObject *unicode)¶: 유니코드 객체의 길이를 코드 포인트로 반환합니다.

버전 3.3에 추가.

Py_ssize_t PyUnicode_CopyCharacters(PyObject *to, Py_ssize_t to_start, PyObject *from, Py_ssize_t from_start, Py_ssize_t how_many)¶: 한 유니코드 객체에서 다른 객체로 문자를 복사합니다. 이 함수는 필요하면 문자 변환을 수행하고 가능하면 memcpy()로 폴백합니다. 에러 시 -1을 반환하고 예외를 설정합니다, 그렇지 않으면 복사된 문자 수를 반환합니다.

버전 3.3에 추가.

Py_ssize_t PyUnicode_Fill(PyObject *unicode, Py_ssize_t start, Py_ssize_t length, Py_UCS4 fill_char)¶

문자로 문자열을 채웁니다: fill_char을 unicode[start:start+length]에 씁니다.

fill_char이 문자열 최대 문자보다 크거나, 문자열에 둘 이상의 참조가 있으면 실패합니다.

기록된 문자 수를 반환하거나, 에러 시 -1을 반환하고 예외를 발생시킵니다.

버전 3.3에 추가.

int PyUnicode_WriteChar(PyObject *unicode, Py_ssize_t index, Py_UCS4 character)¶

문자열에 문자를 씁니다. 문자열은 PyUnicode_New()를 통해 만들었어야 합니다. 유니코드 문자열은 불변이므로, 문자열을 공유하거나 아직 해시 하지 않아야 합니다.

이 함수는 unicode가 유니코드 객체인지, 인덱스가 범위를 벗어났는지, 객체가 안전하게 수정될 수 있는지 (즉, 참조 횟수가 1인지) 확인합니다.

버전 3.3에 추가.

Py_UCS4 PyUnicode_ReadChar(PyObject *unicode, Py_ssize_t index)¶: 문자열에서 문자를 읽습니다. 이 함수는 매크로 버전 PyUnicode_READ_CHAR()와 달리 unicode가 유니코드 객체이고 인덱스가 범위를 벗어났는지 확인합니다.

버전 3.3에 추가.

PyObject* PyUnicode_Substring(PyObject *str, Py_ssize_t start, Py_ssize_t end)¶: Return value: New reference.
문자 인덱스 start(포함합니다)에서 문자 인덱스 end(제외합니다)까지 str의 하위 문자열을 반환합니다. 음수 인덱스는 지원되지 않습니다.

버전 3.3에 추가.

Py_UCS4* PyUnicode_AsUCS4(PyObject *u, Py_UCS4 *buffer, Py_ssize_t buflen, int copy_null)¶: copy_null이 설정되면, 널 문자를 포함하여 문자열 u를 UCS4 버퍼에 복사합니다. 에러 시 NULL을 반환하고 예외를 설정합니다 (특히, buflen이 u의 길이보다 작으면 SystemError). 성공하면 buffer가 반환됩니다.

버전 3.3에 추가.

Py_UCS4* PyUnicode_AsUCS4Copy(PyObject *u)¶: 문자열 u를 PyMem_Malloc()을 사용하여 할당된 새 UCS4 버퍼에 복사합니다. 이것이 실패하면, NULL이 반환되고 MemoryError가 설정됩니다. 반환된 버퍼에는 항상 추가 널 코드 포인트가 있습니다.

버전 3.3에 추가.

폐지된 Py_UNICODE API¶

Deprecated since version 3.3, will be removed in version 3.12.

이 API 함수들은 PEP 393 구현에 의해 폐지되었습니다. 파이썬 3.x에서 제거되지 않기 때문에, 확장 모듈은 계속해서 사용할 수 있지만, 이제 그 사용으로 인해 성능과 메모리 문제가 있을 수 있음을 인식해야 합니다.

PyObject* PyUnicode_FromUnicode(const Py_UNICODE *u, Py_ssize_t size)¶

Return value: New reference.

주어진 크기(size)의 Py_UNICODE 버퍼 u에서 유니코드 객체를 만듭니다. u는 NULL일 수 있으며, 이럴 때는 내용이 정의되지 않습니다. 필요한 데이터를 채우는 것은 사용자의 책임입니다. 버퍼가 새 객체에 복사됩니다.

버퍼가 NULL이 아니면, 반환 값은 공유 객체일 수 있습니다. 따라서, 결과 유니코드 객체의 수정은 u가 NULL일 때만 허용됩니다.

버퍼가 NULL이면, PyUnicode_KIND()와 같은 액세스 매크로를 사용하기 전에 문자열 내용이 채워지면 PyUnicode_READY()를 호출해야 합니다.

Deprecated since version 3.3, will be removed in version 3.12: 이전 스타일 유니코드 API의 일부입니다. PyUnicode_FromKindAndData(), PyUnicode_FromWideChar() 또는 PyUnicode_New()를 사용하여 마이그레이션 하십시오.

Py_UNICODE* PyUnicode_AsUnicode(PyObject *unicode)¶: 유니코드 객체의 내부 Py_UNICODE 버퍼에 대한 읽기 전용 포인터를 반환하거나, 에러 시 NULL을 반환합니다. 아직 사용할 수 없으면 객체의 Py_UNICODE* 표현을 만듭니다. 버퍼는 항상 여분의 널 코드 포인트로 종료됩니다. 결과 Py_UNICODE 문자열에는 내장된 널 코드 포인트도 포함될 수 있으며, 이때는 대부분의 C 함수에서 사용될 때 문자열이 잘림에 유의하십시오.

Deprecated since version 3.3, will be removed in version 3.12: 이전 스타일 유니코드 API의 일부입니다. PyUnicode_AsUCS4(), PyUnicode_AsWideChar(), PyUnicode_ReadChar() 또는 유사한 새 API를 사용하여 마이그레이션 하십시오.

Deprecated since version 3.3, will be removed in version 3.10.

PyObject* PyUnicode_TransformDecimalToASCII(Py_UNICODE *s, Py_ssize_t size)¶: Return value: New reference.
주어진 size의 Py_UNICODE 버퍼에 있는 모든 10진 숫자들을 10진 값에 따라 ASCII 숫자 0–9로 대체하여 유니코드 객체를 만듭니다. 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: Part of the old-style Py_UNICODE API; please migrate to using Py_UNICODE_TODECIMAL().

Py_UNICODE* PyUnicode_AsUnicodeAndSize(PyObject *unicode, Py_ssize_t *size)¶: PyUnicode_AsUnicode()와 비슷하지만, Py_UNICODE() 배열 길이(추가 널 종료 제외)를 size에 저장하기도 합니다. 결과 Py_UNICODE* 문자열에는 내장된 널 코드 포인트가 포함될 수 있으며, 이때는 대부분의 C 함수에서 사용될 때 문자열이 잘림에 유의하십시오.

버전 3.3에 추가.

Deprecated since version 3.3, will be removed in version 3.12: 이전 스타일 유니코드 API의 일부입니다. PyUnicode_AsUCS4(), PyUnicode_AsWideChar(), PyUnicode_ReadChar() 또는 유사한 새 API를 사용하여 마이그레이션 하십시오.

Py_UNICODE* PyUnicode_AsUnicodeCopy(PyObject *unicode)¶

널 코드 포인트로 끝나는 유니코드 문자열의 복사본을 만듭니다. 메모리 할당 실패 시 NULL을 반환하고 MemoryError 예외를 발생시킵니다, 그렇지 않으면 새로 할당된 버퍼를 반환합니다 (버퍼를 해제하려면 PyMem_Free()를 사용하십시오). 결과 Py_UNICODE* 문자열에는 내장된 널 코드 포인트가 포함될 수 있으며, 이때는 대부분의 C 함수에서 사용될 때 문자열이 잘림에 유의하십시오.

버전 3.2에 추가.

PyUnicode_AsUCS4Copy() 나 유사한 새 API를 사용하여 마이그레이션 하십시오.

Py_ssize_t PyUnicode_GetSize(PyObject *unicode)¶: 폐지된 Py_UNICODE 표현의 크기를 코드 단위로 반환합니다 (서로게이트 쌍을 2단위로 포함합니다).

Deprecated since version 3.3, will be removed in version 3.12: 이전 스타일 유니코드 API의 일부입니다, PyUnicode_GET_LENGTH()를 사용하여 마이그레이션 하십시오.

PyObject* PyUnicode_FromObject(PyObject *obj)¶

Return value: New reference.

필요하면 유니코드 서브 형의 인스턴스를 새로운 진짜 유니코드 객체에 복사합니다. obj가 이미 (서브 형이 아닌) 진짜 유니코드 객체이면, 참조 횟수를 증가시키고 참조를 반환합니다.

유니코드나 이의 서브 형 이외의 객체는 TypeError를 발생시킵니다.

로케일 인코딩¶

현재 로케일 인코딩을 사용하여 운영 체제에서 온 텍스트를 디코딩 할 수 있습니다.

PyObject* PyUnicode_DecodeLocaleAndSize(const char *str, Py_ssize_t len, const char *errors)¶

Return value: New reference.

안드로이드와 VxWorks의 UTF-8이나 다른 플랫폼의 현재 로케일 인코딩의 문자열을 디코딩합니다. 지원되는 에러 처리기는 "strict"와 "surrogateescape"(PEP 383)입니다. 디코더는 errors가 NULL이면 "strict" 에러 처리기를 사용합니다. str은 널 문자로 끝나야 하지만 널 문자를 포함할 수 없습니다.

Py_FileSystemDefaultEncoding(파이썬 시작 시 읽은 로케일 인코딩)에서 문자열을 디코딩하려면 PyUnicode_DecodeFSDefaultAndSize()를 사용하십시오.

이 함수는 파이썬 UTF-8 모드를 무시합니다.

Py_DecodeLocale() 함수.

버전 3.3에 추가.

버전 3.7에서 변경: 이 함수는 이제 안드로이드를 제외하고 surrogateescape 에러 처리기에 현재 로케일 인코딩도 사용합니다. 이전에는, Py_DecodeLocale()이 surrogateescape에 사용되었고, 현재 로케일 인코딩은 strict에 사용되었습니다.

PyObject* PyUnicode_DecodeLocale(const char *str, const char *errors)¶: Return value: New reference.
PyUnicode_DecodeLocaleAndSize()와 유사하지만, strlen()을 사용하여 문자열 길이를 계산합니다.

버전 3.3에 추가.

PyObject* PyUnicode_EncodeLocale(PyObject *unicode, const char *errors)¶

Return value: New reference.

유니코드 객체를 안드로이드와 VxWorks에서 UTF-8로 인코딩하거나, 다른 플랫폼에서 현재 로케일 인코딩으로 인코딩합니다. 지원되는 에러 처리기는 "strict"와 "surrogateescape"(PEP 383)입니다. 인코더는 errors가 NULL이면 "strict" 에러 처리기를 사용합니다. bytes 객체를 반환합니다. unicode는 내장된 널 문자를 포함할 수 없습니다.

문자열을 Py_FileSystemDefaultEncoding(파이썬 시작 시 읽은 로케일 인코딩)으로 인코딩하려면 PyUnicode_EncodeFSDefault()를 사용하십시오.

이 함수는 파이썬 UTF-8 모드를 무시합니다.

Py_EncodeLocale() 함수.

버전 3.3에 추가.

버전 3.7에서 변경: 이 함수는 이제 안드로이드를 제외하고 surrogateescape 에러 처리기에 현재 로케일 인코딩도 사용합니다. 이전에는 Py_EncodeLocale()이 surrogateescape에 사용되었고, 현재 로케일 인코딩은 strict에 사용되었습니다.

파일 시스템 인코딩¶

파일 이름과 기타 환경 문자열을 인코딩하고 디코딩하려면, Py_FileSystemDefaultEncoding 을 인코딩으로 사용하고, Py_FileSystemDefaultEncodeErrors를 에러 처리기로 사용해야 합니다 (PEP 383과 PEP 529). 인자 구문 분석 중에 파일 이름을 bytes로 인코딩하려면, "O&" 변환기를 사용하고 PyUnicode_FSConverter()를 변환 함수로 전달해야 합니다:

int PyUnicode_FSConverter(PyObject* obj, void* result)¶: ParseTuple 변환기: (직접 또는 os.PathLike 인터페이스를 통해 얻은) str 객체를 PyUnicode_EncodeFSDefault()를 사용하여 bytes로 인코딩합니다; bytes 객체는 있는 그대로의 출력입니다. result는 더는 사용되지 않을 때 해제해야 하는 PyBytesObject*여야 합니다.

버전 3.1에 추가.

버전 3.6에서 변경: 경로류 객체를 받아들입니다.

인자 구문 분석 중에 파일 이름을 str로 디코딩하려면, "O&" 변환기를 사용하고 PyUnicode_FSDecoder()를 변환 함수로 전달해야 합니다:

int PyUnicode_FSDecoder(PyObject* obj, void* result)¶: ParseTuple 변환기: (직접 또는 os.PathLike 인터페이스를 통해 간접적으로 얻은) bytes 객체를 PyUnicode_DecodeFSDefaultAndSize()를 사용하여 str로 디코딩합니다; str 객체는 있는 그대로의 출력입니다. result는 더는 사용되지 않을 때 해제해야 하는 PyUnicodeObject*여야 합니다.

버전 3.2에 추가.

버전 3.6에서 변경: 경로류 객체를 받아들입니다.

PyObject* PyUnicode_DecodeFSDefaultAndSize(const char *s, Py_ssize_t size)¶

Return value: New reference.

Py_FileSystemDefaultEncoding 과 Py_FileSystemDefaultEncodeErrors 에러 처리기를 사용하여 문자열을 디코딩합니다.

Py_FileSystemDefaultEncoding 이 설정되지 않으면, 로케일 인코딩으로 폴백합니다.

Py_FileSystemDefaultEncoding 은 시작 시 로케일 인코딩에서 초기화되며 나중에 수정할 수 없습니다. 현재 로케일 인코딩에서 문자열을 디코딩해야 하면, PyUnicode_DecodeLocaleAndSize()를 사용하십시오.

Py_DecodeLocale() 함수.

버전 3.6에서 변경: Py_FileSystemDefaultEncodeErrors 에러 처리기를 사용합니다.

PyObject* PyUnicode_DecodeFSDefault(const char *s)¶

Return value: New reference.

Py_FileSystemDefaultEncoding 과 Py_FileSystemDefaultEncodeErrors 에러 처리기를 사용하여 널 종료 문자열을 디코딩합니다.

Py_FileSystemDefaultEncoding 이 설정되지 않으면, 로케일 인코딩으로 폴백합니다.

문자열 길이를 알고 있으면 PyUnicode_DecodeFSDefaultAndSize()를 사용하십시오.

버전 3.6에서 변경: Py_FileSystemDefaultEncodeErrors 에러 처리기를 사용합니다.

PyObject* PyUnicode_EncodeFSDefault(PyObject *unicode)¶

Return value: New reference.

Py_FileSystemDefaultEncodeErrors 에러 처리기를 사용하여 유니코드 객체를 Py_FileSystemDefaultEncoding로 인코딩하고, bytes를 반환합니다. 결과 bytes 객체에는 널 바이트가 포함될 수 있음에 유의하십시오.

Py_FileSystemDefaultEncoding 이 설정되지 않으면, 로케일 인코딩으로 폴백합니다.

Py_FileSystemDefaultEncoding 은 시작 시 로케일 인코딩에서 초기화되며 나중에 수정할 수 없습니다. 현재 로케일 인코딩으로 문자열을 인코딩해야 하면, PyUnicode_EncodeLocale()을 사용하십시오.

Py_EncodeLocale() 함수.

버전 3.2에 추가.

버전 3.6에서 변경: Py_FileSystemDefaultEncodeErrors 에러 처리기를 사용합니다.

wchar_t 지원¶

지원하는 플랫폼에 대한 wchar_t 지원:

PyObject* PyUnicode_FromWideChar(const wchar_t *w, Py_ssize_t size)¶: Return value: New reference.
주어진 size의 wchar_t 버퍼 w에서 유니코드 객체를 만듭니다. -1을 size로 전달하면 함수가 wcslen을 사용하여 길이를 스스로 계산해야 함을 나타냅니다. 실패하면 NULL을 반환합니다.

Py_ssize_t PyUnicode_AsWideChar(PyObject *unicode, wchar_t *w, Py_ssize_t size)¶: 유니코드 객체 내용을 wchar_t 버퍼 w에 복사합니다. 최대 size wchar_t 문자가 복사됩니다 (후행 널 종료 문자가 제외될 수 있습니다). 복사된 wchar_t 문자 수나 에러가 발생하면 -1을 반환합니다. 결과 wchar_t* 문자열은 널로 종료될 수도 있고 아닐 수도 있음에 유의하십시오. 응용 프로그램에 필요하면 wchar_t* 문자열이 널로 끝나는지 확인하는 것은 호출자의 책임입니다. 또한, wchar_t* 문자열에는 널 문자가 포함될 수 있으며, 이로 인해 대부분의 C 함수와 함께 사용될 때 문자열이 잘리게 됨에 유의하십시오.

wchar_t* PyUnicode_AsWideCharString(PyObject *unicode, Py_ssize_t *size)¶

유니코드 객체를 와이드 문자 문자열로 변환합니다. 출력 문자열은 항상 널 문자로 끝납니다. size가 NULL이 아니면, (후행 널 종료 문자를 제외한) 와이드 문자의 수를 *size에 씁니다. 결과 wchar_t 문자열이 널 문자를 포함할 수 있고, 이로 인해 대부분의 C 함수와 함께 사용될 때 문자열이 잘리게 됨에 유의하십시오. size가 NULL이고 wchar_t* 문자열이 널 문자를 포함하면 ValueError가 발생합니다.

성공 시 PyMem_Alloc()에 의해 할당된 버퍼를 반환합니다 (PyMem_Free()를 사용하여 해제하십시오). 에러 시, NULL을 반환하고 *size는 정의되지 않습니다. 메모리 할당이 실패하면 MemoryError를 발생시킵니다.

버전 3.2에 추가.

버전 3.7에서 변경: size가 NULL이고 wchar_t* 문자열이 널 문자를 포함하면 ValueError를 발생시킵니다.

내장 코덱¶

파이썬은 속도를 위해 C로 작성된 내장 코덱 집합을 제공합니다. 이러한 코덱들은 모두 다음 함수들을 통해 직접 사용할 수 있습니다.

다음 API의 대부분은 두 개의 인자 encoding과 errors를 취하며, 내장 str() 문자열 객체 생성자의 것들과 같은 의미입니다.

Setting encoding to NULL causes the default encoding to be used which is ASCII. The file system calls should use PyUnicode_FSConverter() for encoding file names. This uses the variable Py_FileSystemDefaultEncoding internally. This variable should be treated as read-only: on some systems, it will be a pointer to a static string, on others, it will change at run-time (such as when the application invokes setlocale).

에러 처리는 errors로 설정되는데, 코덱에 대해 정의된 기본 처리를 사용함을 의미하는 NULL로 설정될 수도 있습니다. 모든 내장 코덱에 대한 기본 에러 처리는 “strict” 입니다 (ValueError가 발생합니다).

코덱은 모두 유사한 인터페이스를 사용합니다. 단순성을 위해 다음에 나오는 일반 코덱과의 차이만 설명합니다.

일반 코덱¶

다음은 일반 코덱 API입니다:

PyObject* PyUnicode_Decode(const char *s, Py_ssize_t size, const char *encoding, const char *errors)¶: Return value: New reference.
인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. encoding과 errors는 str() 내장 함수의 같은 이름의 매개 변수와 같은 의미입니다. 사용할 코덱은 파이썬 코덱 레지스트리를 사용하여 조회됩니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_AsEncodedString(PyObject *unicode, const char *encoding, const char *errors)¶: Return value: New reference.
유니코드 객체를 인코딩하고 결과를 파이썬 bytes 객체로 반환합니다. encoding과 errors는 유니코드 encode() 메서드의 같은 이름의 매개 변수와 같은 의미입니다. 사용할 코덱은 파이썬 코덱 레지스트리를 사용하여 조회됩니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_Encode(const Py_UNICODE *s, Py_ssize_t size, const char *encoding, const char *errors)¶: Return value: New reference.
주어진 size의 Py_UNICODE 버퍼 s를 인코딩하고 파이썬 bytes 객체를 반환합니다. encoding과 errors는 유니코드 encode() 메서드의 같은 이름의 매개 변수와 같은 의미입니다. 사용할 코덱은 파이썬 코덱 레지스트리를 사용하여 조회됩니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

UTF-8 코덱¶

다음은 UTF-8 코덱 API입니다:

PyObject* PyUnicode_DecodeUTF8(const char *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
UTF-8로 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_DecodeUTF8Stateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)¶: Return value: New reference.
consumed가 NULL이면, PyUnicode_DecodeUTF8()처럼 동작합니다. consumed가 NULL이 아니면, 후행 불완전한 UTF-8 바이트 시퀀스는 에러로 처리되지 않습니다. 이러한 바이트는 디코딩되지 않으며 디코딩된 바이트 수는 consumed에 저장됩니다.

PyObject* PyUnicode_AsUTF8String(PyObject *unicode)¶: Return value: New reference.
UTF-8을 사용하여 유니코드 객체를 인코딩하고 결과를 파이썬 bytes 객체로 반환합니다. 에러 처리는 “strict” 입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

const char* PyUnicode_AsUTF8AndSize(PyObject *unicode, Py_ssize_t *size)¶

유니코드 객체의 UTF-8 인코딩에 대한 포인터를 반환하고, 인코딩된 표현의 크기를 (바이트 단위로) size에 저장합니다. size 인자는 NULL일 수 있습니다; 이 경우 크기가 저장되지 않습니다. 반환된 버퍼에는 다른 널 코드 포인트가 있는지에 관계없이, 항상 추가 널 바이트가 추가됩니다 (size에 포함되지 않습니다).

에러가 발생하면, NULL이 예외 설정과 함께 반환되고 size가 저장되지 않습니다.

이것은 유니코드 객체에서 문자열의 UTF-8 표현을 캐시하고, 후속 호출은 같은 버퍼에 대한 포인터를 반환합니다. 호출자는 버퍼 할당 해제에 대한 책임이 없습니다.

버전 3.3에 추가.

버전 3.7에서 변경: 반환형은 이제 char *가 아니라 const char *입니다.

const char* PyUnicode_AsUTF8(PyObject *unicode)¶: PyUnicode_AsUTF8AndSize()와 같지만, 크기를 저장하지 않습니다.

버전 3.3에 추가.

버전 3.7에서 변경: 반환형은 이제 char *가 아니라 const char *입니다.

PyObject* PyUnicode_EncodeUTF8(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
UTF-8을 사용하여 주어진 size의 Py_UNICODE 버퍼 s를 인코딩하고 파이썬 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsUTF8String(), PyUnicode_AsUTF8AndSize() 나 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

UTF-32 코덱¶

다음은 UTF-32 코덱 API입니다:

PyObject* PyUnicode_DecodeUTF32(const char *s, Py_ssize_t size, const char *errors, int *byteorder)¶

Return value: New reference.

UTF-32로 인코딩된 버퍼 문자열에서 size 바이트를 디코딩하고 해당 유니코드 객체를 반환합니다. errors(NULL이 아니면)는 에러 처리를 정의합니다. 기본값은 “strict”입니다.

byteorder가 NULL이 아니면, 디코더는 지정된 바이트 순서를 사용하여 디코딩을 시작합니다:

*byteorder == -1: little endian
*byteorder == 0:  native order
*byteorder == 1:  big endian

*byteorder가 0이고, 입력 데이터의 처음 4바이트가 바이트 순서 표시(BOM)이면, 디코더가 이 바이트 순서로 전환되고 BOM은 결과 유니코드 문자열에 복사되지 않습니다. *byteorder가 -1이나 1이면, 모든 바이트 순서 표시가 출력에 복사됩니다.

완료 후, *byteorder는 입력 데이터의 끝에서 현재 바이트 순서로 설정됩니다.

byteorder가 NULL이면, 코덱은 네이티브 순서 모드로 시작합니다.

코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_DecodeUTF32Stateful(const char *s, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)¶: Return value: New reference.
consumed가 NULL이면, PyUnicode_DecodeUTF32()처럼 동작합니다. consumed가 NULL이 아니면, PyUnicode_DecodeUTF32Stateful() 은 후행 불완전 UTF-32 바이트 시퀀스(가령 4로 나누어떨어지지 않는 바이트 수)를 에러로 처리하지 않습니다. 이러한 바이트는 디코딩되지 않으며 디코딩된 바이트 수는 consumed에 저장됩니다.

PyObject* PyUnicode_AsUTF32String(PyObject *unicode)¶: Return value: New reference.
네이티브 바이트 순서로 UTF-32 인코딩을 사용하여 파이썬 바이트 문자열을 반환합니다. 문자열은 항상 BOM 마크로 시작합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_EncodeUTF32(const Py_UNICODE *s, Py_ssize_t size, const char *errors, int byteorder)¶

Return value: New reference.

s에 있는 유니코드 데이터의 UTF-32로 인코딩된 값을 포함하는 파이썬 bytes 객체를 반환합니다. 출력은 다음 바이트 순서에 따라 기록됩니다:

byteorder == -1: little endian
byteorder == 0:  native byte order (writes a BOM mark)
byteorder == 1:  big endian

byteorder가 0이면, 출력 문자열은 항상 유니코드 BOM 마크(U+FEFF)로 시작합니다. 다른 두 모드에서는, BOM 마크가 앞에 추가되지 않습니다.

Py_UNICODE_WIDE가 정의되지 않으면, 서로게이트 쌍이 단일 코드 포인트로 출력됩니다.

코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다. PyUnicode_AsUTF32String() 이나 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

UTF-16 코덱¶

다음은 UTF-16 코덱 API입니다:

PyObject* PyUnicode_DecodeUTF16(const char *s, Py_ssize_t size, const char *errors, int *byteorder)¶

Return value: New reference.

UTF-16으로 인코딩된 버퍼 문자열에서 size 바이트를 디코딩하고 해당 유니코드 객체를 반환합니다. errors(NULL이 아니면)는 에러 처리를 정의합니다. 기본값은 “strict”입니다.

byteorder가 NULL이 아니면, 디코더는 지정된 바이트 순서를 사용하여 디코딩을 시작합니다:

*byteorder == -1: little endian
*byteorder == 0:  native order
*byteorder == 1:  big endian

*byteorder가 0이고, 입력 데이터의 처음 2바이트가 바이트 순서 표시(BOM)이면, 디코더는 이 바이트 순서로 전환되고 BOM은 결과 유니코드 문자열에 복사되지 않습니다. *byteorder가 -1이나 1이면 모든 바이트 순서 표시가 출력에 복사됩니다 (\ufeff나 \ufffe 문자가 됩니다).

완료 후, *byteorder는 입력 데이터의 끝에서 현재 바이트 순서로 설정됩니다.

byteorder가 NULL이면, 코덱은 네이티브 순서 모드로 시작합니다.

코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_DecodeUTF16Stateful(const char *s, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)¶: Return value: New reference.
consumed가 NULL이면, PyUnicode_DecodeUTF16()처럼 동작합니다. consumed가 NULL이 아니면, PyUnicode_DecodeUTF16Stateful() 은 후행 불완전 UTF-16 바이트 시퀀스(가령 홀수 바이트 수나 분할 서로게이트 쌍)를 에러로 처리하지 않습니다. 이러한 바이트는 디코딩되지 않으며 디코딩된 바이트 수는 consumed에 저장됩니다.

PyObject* PyUnicode_AsUTF16String(PyObject *unicode)¶: Return value: New reference.
네이티브 바이트 순서로 UTF-16 인코딩을 사용하여 파이썬 바이트 문자열을 반환합니다. 문자열은 항상 BOM 마크로 시작합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_EncodeUTF16(const Py_UNICODE *s, Py_ssize_t size, const char *errors, int byteorder)¶

Return value: New reference.

s에 있는 유니코드 데이터의 UTF-16 인코딩된 값을 포함하는 파이썬 bytes 객체를 반환합니다. 출력은 다음 바이트 순서에 따라 기록됩니다:

byteorder == -1: little endian
byteorder == 0:  native byte order (writes a BOM mark)
byteorder == 1:  big endian

byteorder가 0이면, 출력 문자열은 항상 유니코드 BOM 마크(U+FEFF)로 시작합니다. 다른 두 모드에서는, BOM 마크가 앞에 추가되지 않습니다.

Py_UNICODE_WIDE가 정의되면, 단일 Py_UNICODE 값이 서로게이트 쌍으로 표시될 수 있습니다. 정의되지 않으면, 각 Py_UNICODE 값은 UCS-2 문자로 해석됩니다.

코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsUTF16String() 이나 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

UTF-7 코덱¶

다음은 UTF-7 코덱 API입니다:

PyObject* PyUnicode_DecodeUTF7(const char *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
UTF-7로 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_DecodeUTF7Stateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)¶: Return value: New reference.
consumed가 NULL이면, PyUnicode_DecodeUTF7()처럼 동작합니다. consumed가 NULL이 아니면, 후행 불완전한 UTF-7 base-64 섹션은 에러로 처리되지 않습니다. 이러한 바이트는 디코딩되지 않으며 디코딩된 바이트 수는 consumed에 저장됩니다.

PyObject* PyUnicode_EncodeUTF7(const Py_UNICODE *s, Py_ssize_t size, int base64SetO, int base64WhiteSpace, const char *errors)¶

Return value: New reference.

UTF-7을 사용하여 주어진 크기의 Py_UNICODE 버퍼를 인코딩하고 파이썬 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

base64SetO 가 0이 아니면, “Set O”(다른 특별한 의미가 없는 구두점)는 base-64로 인코딩됩니다. base64WhiteSpace 가 0이 아니면, 공백은 base-64로 인코딩됩니다. 파이썬 “utf-7” 코덱의 경우 둘 다 0으로 설정됩니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

유니코드 이스케이프 코덱¶

다음은 “유니코드 이스케이프(Unicode Escape)” 코덱 API입니다:

PyObject* PyUnicode_DecodeUnicodeEscape(const char *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
유니코드 이스케이프 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_AsUnicodeEscapeString(PyObject *unicode)¶: Return value: New reference.
유니코드 이스케이프를 사용하여 유니코드 객체를 인코딩하고 결과를 bytes 객체로 반환합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_EncodeUnicodeEscape(const Py_UNICODE *s, Py_ssize_t size)¶: Return value: New reference.
유니코드 이스케이프를 사용하여 주어진 size의 Py_UNICODE 버퍼를 인코딩하고 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsUnicodeEscapeString() 을 사용하여 마이그레이션 하십시오.

원시 유니코드 이스케이프 코덱¶

다음은 “원시 유니코드 이스케이프(Raw Unicode Escape)” 코덱 API입니다:

PyObject* PyUnicode_DecodeRawUnicodeEscape(const char *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
원시 유니코드 이스케이프 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_AsRawUnicodeEscapeString(PyObject *unicode)¶: Return value: New reference.
원시 유니코드 이스케이프를 사용하여 유니코드 객체를 인코딩하고 결과를 bytes 객체로 반환합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_EncodeRawUnicodeEscape(const Py_UNICODE *s, Py_ssize_t size)¶: Return value: New reference.
원시 유니코드 이스케이프를 사용하여 주어진 size의 Py_UNICODE 버퍼를 인코딩하고 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsRawUnicodeEscapeString() 이나 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

Latin-1 코덱¶

다음은 Latin-1 코덱 API입니다: Latin-1은 처음 256개의 유니코드 서수에 해당하며 인코딩 중에 코덱에서 이들만 허용됩니다.

PyObject* PyUnicode_DecodeLatin1(const char *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
Latin-1 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_AsLatin1String(PyObject *unicode)¶: Return value: New reference.
Latin-1을 사용하여 유니코드 객체를 인코딩하고 결과를 파이썬 bytes 객체로 반환합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_EncodeLatin1(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
Latin-1을 사용하여 주어진 size의 Py_UNICODE 버퍼를 인코딩하고 파이썬 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsLatin1String() 이나 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

ASCII 코덱¶

다음은 ASCII 코덱 API입니다. 7비트 ASCII 데이터만 허용됩니다. 다른 모든 코드는 에러를 생성합니다.

PyObject* PyUnicode_DecodeASCII(const char *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
ASCII 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_AsASCIIString(PyObject *unicode)¶: Return value: New reference.
ASCII를 사용하여 유니코드 객체를 인코딩하고 결과를 파이썬 bytes 객체로 반환합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_EncodeASCII(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
ASCII를 사용하여 주어진 size의 Py_UNICODE 버퍼를 인코딩하고 파이썬 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsASCIIString() 이나 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

문자 맵 코덱¶

이 코덱은 다양한 코덱을 구현하는 데 사용할 수 있다는 점에서 특별합니다 (실제로 encodings 패키지에 포함된 대부분의 표준 코덱을 얻기 위해 수행되었습니다). 코덱은 매핑을 사용하여 문자를 인코딩하고 디코딩합니다. 제공된 매핑 객체는 __getitem__() 매핑 인터페이스를 지원해야 합니다; 딕셔너리와 시퀀스가 잘 작동합니다.

다음은 매핑 코덱 API입니다:

PyObject* PyUnicode_DecodeCharmap(const char *data, Py_ssize_t size, PyObject *mapping, const char *errors)¶

Return value: New reference.

주어진 mapping 객체를 사용하여 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

mapping이 NULL이면, Latin-1 디코딩이 적용됩니다. 그렇지 않으면 mapping은 바이트 서수(0에서 255 사이의 정수)를 유니코드 문자열, 정수(유니코드 서수로 해석됩니다) 또는 None으로 매핑해야합니다. 매핑되지 않은 데이터 바이트(None, 0xFFFE 또는 '\ufffe'로 매핑되는 것뿐만 아니라, LookupError를 유발하는 것)은 정의되지 않은 매핑으로 처리되어 에러를 발생시킵니다.

PyObject* PyUnicode_AsCharmapString(PyObject *unicode, PyObject *mapping)¶

Return value: New reference.

주어진 mapping 객체를 사용하여 유니코드 객체를 인코딩하고 결과를 bytes 객체로 반환합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

mapping 객체는 유니코드 서수 정수를 bytes 객체, 0에서 255 사이의 정수 또는 None으로 매핑해야 합니다. None에 매핑되는 것뿐만 아니라 매핑되지 않은 문자 서수(LookupError를 유발하는 것)는 “정의되지 않은 매핑”으로 처리되어 에러가 발생합니다.

PyObject* PyUnicode_EncodeCharmap(const Py_UNICODE *s, Py_ssize_t size, PyObject *mapping, const char *errors)¶: Return value: New reference.
주어진 mapping 객체를 사용하여 주어진 size의 Py_UNICODE 버퍼를 인코딩하고 그 결과를 bytes 객체로 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsCharmapString() 이나 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

다음 코덱 API는 유니코드를 유니코드로 매핑한다는 점에서 특별합니다.

PyObject* PyUnicode_Translate(PyObject *str, PyObject *table, const char *errors)¶

Return value: New reference.

문자 매핑 테이블을 적용하여 문자열을 변환하고 결과 유니코드 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

매핑 테이블은 유니코드 서수 정수를 유니코드 서수 정수나 None(문자가 삭제되도록 합니다)에 매핑해야 합니다.

매핑 테이블은 __getitem__() 인터페이스 만 제공하면 됩니다; 딕셔너리와 시퀀스가 잘 작동합니다. 매핑되지 않은 문자 서수(LookupError를 유발하는 것)는 건드리지 않고 그대로 복사됩니다.

errors는 코덱에서의 일반적인 의미입니다. 기본 에러 처리를 사용함을 나타내는 NULL일 수 있습니다.

PyObject* PyUnicode_TranslateCharmap(const Py_UNICODE *s, Py_ssize_t size, PyObject *mapping, const char *errors)¶: Return value: New reference.
문자 mapping 테이블을 적용하여 주어진 size의 Py_UNICODE 버퍼를 변환하고 결과 유니코드 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 3.11: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_Translate()나 일반 코덱 기반 API를 사용하여 마이그레이션 하십시오.

윈도우 용 MBCS 코덱¶

다음은 MBCS 코덱 API입니다. 현재 윈도우에서만 사용할 수 있으며 Win32 MBCS 변환기를 사용하여 변환을 구현합니다. MBCS(또는 DBCS)는 단지 하나가 아니라 인코딩 클래스임에 유의하십시오. 대상 인코딩은 코덱을 실행하는 기계의 사용자 설정에 의해 정의됩니다.

PyObject* PyUnicode_DecodeMBCS(const char *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
MBCS 인코딩된 문자열 s의 size 바이트를 디코딩하여 유니코드 객체를 만듭니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_DecodeMBCSStateful(const char *s, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)¶: Return value: New reference.
consumed가 NULL이면, PyUnicode_DecodeMBCS()처럼 동작합니다. consumed가 NULL이 아니면, PyUnicode_DecodeMBCSStateful() 은 후행 선행(lead) 바이트를 디코딩하지 않고 디코딩된 바이트 수가 consumed에 저장됩니다.

PyObject* PyUnicode_AsMBCSString(PyObject *unicode)¶: Return value: New reference.
MBCS를 사용하여 유니코드 객체를 인코딩하고 결과를 파이썬 bytes 객체로 반환합니다. 에러 처리는 “strict”입니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

PyObject* PyUnicode_EncodeCodePage(int code_page, PyObject *unicode, const char *errors)¶: Return value: New reference.
지정된 코드 페이지를 사용하여 유니코드 객체를 인코딩하고 파이썬 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다. CP_ACP 코드 페이지를 사용하여 MBCS 인코더를 얻습니다.

버전 3.3에 추가.

PyObject* PyUnicode_EncodeMBCS(const Py_UNICODE *s, Py_ssize_t size, const char *errors)¶: Return value: New reference.
MBCS를 사용하여 주어진 size의 Py_UNICODE 버퍼를 인코딩하고 파이썬 bytes 객체를 반환합니다. 코덱에서 예외가 발생하면 NULL을 반환합니다.

Deprecated since version 3.3, will be removed in version 4.0: 이전 스타일 Py_UNICODE API의 일부입니다; PyUnicode_AsMBCSString(), PyUnicode_EncodeCodePage() 또는 PyUnicode_AsEncodedString() 을 사용하여 마이그레이션 하십시오.

메서드와 슬롯¶

메서드와 슬롯 함수¶

다음 API는 입력의 유니코드 객체와 문자열을 (설명에서 문자열이라고 하겠습니다) 처리할 수 있으며 적절하게 유니코드 객체나 정수를 반환합니다.

예외가 발생하면 모두 NULL이나 -1을 반환합니다.

PyObject* PyUnicode_Concat(PyObject *left, PyObject *right)¶: Return value: New reference.
두 문자열을 이어붙여 하나의 새로운 유니코드 문자열을 제공합니다.

PyObject* PyUnicode_Split(PyObject *s, PyObject *sep, Py_ssize_t maxsplit)¶: Return value: New reference.
문자열을 분할하여 유니코드 문자열 리스트를 제공합니다. sep이 NULL이면, 모든 공백 부분 문자열에서 분할이 수행됩니다. 그렇지 않으면, 주어진 구분자에서 분할이 일어납니다. 최대 maxsplit 분할이 수행됩니다. 음수이면, 제한이 설정되지 않습니다. 구분자는 결과 리스트에 포함되지 않습니다.

PyObject* PyUnicode_Splitlines(PyObject *s, int keepend)¶: Return value: New reference.
줄 바꿈에서 유니코드 문자열을 분할하여, 유니코드 문자열 리스트를 반환합니다. CRLF는 하나의 줄 바꿈으로 간주합니다. keepend가 0이면, 결과 문자열에 줄 바꿈 문자가 포함되지 않습니다.

PyObject* PyUnicode_Join(PyObject *separator, PyObject *seq)¶: Return value: New reference.
주어진 separator를 사용하여 문자열 시퀀스를 연결하고 결과 유니코드 문자열을 반환합니다.

Py_ssize_t PyUnicode_Tailmatch(PyObject *str, PyObject *substr, Py_ssize_t start, Py_ssize_t end, int direction)¶: substr이 주어진 꼬리 끝에서 (direction == -1은 접두사 일치를 수행함을 의미하고, direction == 1은 접미사 일치를 의미합니다) str[start:end]와 일치하면 1을 반환합니다, 그렇지 않으면 0을 반환합니다. 에러가 발생하면 -1을 반환합니다.

Py_ssize_t PyUnicode_Find(PyObject *str, PyObject *substr, Py_ssize_t start, Py_ssize_t end, int direction)¶: 주어진 direction을 사용하여 (direction == 1은 정방향 검색을 의미하고, direction == -1은 역방향 검색을 의미합니다) str[start:end]에서 substr의 첫 번째 위치를 반환합니다. 반환 값은 첫 번째 일치의 인덱스입니다; -1 값은 일치하는 항목이 없음을 나타내고, -2는 에러가 발생했고 예외가 설정되었음을 나타냅니다.

Py_ssize_t PyUnicode_FindChar(PyObject *str, Py_UCS4 ch, Py_ssize_t start, Py_ssize_t end, int direction)¶: 주어진 direction을 사용하여 (direction == 1은 정방향 검색을 의미하고, direction == -1은 역방향 검색을 의미합니다) str[start:end]에서 문자 ch의 첫 번째 위치를 반환합니다. 반환 값은 첫 번째 일치의 인덱스입니다; -1 값은 일치하는 항목이 없음을 나타내고, -2는 에러가 발생했고 예외가 설정되었음을 나타냅니다.

버전 3.3에 추가.

버전 3.7에서 변경: start와 end는 이제 str[start:end]처럼 작동하도록 조정됩니다.

Py_ssize_t PyUnicode_Count(PyObject *str, PyObject *substr, Py_ssize_t start, Py_ssize_t end)¶: str[start:end]에서 substr이 겹치지 않게 등장하는 횟수를 반환합니다. 에러가 발생하면 -1을 반환합니다.

PyObject* PyUnicode_Replace(PyObject *str, PyObject *substr, PyObject *replstr, Py_ssize_t maxcount)¶: Return value: New reference.
str에서 substr의 최대 maxcount 등장을 replstr로 바꾸고 결과 유니코드 객체를 반환합니다. maxcount == -1은 모든 등장을 교체함을 의미합니다.

int PyUnicode_Compare(PyObject *left, PyObject *right)¶

두 문자열을 비교하고 각각 작음, 같음, 큼에 대해 -1, 0, 1을 반환합니다.

이 함수는 실패 시 -1을 반환하므로, 에러를 확인하기 위해 PyErr_Occurred()를 호출해야 합니다.

int PyUnicode_CompareWithASCIIString(PyObject *uni, const char *string)¶

유니코드 객체 uni를 string과 비교하고 각각 작음, 같음, 큼에 대해 -1, 0, 1을 반환합니다. ASCII로 인코딩된 문자열만 전달하는 것이 가장 좋지만, 비 ASCII 문자가 포함되면 함수는 입력 문자열을 ISO-8859-1로 해석합니다.

이 함수는 예외를 발생시키지 않습니다.

PyObject* PyUnicode_RichCompare(PyObject *left, PyObject *right, int op)¶

Return value: New reference.

두 유니코드 문자열을 풍부한 비교(rich comparison) 하고 다음 중 하나를 반환합니다:

예외가 발생하면 NULL
성공적인 비교는 Py_True나 Py_False
형 조합을 알 수 없으면 Py_NotImplemented

op에 가능한 값은 Py_GT, Py_GE, Py_EQ, Py_NE, Py_LT 및 Py_LE입니다.

PyObject* PyUnicode_Format(PyObject *format, PyObject *args)¶: Return value: New reference.
format과 args에서 새 문자열 객체를 반환합니다; 이것은 format % args와 유사합니다.

int PyUnicode_Contains(PyObject *container, PyObject *element)¶

element가 container에 포함되어 있는지 확인하고 그에 따라 참이나 거짓을 반환합니다.

element는 단일 요소 유니코드 문자열로 강제 변환해야 합니다. 에러가 있으면 -1이 반환됩니다.

void PyUnicode_InternInPlace(PyObject **string)¶: 인자 *string을 제자리에서 인턴(intern) 합니다. 인자는 파이썬 유니코드 문자열을 가리키는 포인터 변수의 주소여야 합니다. *string과 같은 기존 인턴 문자열이 있으면, *string을 그것으로 설정합니다 (이전 문자열 객체의 참조 횟수를 감소시키고 인턴 된 문자열 객체의 참조 횟수를 증가시킵니다), 그렇지 않으면 *string만 홀로 두고 인턴 합니다 (참조 횟수를 증가시킵니다). (설명: 참조 횟수에 대해 많은 이야기가 있지만, 이 함수를 참조 횟수 중립이라고 생각하십시오; 호출 전에 소유한 경우에만 호출 후 객체를 소유합니다.)

PyObject* PyUnicode_InternFromString(const char *v)¶: Return value: New reference.
PyUnicode_FromString()과 PyUnicode_InternInPlace()의 조합, 인턴(intern) 된 새 유니코드 문자열 객체나, 같은 값을 가진 이전에 인턴 된 문자열 객체에 대한 새 (“소유된”) 참조를 반환합니다.

유니코드 객체와 코덱¶