FORENSICS 시작하기 - 기초 개념 02 :: 인코딩이란? ASCII, Hex, URL, Base 64, 유니코드

0. 인코딩이란?

 

character encoding

 

: 문자들의 집합을 부호화하는 방법. 즉, 컴퓨터가 이용할 수 있는 신호로 만드는 것을 말한다.

 

정보의 형태를 변화시킴으로써 처리 속도 향상, 저장 공간 절약와 형식의 표준화를 목표로 한다.

 

예를 들어, 'A' 라는 글자가 들어오면 컴퓨터는 저장할 때 (일종의 기준에 의해) '65' 라고 저장하고 인식하도록 만드는 것이다. (A 를 보고 65 로 저장하는 것이 인코딩, 저장된 65를 A 라고 출력하는 것이 디코딩이다.) (쉽게 말해 '65'지만, 엄밀히 말하면 65를 0,1 로 저장하는 방식이다)

 

인코딩/디코딩에 다양한 기준이 존재하는데, 그 기준을 문자열 세트 또는 문자셋이라고 하고, 대표적으로 ASCII, 유니코드 등이 있다.

 

 

1. ASCII 의 원리 및 사용 분야

 

ASCII (American Standard Code for Information Interchange) 는 최코의 문자 코드로서,

라틴 문자, 숫자, 그리고 몇몇 특수 문자를 128개(2^7)의 코드값에 1:1 대응시키는 방법이다.

(0x00 부터 0x7F 까지)

 

ASCII 에는 제어 문자(33개)가 포함되어 있어서, 이들을 제외하면 사실 화면에 출력되는 문자는 128 개보다 적다(95개).

(제어 문자들은 역사적인 이유로 남아 있으면 지금은 거의 사용하지 않음)

 

아스키 7 bit + 패리티 비트(parity bit) = 8 bit 로 사용하였는데, 패리티 비트와 관련한 취약점 때문에 곧 쓰이지 않게 되었다.

나중에 컴퓨터가 8 bit = 1 byte 를 사용하게 되면서 기존 7 bit 를 유지하는 방식과 앞에 0 을 붙여서 8 bit 로 인코딩하는 방식이 생겨났다. (-> 표준화 필요성..)

 

이름에서 알 수 있듯이 기본적으로 정보 교환과 에러 검출을 위하 규격이었지만 라틴 문자를 사용하지 않은 지역에서는 사용할 수 없었다.

그래도 영문 알파벳을 사용하는 대표적인 문자 인코딩 방식이라 컴퓨터와 통신 장비를 비롯한 문자를 사용하는 많은 장치에서 사용되고 있으며, 대부분의 문자 인코딩이 아스키에 기초를 두고 있다.

 

 

ASCII 코드 표

 

2. Hex 의 원리 및 사용 분야

 

Hexadecimal 은 16 을 밑으로 하는 기수법이다. 

0~9 와 A~F 를 사용하고, 대소문자는 구별하지 않는다. (즉, 1 은 1, 10 은 A, 15 은 F)

 

컴퓨터에서 이진수를 대신해 많이 쓰이고 있는데, 16 진수 자릿수 하나가 2^4 을 표한할 수 있기 때문이다.

즉, 자릿수 2개면 2^8로 1 byte 이기 때문!

ex. 1000(2) == 8(16) / 0011(2) == 3(16)

 

아스키 코드와 hex 방식을 이용하여 문자를 인코딩하면 다음과 같다.

e == 65(16) / x == 78(16) / y == 79(16)

(다른 문자들에 대한 hex 표들도 있다.)

 

hex 표현은 특히 색상 코드에 많이 사용된다. : 헥사 코드

헥사 코드는 RGB 방식의 색상 코드 표기법으로, # 뒤에 붙는 여섯 자리의 숫자로 색상을 표현하는 방식이다.

두 자리씩 각각 Red, Green, Blue 의 강도를 256(2^8) 단계에 걸쳐 나타낸 것이며

각 두 자리는 16진수, hex 를 나타낸다. 00 == 0(16), FF == 255(16)

(헥스 코드로 나타낼 수 있는 색상의 수는 총 16^6=16,777,216가지이다.)

 

또 주로 URL 에서 많이 사용함~

 

단점은 공간 효율성 ! bit 안에서 공간 효율성이 50% 정도..... 그래서 하드웨어적으로만 쓰고 별로 안쓰는듯.

base 32 나 base 64 는 63%~75% 인데...

 

 

3. URL 의 원리 및 사용 분야

 

URL (Uniform Resource Locators) 은 웹에서 정해진 자원의 주소이다. (네트워크 상에서 어디 있는지 알려주기 위함)

이론적으로 각각의 유일한 URL 은 유일한 자원을 가리킨다. 

(예외: 더 이상 존재하지 않는 자원 or 옮겨진 자원)

 

 

URL 도 인코딩을 하는데, URL 이 아스키 코드로 이루어져야 하기 때문이다.

그렇지 않게 전송한 경우엔 (브라우저의 특성에 따라) ? & / 공백문자 등의 특수 문자들이 의도치 않게 변형될 수 있기 때문이다. 또한 URL 에서 사용하는 문자들(% # 등 예약 문자. 문법적 의미를 가진다) 과 구분해주기 위해서 관련 특수문자들은 꼭 인코딩을 해야 한다.

 

 

URL 인코딩 방식은 Percent-encoding 방법을 사용한다.

: URL 혹은 URL 의 문자를 표현하는 인코딩 방식. RFC 3986 에 따라 문자들을 16진수 값으로 코딩하는 방식이다.

즉, 아스키코드를 제외한 문자는 % 와 16진수 문자를 조합해 인코딩하는 것이다. (->: 이스케이프(escape) 처리된 URL)

이 때 URL 에 공백 문자는 허용되지 않기 떄문에 주의해야 한다.

 

ex. 대추 world = %EB%8C%80%EC%B6%94%20world (UTF-8)

(일반적으로 공백을 + 혹은 %20 으로 바꾼다)

 

이런식이다..~

저런 퍼센트+숫자들의 조합을 링크 복사해서 전달할 때 많이 보지 않았는가,, 그런 것이다~

 

사용 분야는 말 그대로 URL 에서 사용된다.

 

 

4. Base64 의 원리 및 사용 분야

 

: 8비트 이진 데이터를 문자 코드에 영향을 받지 않는 공통 ASCII 영역의 문자들로만 이루어진 일련의 문자열로 바꾸는 인코딩 방식이다.

 

Base 64, 64 진법이라는 말 그대로 ASCII 문자로 표현할 수 있는 최대의 진법이라 많이 사용한다. (ACSII 의 실사용 문자는 128개보다 작음)

(64 = 2^6 으로, 2의 제곱수들에 기반한 진법들 중에 ASCII 를 표현할 수 있는 가장 큰 진법.)

 

어떤 문자와 기호를 쓰느냐에 따라 여러 변종이 있으나,

보통 처음 62개는 A-Z, a-z, 0-9 를 사용하고 마지막 두 개에 어떤 기호를 쓰느냐의 차이만 있다.

 

 

BASE 64 색인표

 

사용 분야는 전자 메일을 통한 이진 데이터 전송.

즉, 신뢰할 수 없는 통신에서 이진 데이터를 안전하게 전송하기 위해서 사용한다.

 

Base 64 로 인코딩하면 전송해야 할 데이터의 양이 약 33% 정도 늘지만 (6bit 당 2bit의 overhead 발생) , 

ASCII 로 인코딩하여 전달하면 여러 문제가 발생하기 때문에 ASCII 중 일부 문자를 제외한, 64개의 안전한 출력 문자만 사용하는 Base 64 를 이용하는 것이다.

(ASCII 는 7bit 인코딩이라 나머지 1 bit 를 처리하는 방법이 시스템마다 다르고, 일부 제어 문자의 경우에도 시스템 별로 다른 코드 값을 가져서 데이터가 왜곡될 여지가 있기 때문)

 

 

Base 64 인코딩 방법은 다음과 같다.

1) 인코딩할 문자를 ASCII binary 로 바꾼다.

2) 6 bit 씩 자른다.

3) 각 6 bit 에 해당하는 문자를 base 64 색인표에서 찾아서 치환한다.

4) 만일 딱 잘라 끊어지지 않고 빈자리가 생기면 Padding 과정을 거친다.

 

예와 함께 살펴보자.

 

YES 라는 문자열을 Base 64 로 인코딩하는 과정이다. (색인은 위의 색인표를 사용)

 

문자열	Y	E	S
ASCII 값 (binary)	01011001	01000101	01010011

 

6 bit 묶음	010110	010100	010101	010011
10 진수 변환 (편의)	22	20	21	19
base 64	W	U	V	T

 

따라서 변환한 값은 WUVT

 

이 과정에서는 나타나지 않지만, 만일 남은 바이트가 3 byte 미만이라면 버퍼의 남은 부분에 Padding bit (0) 을 추가하여 = 문자로 대신한다.

이는 비트수를 맞춰 원본에 없는 비트가 생기는 것을 방지하기 위함이다.

 

(참고 - ifuwanna.tistory.com/72)

 

 

 

5. 유니코드의 원리 및 사용 분야

 

유니코드(Unicode) 는 전 세계의 모든 문자를 컴퓨터에서 표현할 수 있도록 설계된 산업 표준이며, 유니코드 협회(Unicode Consortium) 가 제정한다.

  --> 쉽게 말하면 국제표준 문자표이다.

 

현존하는 문자 인코딩 방법을 유니코드로 표준화시키려는 목적에 맞게, 다양한 문자 집합들을 통합하는 데 성공하고 있다.

 

(유니코드는 유니코드 변환 형식(Unicode Transformation Format, UTF) 인코딩과 국제 문자 세트(Universal Coded Character Set, UCS) 인코딩의 두 가지 매핑 방식이 있다.)

 

유니코드는 기본적으로 글자와 코드가 1:1 매핑되는 문자 코드, 즉 코드표이다.

(유니코드 영역 - ko.wikipedia.org/wiki/%EC%9C%A0%EB%8B%88%EC%BD%94%EB%93%9C_%EC%98%81%EC%97%AD)

(유니코드 - ko.wikipedia.org/wiki/%EC%9C%A0%EB%8B%88%EC%BD%94%EB%93%9C_0000~0FFF)

 

이렇게 유니코드로 정의된 코드표로 인코딩을 해야 하는데 그 방식에 따라 많은 종류가 있다.

그 중 가장 보편적으로 사용되는 인코딩 방식은 UTF-8 이다.

 

5.1 UTF-8

 

: 유니코드를 위한 가변 길이 문자 인코딩 방식 중 하나로, Unicode Transformation Format - 8 bit 의 약자이다.

(Universal Coded Character Set + Transformation Format - 8 bit)

namu.wiki/w/UTF-8

 

'가변' 이라는 것은, 유니코드에 따라 한 문자를 나타내기 위해 사용하는 메모리가 다르다 (1byte ~ 4byte) 는 것이다.

 

이를 구별하는 방식은 다음과 같다.

먼저 7 bit 이내의 코드 값에는 앞에 0을 붙인다. (아스키 코드에 해당하는 0~127번 문자까지)

2 byte 를 사용한다면 첫 바이트는 110으로 시작하고, 다음 바이트는 앞과 이어진다는 것을 의미하는 10으로 시작한다.

3 byte 를 사용하는 것도 같은 원리로, 첫 바이트는 1110으로 시작하여 나머지 두 바이트는 10 으로 시작한다.

 

코드값 자릿수	범위	첫 번째 byte	두 번째 byte	세 번째 byte	네 번째 byte
~7 bit	0 ~ 0x7F	0xxxxxxx
~ 11 bit	0x80 ~ 0x7FF	110xxxxx	10xxxxxx
~ 16 bit	0x800 ~ 0xFFFF	1110xxxx	10xxxxxx	10xxxxxx
~ 21 bit	0x10000 ~ 0x1FFFFF	11110xxx	10xxxxxx	10xxxxxx	10xxxxxx

(x 의 개수들을 세보면 코드값의 자릿수와 동일함을 알 수 있다.)

(한글 자모는 U+1100..U+11FF 이므로 3 byte 가 필요하다.)

 

(더 자세하게 알고 싶다면 namu.wiki/w/UTF-8 의 인코딩 부분 참고)

 

 

 

 

마지막으로, 변환하고 인코딩하는 유용한 사이트 몇 개를 걸고 끝내겠다.

hex, dec, bin converter : www.rapidtables.com/convert/number/hex-to-binary.html?x=1103

string convrsion : coderstoolbox.net/string/#!encoding=base64&action=encode&charset=utf_8

UTF-8 encoder/decoder : mothereff.in/utf-8