(DeepLearning) 퍼셉트론

요약

• 퍼셉트론(percetron)은 다수의 입력 신호를 받아 하나의 신호를 출력하는 알고리즘으로, 신경망(딥러닝)의 기원
• 입력 신호에 가중치(w)를 곱하고 편향(b)을 더한 값이 임계값을 넘으면 활성화(1), 넘지 않으면 비활성화(0)되는 구조
• 가중치(w)는 신호의 중요도(기울기)를 결정하며, 편향(b)은 뉴런이 얼마나 쉽게 활성화되는지(절편)를 조절
• 단층 퍼셉트론은 AND, NAND, OR 게이트는 구현할 수 있으나, 선형 분리가 불가능한 XOR 게이트는 구현할 수 없음
• 즉, XOR 문제와 같은 비선형 영역을 표현하기 위해 퍼셉트론을 여러 층으로 쌓은 다층 퍼셉트론(MLP)이 도입
• 다층 퍼셉트론은 입력층, 은닉층, 출력층으로 구성되어 단층 구조가 해결하지 못하는 세상의 복잡한 데이터를 표현하고 문제를 해결
• 은닉층을 포함하여 층을 깊게 쌓음으로써 세상의 복잡한 데이터를 표현하는 것이 딥러닝의 핵심 아이디어

---

1. 들어가며

퍼셉트론(perceptron) 알고리즘은 아주 오래된 알고리즘이지만, 신경망(딥러닝)의 기원이 되는 알고리즘이다. 따라서 퍼셉트론의 구조를 배우는 것이 신경망과 딥러닝에 필요한 중요한 아이디어를 배우는 일이다.

---

2. 퍼셉트론 (Perceptron)

2.1 개념

퍼셉트론은 다수의 신호를 입력받아 하나의 신호를 출력하는 알고리즘으로, 신경망의 기본 단위(뉴런)가 된다.

아래는 2개의 입력값(신호)를 받는 퍼셉트론의 예시다. $x_1,x_2$는 입력값(신호)고, $w_1,w_2$는 각 입력값에 해당하는 가중치다. 그림에서 원은 뉴런 또는 노드라고 부른다.

source: 밑바닥부터 시작하는 딥러닝1

이를 풀어서 설명하면, 입력 신호가 노드로 보내질 때 각각의 고유한 가중치를 곱해지며 특정 임곗값($\theta$)를 넘어서면 활성화(1)되고, 그렇지 않으면 비활성화(0)된다.

$$y=\{\begin{array}{l}0(w_1{x}_1+w_2{x}_2\le \theta )\\ 1(w_1{x}_1+w_2{x}_2>\theta )\end{array}$$

2.2 활성화 함수

기존 임곗값($\theta$)을 $-b$로 치환하면 식이 아래와 같이 변한다. 여기서 $b$를 편향(bias)라고 한다.

다시 아래 식을 풀어서 설명하면, 퍼셉트론은 입력 신호($x_i$)에 고유한 가중치($w_i$)를 곱한 값과 편향($b$)를 합한 값이 0을 넘으면 활성화(1) 그렇지 않으면 비활성화(0)이 된다.

$$y=\{\begin{array}{l}0(b+w_1{x}_1+w_2{x}_2\le 0)\\ 1(b+w_1{x}_1+w_2{x}_2>0)\end{array}$$

위 식을 다시 단순히 표현하여 활성화 함수(Activation Function), $h(x)$를 다음과 같이 표현할 수 있다. 즉, 기존의 입력 신호에 개별 가중치를 곱해 합산한 값과 편향을 더한 값을 입력값($x$)로 하는 함수로 만든 것이다. 해당 입력값이 0보다 크면 활성화, 그렇지 않으면 비활성화된다. 모두 똑같은 내용이다.

$$\begin{array}{rl}y& =h(b+w_1{x}_1+w_2{x}_2)\\ & \\ h(x)& =\{\begin{array}{l}0(x\le 0)\\ 1(x>0)\end{array}\end{array}$$

참고

• 특정 임계값을 넘으면 활성화되는 활성화 함수를 계단 함수(Step Function) 라고 한다.
• 향후, 딥러닝에서 사용되는 대표적인 활성화 함수는 Sigmoid, ReLU가 있으며, 이를 이해하기 위해서 기초적인 계단 함수에 대한 이해가 필요하다.

가중치와 편향의 기하학적 의미

퍼셉트론과 활성화 함수를 다루면서, 가중치와 편향이 등장하였다. 이 둘은 의미와 역할이 서로 다르지만 종종 모두 가중치 라고 표현하는 경우도 있다

이처럼 다른 의미지만, 표현이 동일한 경우 헷갈릴 수 있으므로 다시 풀어서 이해해보자.

• 가중치($w$) : 결정 경계(직선)의 기울기(방향) 을 결정하며, 입력 신호의 중요도를 의미한다. 즉, 가중치 매개변수가 클수록 해당 입력 신호가 더 중요
• 편향($b$): 결정 경계의 절편(위치) 를 결정하며, 뉴런이 얼마나 쉽게 활성화되리지를 조절한다. 즉, 편향 매개변수가 클수록 뉴런의 활성화가 더 쉬움

2.3 논리 회로

퍼셉트론을 설명하는데 대표적인 노리 회로 예시는 AND, NAND, OR, XOR 이다. 아래는 2개의 입력값에 따른 논리 회로의 출력 결과(진리표) 예시이다. (참고: TRUE는 $1$, FALSE 는 $0$을 의미)

1. AND: 입력값이 모두 1일 때만 1
2. NAND(Not AND): 입력값이 모두 1이 아닐 떄만 1 (AND와 부호만 바뀌면 NAND)
3. OR: 입력값 중 하나라도 1이면 1
4. XOR(배타적 논리합): 입력값 중 한쪽이 1인 경우에만 1

$x_1$	$x_2$	AND	NAND	OR	XOR
0	0	0	1	0	0
1	0	0	1	1	1
0	1	0	1	1	1
1	1	1	0	1	0

이러한 진리표대로 출력되기 위해 매개변수 $w_1,w_2,\theta$의 값들을 조정한다. 이를 만족하는 매개변수의 조합은 무수히 많다.

매개변수 설정

퍼셉트론의 매개변수 값은 컴퓨터가 아닌 인간이 정한다. 여기서 머신러닝을 통해 매개변수 값을 정하는 것을 컴퓨터가 자동으로 하도록 학습한다.

한계점 (XOR 문제)

현재까지 우리는 입력 신호 2개에 따른 출력 신호 1개인 퍼셉트론을 살펴보았다. 그러나 해당 퍼셉트론 구조(선형) 에서는 위 논리 회로 중 $XOR$을 구현할 수 없다.

해당 퍼셉트론 구조는 선형구조로 XOR을 구현할 수 없다. 그러나 아래 그림과 같이 곡선(비선형)이라면 XOR을 구현할 수 있으며, 이를 위해서는 퍼셉트론을 여러 층으로 쌓은 다층 퍼셉트론(multi-layer perceptron) 을 이용한다.

• AND, NAND, OR: 직선 하나로 0과 1의 영역을 나눌 수 있다. (선형 분리 가능)
• XOR: 직선 하나로는 절대 0과 1의 영역을 나눌 수 없다. (선형 분리 불가능, 비선형 영역 필요)

source: 밑바닥부터 시작하는 딥러닝1

---

3. 다층 퍼셉트론 (Multi-Layer Perceptron, MLP)

3.1 비선형성의 도입

XOR 문제를 해결하기 위해서는 직선이 아닌 곡선, 즉 비선형 영역을 만들어야 한다. 퍼셉트론을 층(Layer)으로 쌓으면 이러한 비선형적인 표현이 가능해진다.

아래와 같이 단층 퍼셉트론에서 구현하지 못한 XOR 논리 회로를 만드는 방법은 다양하지만, 기존 논리회로인 NAND, OR, AND 게이트의 조합을 통해 아래와 같이 만들 수 있다.

즉, 기존의 입력 신호가 NAND, OR 게이트의 입력 값이 되고, 출력된 또 다른 신호($s$)가 AND 게이트에 입력 신호가 된다. 따라서 기존 입력 신호($x$)와 최종 출력 신호($y$)를 보면 XOR 논리회로와 같다는 것을 알 수 있다.

$x_1$	$x_2$	$s_1$ (NAND)	$s_2$ (OR)	y (AND)
0	0	1	0	0
1	0	1	1	1
0	1	1	1	1
1	1	0	1	0

3.2 딥러닝으로의 연결

다층 퍼셉트론은 단층 퍼셉트론이 해결하지 못하는 복잡한 문제를 해결할 수 있다.

다층 퍼셉트론은 아래의 예시 그림 같이 0층(입력층) $\to$ 1층(은닉층) $\to$ 2층(출력층) 의 구조를 가진다. 이는 이론적으로 2층(은닉층 1개) 퍼셉트론이면 컴퓨터를 표현할 수 있고, 층을 더 깊게 쌓으면 세상의 복잡한 데이터를 표현할 수 있다. 이것이 딥러닝(Deep Learning) 의 시초이다.

이와 같이 단층 퍼셉트론으로 표현하지 못하는 것들을 층을 여러 개로 늘려 더 다양한 대상을 표현할 수 있다. 다시 말해 단층 퍼셉트론은 선형 구조만 표현할 수 있는 반면에 다층 퍼셉트론은 비선형 구조도 표현할 수 있다.

source: 밑바닥부터 시작하는 딥러닝1

참고사항

• 현대의 딥러닝은 계단 함수 대신 Sigmoid, ReLU 등의 미분 가능한 활성화 함수를 사용하여, 오차역전파법(Backpropagation)을 통해 가중치를 자동으로 학습

---

참고사이트