[딥러닝] 단층 퍼셉트론의 한계(XOR 게이트)와 비선형함수의 등장

단층 퍼셉트론

인공신경망의 가장 기초적인 형태 로젠트 블랑크 아저씨의 의해서 처음 제기됨

은닉층 없이 입력층과 출력층만 존재하는 가장 간단한 구조의 단층 신경망

출처 : https://lcyking.tistory.com/entry/%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0%EC%9D%98-%EA%B0%9C%EC%9A%94

 

계산식

 

 

\(y = f\left(\sum_{i=1}^{n} w_i x_i + b \right)\)

 

단순하게 입력 값과 가중치를 곱한 값에 편향 값을 구한 값을 최종 출력단계에서 임계치에 도달하면 1 도달하지 못하면 0을 내뱉는(정수) 간단한 신호시스템과도 같은 구조이다.

 

XOR게이트

단층 퍼셉트론은 선형분류만을 가능하게끔 구성되어 있는데, 직선 하나로 데이터가 분류될 수 있는 문제만을 해결할 수 있다.

왜 그런지에 대해서 정리하려고 한다.

 

출처 : https://velog.io/@jhdai_ly/%EB%94%A5%EB%9F%AC%EB%8B%9DDL%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0Perceptron2-%EB%8B%A4%EC%B8%B5-%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0-XOR-%EA%B2%8C%EC%9D%B4%ED%8A%B8-%EA%B5%AC%ED%98%84-NAND-%EC%8B%A0%EA%B2%BD%EB%A7%9D-%EB%8F%84%EC%9E%85

 

 

상기 그림에 보여지는대로 XOR 게이트는 한 개의 선으로는 설명할 수 없는 상황이 벌어지게 되는데, 그걸 해결하고자 은닉층과 비선형 활성화 함수를 사용하여 비선형 문제를 해결할 수 있게한다. 

 

어떻게?

 

 

 

• 은닉층: 데이터 패턴을 다양한 비선형 변환을 통해 다차원 공간으로 복잡하게 비튼다
• 출력층: 비틀어진 다차원 데이터를 선형 결합하여 최종 결과를 도출
• 결론: 데이터를 고차원 공간에서 선형적으로 분리할 수 있는 상태로 변환

 

 

 

 

수식:

 

1. 은닉층에서 비선형 변환 적용 
   • \(h_1 = f(W_1x + b_1)\)
2. 두 번째 은닉층(있을 경우)
   • \(h_2 = f(W_2h_1 + b_2)\)
3. 출력층에서 선형 결합 
   • \(y= g(W_3h_2 + b_3)\)

수식 설명:

• \(f:\) 비선형 활성화 함수 
• \(g:\) 출력층 활성화 함수
• \(W:\) 가중치 행렬
• \(b:\) 편향