앱등개발자IOS

13. 가중치의 초기값 Ø 가중치 초기값에 따라 은닉층 활성화 값들이 바뀌는 것을 관찰함으로써, 가중치 초기값 설정이 학습에 미치는 영향을 분석해본 실험 # 5개 Layer, 각 층은 100개의 노드로 구성, Input data 1000개 정규분포로 생성, # Sigmoid 활성함수 사용, 활성화 값( Sigmoid 출력값 ) 분포를 관찰 1. np.random.randn을 이용하여 표준편차 1인 정규분포 가중치 사용  Sigmoid 출력값 활성화 값들이 0,1에 치우쳐 분포 => 역전파 시 대부분 기울기 값이 0에 가까움 =>기울기 소실 (Vanishing Gradient) 2. 표준편차가 0.01인 정규분포 가중치를 사용 => Sigmoid 출력 값이 0.5 부근에 집중됨 기울기 소실문제는 해결된 ..

ML&DL 2022. 10. 10. 15:18

12. 학습관련 기술들 - Optimizer 우리가 머신러닝 기초에서 배우는 SGD(확률적 경사하강법) 혹은 mini batch를 적용한 SGD는, “비등방성 함수”( 방향에 따라 어떠한 ‘성질’이 달라지는 함수)에서의 탐색이 비효율적이다.  이 경우, 모든 좌표에 대해 기울기는 항상 중앙을 가리킨다. 즉 “기울기가 가리키는 지점”이라는 성질에 대해 “등방성”을 가진다  기울기가 가리키는 지점이 무수히 많다. 이 함수는 “기울기가 가리키는 지점” 이라는 특성에 대하여 비등방성을 가지는 함수이다. 이러한 비등방성 함수에서는 SGD Optimizer로 효율적인 탐색을 할 수 없다. 실세계의 문제들은 “비등방성”함수에서 탐색을 해야하는 경우가 대부분일 것이다. 따라서 SGD보다 더 영리한 방법들이 제시되었..

ML&DL 2022. 10. 9. 23:26

1. 퍼셉트론이란 다수의 신호를 입력으로 받아 “하나의 신호”를 출력하는 연산의 단위 ( 가중치, 편향값 ) - 퍼셉트론의 한계 XOR과 같은 비선형 문제를 해결할 수 없다. => AND, NAND, OR를 사용하여 층을 쌓아 (MLP) XOR을 구현할 수 있다. # 정리: 단일 Perceptron으로 AND, NAND, OR, NOR과 같은 “선형”적인 문제만 해결 가능 => Multi-Layer Perceptron으로 “비선형”적인 문제 (XOR)를 해결 # 층을 쌓는다는 것은 더욱 복잡한 문제를 해결한다는 점이다 ( Deep Learning과 같은 이치) 2. 신경망 퍼셉트론 : 매개변수, 편향값으로 뉴런이 얼마나 쉽게 활성화되는지 제어. 생명체 내에서 각 “뉴런”에 대응 -> when( w1x1 ..

ML&DL 2022. 10. 9. 22:29

ML&DL 2022. 10. 6. 11:45

d

ML&DL 2022. 10. 6. 10:29

# Sigmoid 함수 : - 1. Softmax 함수는 실수 전체를 정의역으로 가지며, 값은 0~1까지의 범위를 가진다. => 반환값을 확률로 볼 수 있다. - 2. 실수 전체 범위에서 미분가능 - 3. 0에서 1로 바뀌는 부분 ( x=0)의 기울기가 가파르다는 장점 - 3. 인공 뉴런의 활성화 함수로 사용되어왔다. 이에서 파생된 tanh/arctan과 같은 함수가 여러가지 있다. - 4. 딥러닝에서는 노드 임계값을 넘을 때만 출력하는 활성함수로 이용. - 5. 미분 결과가 간결하고, 사용하기 쉽지만, 마이너스 값을 0에 가깝게 표현하기에 vanishing gradient문제의 원인이 됨 # Sigmoid의 vanishing gradient : - 왜 Sigmoid함수가 기울기 손실(Vanishing ..

ML&DL 2022. 10. 3. 21:20

# Softmax (Normalized Exponential - 모든 값이 0~1사이 값이 되므로)함수 : Softmax 함수는 "출력층"에서 사용되는 함수이다. 모든 입력신호로부터 영향을 받는다. 이는 "확률적 해석"을 가능하게 하려는 설계 목적 때문. K: 클래스 수 , Zj는 Softmax 함수의 입력값 # 지수함수 사용으로 얻는 점 : - 1. 큰 값은 더 크게, 작은 값은 더 작게 - 2. 미분 가능해짐 # Layer 은닉층에서 사용할 수 는 없는가? : - 1. 없다. 애초에 출력층에서 사용하기 위해 설계된 함수이며, 중간층에서 사용할 경우, 정보 손실이 일어난다. # Softmax함수 주의점 : - 1. 지수함수이므로 OVerflow 문제가 발생할 수 있다. - 2. 아래와 같이 분모, 분자..

ML&DL 2022. 9. 25. 14:39