앱등개발자IOS

13. 가중치의 초기값 Ø 가중치 초기값에 따라 은닉층 활성화 값들이 바뀌는 것을 관찰함으로써, 가중치 초기값 설정이 학습에 미치는 영향을 분석해본 실험 # 5개 Layer, 각 층은 100개의 노드로 구성, Input data 1000개 정규분포로 생성, # Sigmoid 활성함수 사용, 활성화 값( Sigmoid 출력값 ) 분포를 관찰 1. np.random.randn을 이용하여 표준편차 1인 정규분포 가중치 사용  Sigmoid 출력값 활성화 값들이 0,1에 치우쳐 분포 => 역전파 시 대부분 기울기 값이 0에 가까움 =>기울기 소실 (Vanishing Gradient) 2. 표준편차가 0.01인 정규분포 가중치를 사용 => Sigmoid 출력 값이 0.5 부근에 집중됨 기울기 소실문제는 해결된 ..

ML&DL 2022. 10. 10. 15:18

# CNN은 어떻게 사용하기 시작하였는가?? Fully-Connected Layer (Dense Layer)는 앞선 과제들에서 사용했듯 이미지를 input으로 넣을 때, 2차원 형태의 이미지들을 1차원 (1열)로 vectorize하였다. 이렇게 input을 해주면 어떤 문제가 발생할까? -> 2차원 이미지가 갖고있는 "공간성"이 사라져버린다. CNN은 2차원 input형태를 유지하며 "feature"를 뽑아내고 마지막에 vectorize를 하기 때문에, 이미지가 갖고있는 상,하,좌,우 모든 방향으로의 특징들도 살려서 분석해낼 수 있다. # CNN의 구조 2차원, 혹은 3차원 input 형태를 유지하며 (size는 작아질 수 있음) 특징을 뽑아내는 "Feature layers"와 분류를 담당하는 "Clas..

카테고리 없음 2022. 10. 10. 14:26

12. 학습관련 기술들 - Optimizer 우리가 머신러닝 기초에서 배우는 SGD(확률적 경사하강법) 혹은 mini batch를 적용한 SGD는, “비등방성 함수”( 방향에 따라 어떠한 ‘성질’이 달라지는 함수)에서의 탐색이 비효율적이다.  이 경우, 모든 좌표에 대해 기울기는 항상 중앙을 가리킨다. 즉 “기울기가 가리키는 지점”이라는 성질에 대해 “등방성”을 가진다  기울기가 가리키는 지점이 무수히 많다. 이 함수는 “기울기가 가리키는 지점” 이라는 특성에 대하여 비등방성을 가지는 함수이다. 이러한 비등방성 함수에서는 SGD Optimizer로 효율적인 탐색을 할 수 없다. 실세계의 문제들은 “비등방성”함수에서 탐색을 해야하는 경우가 대부분일 것이다. 따라서 SGD보다 더 영리한 방법들이 제시되었..

ML&DL 2022. 10. 9. 23:26

1. 퍼셉트론이란 다수의 신호를 입력으로 받아 “하나의 신호”를 출력하는 연산의 단위 ( 가중치, 편향값 ) - 퍼셉트론의 한계 XOR과 같은 비선형 문제를 해결할 수 없다. => AND, NAND, OR를 사용하여 층을 쌓아 (MLP) XOR을 구현할 수 있다. # 정리: 단일 Perceptron으로 AND, NAND, OR, NOR과 같은 “선형”적인 문제만 해결 가능 => Multi-Layer Perceptron으로 “비선형”적인 문제 (XOR)를 해결 # 층을 쌓는다는 것은 더욱 복잡한 문제를 해결한다는 점이다 ( Deep Learning과 같은 이치) 2. 신경망 퍼셉트론 : 매개변수, 편향값으로 뉴런이 얼마나 쉽게 활성화되는지 제어. 생명체 내에서 각 “뉴런”에 대응 -> when( w1x1 ..

ML&DL 2022. 10. 9. 22:29

# 데코레이터 패턴 ( => 기존 class코드를 바꾸지 않고 객체에 새로운 임무 추가 가능!) ## 정의 : 한 객체의 상태가 바뀌면 그 객체에 의존하는 다른 객체에게 연락이 가고, 자동으로 내용이 갱신되는 방식으로, "일대다 의존성"을 정의한다. ## 키워드 : One-to-Many ## 목적 : 상태 변화(State change)를 다른 다수의 객체들에게 알리기 위함 ## 디자인 원칙!! : OCP ( Open-Closed Principle ) => Class는 확장에는 열려있고, 변경에는 닫혀있어야 한다. (

Design Pattern with Java & Swift 2022. 10. 7. 00:45

# Swift의 모나드 # 수학의 "범주론"에서부터 시작함 # 프로그래밍에서의 "모나드" 는 "범주론"의 모나드 개념을 차용한 정도의 의미를 갖는다. => monadic이라고 표현하기도 한다. 1. 모나드 (programming에서) 의 조건 3가지 map은? - 1. "타입을 인자로 받는 타입" (특정 타입의 값을 포장) - 2. "특정 타입의 값을 포장한 것을 반환하는 함수가 존재" - 3. "포장된 값을 변환하여 같은 형태로 포장하는 함수가 존재" 모나드는 "값을 어딘가에 포장하는 개념"에서 출발한다. ex) 옵셔널 - 값이 있을지 없을지 모르는 상태를 포장하는 것 # 컨텍스트와 콘텐츠 Optional을 예로 들자면, 값이 없을 경우 .none case로, 값이 있는 경우 열거형의 .some(val..

Swift언어 2022. 10. 6. 12:04

ML&DL 2022. 10. 6. 11:45

d

ML&DL 2022. 10. 6. 10:29