Dropout

[Dropout]

 

 

Dropout이란, Under-fitting 되거나 Over-fitting이 되지 않도록 하는 regularization을 말한다.

 

 

학습할 땐 일부의 node만을 사용하고 test할 때는 node를 모두 사용하는 방식으로 regularization 할 수 있다. 사용할 일부의 node는 random하게 선정한다.

 

 

 

[code] Create Network

 

 

이전에 Relu 함수에서 사용한 code와 거의 일치한다. Relu 함수에서 사용한 code와 다른 점은 network를 구성할 때 dropout() 함수도 추가하여 model을 구성한다는 것이다.

 

 

rate는 몇 %의 node를 끌 것인지를 나타낸다.

 

 

 

[code] Define loss

 

 

loss 함수들을 정의할 때 training 옵션 값이 True라면 Dropout을 사용한다는 것이고, training 옵션 값이 False라면 Dropout을 사용하지 않겠다는 뜻이다. test를 진행할 때는 training=False로 지정해준다.