“Deep Residual Learning for Image Recognition”

• 모델을 매우 깊게 만드는데 성공
• skip-connection을 적용하면 깊을수록 error가 감소함을 보임

0. Why skip-connection?

• Batch Normalization과 ReLU가 Vanishing Gradient 문제를 해결했지만, 모델이 깊을수록 training error가 커지는 문제 발생

• 이를 해결하고자 ‘깊은 것이 얕은 겻을 흉내낼 수 있지 않은가?’라는 아이디어로 시작

  → 이것이 곧 ‘identity mapping’: Input 그대로 Output 값이 되도록 하는 것.

• 하지만, 오히려 training error가 커지는 것을 보아 모델이 identity mapping을 만들기 어려워한다는 것을 발견.

  

  → 그래서 등장한게 ‘skip-connection(shortcut connection)’인 것.

  → Vanishing Gradient를 해결하기 위해서 skip-connection을 하는 것이 아닌 skip-connection을 적용해보니 효과가 뛰어났던 것.

1. Identity mapping

• 위 사진을 예를 들어, 20-layer짜리 모델을 56-layer짜리 모델로 흉내내기 위해서 20층을 제외한 나머지 36층은 모두 입력값 그대로 출력값으로 나오도록 설계하는 것이다.

2. skip-connection

• 입력값 $x$가 들어와서 $F(x)$가 나가는 것이 기본. 여기서, $x \ +\ F(x)$가 나가도록 layer를 연결하는 것이 skip-connection이다.
• 효과가 있는 이유
  • 만약 $x$로 $H(x) \ = x$(identitiy mapping)을 만든다고 해보자.
  • skip-connection이 없는 MLP라면 weight matrix $F(x)$는 ‘항등 행렬’이 되어야 할 것이다. → $H(x) = F(x)$
  • skip-connection이 있는 MLP라면 weight matrix $F(x)$는 ‘영 행렬’이면 된다. → $H(x)=F(x)+x$
  • 그런데, weight_init은 0과 근사하게 하기 때문에 skip-connection이 있는 MLP가 목표한 $H(x)$를 가장 효과적으로 만들 수 있다.
  • 또한 만약 역전파 과정에서 $F'(x)$=0이더라도 추가된 $x$도 미분되어 1이 항상 더해지므로 gradient가 0이 되는 것을 막아 VG를 방지할 수 있게된다.
• 이름의 유래: 입력값과 출력값 사이의 차이만을 학습한다는 것에서 ‘잔차 ⇒ residual’ 학습을 적용한 Network이므로 ResNet!

3. Model Structure

• Conv 이후엔 ReLU는 작성 생략