Deeplearning9 전이학습(Transfer Learning) (2) 5. 적합한 전이학습 수준 선택하기전이학습의 적합한 수준을 결정하는 중요한 요소목표 데이터셋의 크기 (많음 또는 적음) : 목표 데이터셋의 크기가 작다면 많은 층을 학습시키기 어렵고 새로운 데이터에 대해 과적합을 일으키기 쉬움. 이런 경우에는 미세 조정 범위를 줄이고 원 데이터셋의 의존도를 높여야 함원 도메인과 목표 도메인의 유사성 : 해결하려는 문제가 자동차와 배를 분류하는 것이라면 비슷한 특징을 다수 포함하는 이미지넷 데이터셋으로도 충분함. 반면 새로운 문제가 엑스레이 사진에서 폐암 병변을 찾아내는 것이라면 도메인이 전혀 달라지므로 미세 조정 범위가 넓어져야 함 전이학습의 적합한 수준을 결정하는 네 가지 시나리오목표 데이터셋의 크기가 작고, 원 도메인과 목표 도메인이 유사목표 데이터셋의 크기가 크고,.. 2024. 6. 9. 전이학습(Transfer Learning) (1) 1. 전이학습으로 해결할 수 있는 문제- 전이학습이란 신경망이 어떤 과제에서 얻은 기존 지식(어떤 데이터셋을 학습하며 익힌 것)을 비슷한 다른 문제를 해결하는데 활용하는 것- 어떤 과제에서 익힌 기존 지식이란 학습과정을 통해 얻어진 추출된 특징(특징 맵 (Feature Map))을 말함- 딥러닝 분야에서 전이학습이 활발히 이용되는 이유는 더 짧은 시간에 적은 양의 데이터로 신경망을 학습할 수 있음- 전이학습의 가장 큰 장점은 이미지넷 등 일반적인 컴퓨터비전벤치마크용 데이터셋으로 학습한 모델의 가중치를 간단히 재사용하는 것만으로 다른 문제를 위한 대규모 데이터 수집(레이블링된 데이터)에 드는 수고를 절감할 수 있다는 것- 전이학습의 또 다른 장점은 일반화 성능을 확보하고 과적합을 방지하는 것 2. 전이학습.. 2024. 6. 9. ResNet 1. Information잔차 신경망(ResNet)은 2015년에 마이크로소프트 리서치 팀에서 제안한 신경망 구조ResNet에는 잔차 모듈(residual module)과 스킵 연결(skip connection)이라는 새로운 구조가 사용되었으며, 은닉층에도 강한 배치 정규화가 적용되었음ResNet은 2015년에 ILSVRC에서 top-5 오차율 3.57%을 기록하며 가장 좋은 성능을 기록함배치 정규화가 강하게 적용된 덕분에 파라미터가 있는 층이 50층, 101층, 152층이나 되는 깊은 신경망(ResNet50, ResNet101, ResNet152)의 복잡도를 훨씬 층수가 적은 VGGNet(19층)보다 낮출 수 있음신경망이 지나치게 깊어지면 과적합이 발생하기 쉬움ResNet은 배치정규화를 통해 과적합 문.. 2024. 4. 22. GoogLeNet 1. Information인셉션은 구글에서 연구 논문을 통해 2014년에 발표했음인셉션의 구조의 특징은 신경망 내부적으로 계산 자원의 효율을 높였음인셉션 신경망 구조를 구현한 GoogLeNet은 22개 층으로 구성(VGGNet보다 층수가 많음)되었으나 파라미터 수는 VGGNet의 1/12에 불가함→ VGGNet: 1억 3800만개, GoogLeNet: 1300만개GoogLeNet은 적은 파라미터 수로 향상된 성능을 보임인셉션 신경망 구조는 AlexNet이나 VGGNet에서 따온 고전적인 CNN 구조를 따르지만 인셉션 모듈(inception module)이라는 새로운 요소를 도입하였음합성곱층의 커널 크기- 앞서 살펴본 신경망 구조는 커널 크기가 제각각으로, 1x1, 3x3, 5x5, 큰 것은 11x11 (.. 2024. 4. 22. 이전 1 2 3 다음
