LeNet3 LeNet 1. Introduction 입력이미지 → C1 → TANH → S2 → C3 → TANH → S4 → C5 → TANH → FC6 → SOFTMAX7 - C는 합성곱층, S는 풀링층(서브샘플링층), FC는 전결합층 - 1998년에는 ReLU가 발견되기 이전이었고, tanh와 시그모이드 함수가 주로 사용되는 것이 일반적이었음 LeNet-5는 미리 설정된 일정엔 맞춰 학습률을 감소시키는 학습률 감쇠를 사용 - 처음 2 에포크에는 0.005, 그 다음 3 에포크는 0.0002, 다시 그 다음 4 에포크에는 0.00005, 그 이후로는 0.00001의 학습률이 적용됨. - 논문의 실험에서는 20 에포크까지 학습을 수행 2. CodeHyperparameter# 하이퍼파라미터from torch.op.. 2024. 4. 17. 고급 합성곱 신경망 ② 4. VGGNetVGGNet은 2014년 옥스퍼드 대학교의 VGG 연구 그룹에서 제안한 신경망 구조 VGGNet의 구성 요소는 새로 고안된 요소 없이 LeNet이나 AlexNet과 동일하지만 신경망의 층수가 더 많음 VGG16 이라고 알려진 VGGNet은 가중치를 가진 층 16개로 구성 (합성곱층 13개, 전결합층 3개) 모든 층의 하이퍼파라미터가 동일하게 설정되었기 때문에 신경망을 이해하기 쉽다는 점이 학계에 깊은 인상을 남김 (1) VGGNet에서 발전된 부분VGGNet의 개선점은 동일하게 설정된 층(합성곱층과 전결합층)을 사용해서 신경망 구조를 단순화 시켰다는 점임전체적인 신경망 구조는 일련의 합성곱층 뒤에 역시 풀링층이 배치되는 구조로 모든 합성곱층은 3x3 크기의 필터와 스트라이드 1, 패딩 .. 2024. 4. 17. 하이퍼파라미터 튜닝 ② [CIFAR-10] Baseline 정보GPU : T4x2모델- resnet50 사용- IMAGENET1K_V1 으로 가중치 초기화- 최종 분류기의 output 차원을 class 수에 맞게 변경from torchvision.models import resnet50, ResNet50_Weights# ImageNet 데이터로 사전학습시킨 가중치를 불러오기.model = resnet50(weights=ResNet50_Weights.IMAGENET1K_V1)epochs = 3batch_size = 128lr=1e-3optimizer: SGD 데이터 증강 기법우선 255로 나눠서 0~1 범위로 만들기아래 Data Augmentation 기법을 사용하였으며, pytorch 공식 documentation을 참고https://pytorc.. 2024. 4. 17. 이전 1 다음
