Lecture AI/4장.머신러닝의 기본요소 (2) 썸네일형 리스트형 4.가중치 규제 추가에 대해 : L1규제, L2규제, 드롭아웃 / 정리하기 L1규제, L2규제 어떤 훈련 네트워크 구조가 주어졌을 때 데이터를 설명할 수 있는 가중치 값의 집합은 여러 개(여러 개의 모델)입니다. 간단한 모델이 복잡한 모델보다 덜 과대적합될 가능성이 높습니다. 간단한 모델이라 함은 파라미터 값 분포의 엔트로피가 작은 모델이나 적은 수의 파라미터를 가진 모델입니다. 그러므로 과대적합을 완화하기 위한 일반적인 방법은 네트워크의 복잡도에 제한을 두어 가중치가 작은 값을 가지도록 강제하는 것입니다. 가중치 값의 분포가 더 균일하게 됩니다. 이를 가중치 규제(weight regularization)라고 하며, 네트워크의 손실 함수에 큰 가중치에 연관된 비용을 추가합니다. 두 가지 형태의 비용이 있습니다. L1규제: 가중치의 절댓값에 비례하는 비용이 추가됩니다. L2규제:.. 3.데이터 전처리, 특성 공학, 특성 학습 1.신경망을 위한 데이터 전처리 데이터 전처리목적은 주어진 원본 데이터를 신경망에 적용하기 쉽도록 만드는 것입니다. 벡터화, 정규화, 누락된 값 다루기, 특성 추출 등이 포함됩니다. 1. 벡터화: 신경망에서 모든 입력 타깃은 부동 소수 데이터로 이루어진 텐서여야 합니다.(또는 특정 경우에 정수로 이루어진 텐서입니다.). 사운드, 이미지, 텍스트 등 처리해야 할 것이 무엇이든지 먼저 텐서로 변환해야 합니다.이 단계를 데이터 벡터화라고 합니다. 2. 값 정규화: 일반적으로 비교적 큰 값(예를 들어 네트워크의 가중치 초깃값보다 훨씬 큰 여러 자릿수를 가진 정수)이나 균일하지 않은 데이터(예를 들어 한 특성의 범위는 0~1이고 다른 특성은 100~200인 데이터)를 신경망에 주입하는 것은 위험합니다. 이렇게 하.. 이전 1 다음
