멋사 AI스쿨 TIL - (33)

2023.04.18

 

 

● 전이학습(Transfer Learning)

하나의 기계학습 문제를 해결하는 데에 학습된 모델의 일부 또는 전체를 새로운 기계학습 문제를 해결하는 데에 사용하는 기술입니다. 이는 기존의 모델이 이미 유사한 작업을 수행하도록 학습되어있기 때문에, 새로운 작업에서도 이전 모델의 학습 결과를 이용하여 학습을 빠르고 정확하게 수행할 수 있다는 장점이 있습니다. 전이학습은 크게 세 가지 종류로 나눌 수 있습니다.

첫째는 사전학습된 모델을 특징 추출기(feature extractor)로 사용하는 방법입니다. 이 경우, 기존의 모델은 이미지, 음성 또는 텍스트와 같은 입력 데이터의 특징을 추출하는데 사용되며, 이러한 특징 추출기는 새로운 모델을 학습하는 데에 사용됩니다.

둘째는 사전학습된 모델을 미세조정(fine-tuning)하는 방법입니다. 이 방법에서는 기존의 모델의 가중치를 조정하여 새로운 문제에 맞게 재학습을 수행합니다.

셋째는 다중 전이학습(multi-task transfer learning)입니다. 이 방법에서는 하나의 모델이 여러 개의 관련된 작업을 수행하도록 학습합니다.

전이학습은 많은 분야에서 사용되고 있으며, 이미지 인식, 자연어 처리, 음성 인식, 게임 AI 등 다양한 분야에서 유용하게 사용됩니다.

 

 

 

● 용어정리 

weight -> 가중치 (None 사용 안 함, ImageNet 이미지넷으로 학습한 가중치 사용)

input_shape -> 지정해준 이미지 사이즈

fine tuning -> 우리가 수집한 데이터로 추가 학습을 시켜 모델 성능을 높인다!

 

 

질문🙋🏻‍♂️ : 이미지넷으로 사전훈련한 모델을 사용하지 않더라도 정확도가 잘 나오는 모델입니다. 왜 그럴까요? 이미지넷 데이터셋은 혈액도말이미지를 중점적으로 학습한 데이터가 아닙니다. 가중치를 None 으로 하고 모델 구조만 가져와서 사용하는 방법도 있습니다. 모델 아키텍처를 하나하나 다 구현하는게 아니라 설계된 레이어를 가져다 사용하는 것만으로도 성능을 올릴 수 있습니다

 

 

질문🙋🏻‍♂️ : 이미지넷 데이터셋을 활용한 가중치를 사용해서 학습한다면 어떤 데이터가 적절할까요? 이미지넷에 있는 label 값과 사용하고자 하는 데이터와 도메인이 유사한지를 봅니다. 예를 들어 강아지, 고양이라면 이미 학습된 데이터가 충분하기 때문에 이미지넷가중치를 사용해도 됩니다.

 

● append와 extend 차이

append -> 리스트를 묶어서 넣어준다. 과자를 봉지째 넣어주는 것으로 이해하기!

extend -> 하나의 리스트에 요소를 넣어준다. 과자를 낱개로 뜯어서 넣어준다고 이해할 수 있다

 

 

질문🙋🏻‍♂️ : /* 과 / 차이가 뭔가요? /* => 하위 모든 파일 / => 해당 디렉토리

 

 

● sklearn의 LabelBinarizer()

- 바이너리한 배열로 바꿔줄 수 있다.

- tensorflow 의 to_categorical 을 사용해도 됩니다.

https://www.tensorflow.org/api_docs/python/tf/keras/utils/to_categorical

tf.keras.utils.to_categorical  |  TensorFlow v2.12.0