파운데이션 모델 미세 조정
Amazon SageMaker Canvas를 통해 액세스할 수 있는 파운데이션 모델은 다양한 범용 작업에 도움이 될 수 있습니다. 그러나 특정한 사용 사례가 있고 자체 데이터를 기반으로 사용자 지정 응답을 원하는 경우 파운데이션 모델을 미세 조정할 수 있습니다.
파운데이션 모델을 미세 조정하려면 샘플 프롬프트와 모델 응답으로 구성된 데이터세트를 제공합니다. 그런 다음 데이터에 대해 파운데이션 모델을 훈련합니다. 마지막으로, 미세 조정된 파운데이션 모델은 보다 구체적인 응답을 제공할 수 있습니다.
다음 목록에는 Canvas에서 미세 조정할 수 있는 파운데이션 모델이 나와 있습니다.
Titan Express
Falcon-7B
Falcon-7B-Instruct
Falcon-40B-Instruct
Falcon-40B
Flan-T5-Large
Flan-T5-Xl
Flan-T5-Xxl
MPT-7B
MPT-7B-Instruct
모델을 미세 조정하는 동안 Canvas 애플리케이션의 각 파운데이션 모델에 대한 자세한 정보에 액세스할 수 있습니다. 자세한 내용은 모델 미세 조정 섹션을 참조하세요.
이 주제에서는 Canvas에서 파운데이션 모델을 미세 조정하는 방법을 설명합니다.
시작하기 전 준비 사항
파운데이션 모델을 미세 조정하기 전에 Canvas의 즉시 사용 가능 모델에 대한 권한이 있어야 하며, Amazon Bedrock과 신뢰 관계가 있는 AWS Identity and Access Management 실행 역할이 있어야 합니다. 이는 Amazon Bedrock이 파운데이션 모델을 미세 조정하는 동안 사용자의 역할을 수임할 수 있도록 합니다.
Amazon SageMaker 도메인을 설정하거나 편집할 때는 1) Canvas 즉시 사용 가능 모델 구성 권한을 켜고, 2) SageMaker가 Amazon Bedrock과의 신뢰 관계를 연결하는 IAM 실행 역할인 Amazon Bedrock 역할을 만들거나 지정해야 합니다. 이러한 설정을 구성하는 것에 대한 자세한 내용은 Amazon SageMaker Canvas를 설정하기 위한 사전 조건 섹션을 참조하세요.
자체 IAM 실행 역할을 사용하려면 SageMaker가 사용자를 대신하여 역할을 만들도록 하지 않고 Amazon Bedrock 역할을 수동으로 구성하면 됩니다. Amazon Bedrock과 자체 IAM 실행 역할의 신뢰 관계를 구성하는 방법에 대한 자세한 내용은 Canvas에서 Amazon Bedrock 및 생성형 AI 기능을 사용할 수 있는 권한을 사용자에게 부여 섹션을 참조하세요.
또한 대규모 언어 모델(LLM)을 미세 조정하기 위한 형식의 데이터세트가 있어야 합니다. 다음은 데이터세트의 요구 사항 목록입니다.
-
데이터세트는 테이블 형식이어야 하며 텍스트 데이터의 열 2개 이상을 포함해야 합니다. 하나는 입력 열(모델에 대한 예시 프롬프트가 있는 열)이고 다른 하나는 출력 열(모델의 예시 응답이 있는 열)입니다.
예시는 다음과 같습니다.
Input 출력 배송 조건이 어떻게 되나요?
50 USD를 초과하는 모든 주문에 대해 무료 배송을 제공합니다. 50 USD 미만의 주문은 배송비가 5.99 USD입니다.
제품을 반품하려면 어떻게 해야 하나요?
제품을 반품하려면 반품 센터를 방문하여 지침을 따르세요. 주문 번호와 반품 이유를 제공해야 합니다.
제품에 문제가 있습니다. 어떻게 해야 합니까?
고객 지원 팀에 문의하시면 문제를 해결하는 데 도움을 드리겠습니다.
-
데이터세트에는 최소 100개의 텍스트 쌍(상응하는 입력 및 출력 항목이 있는 행)가 있는 것이 좋습니다. 이렇게 하면 파운데이션 모델이 미세 조정을 위해 충분한 데이터를 확보할 수 있고 응답의 정확도가 높아집니다.
-
각 입력 및 출력 항목은 최대 512자를 포함해야 합니다. 더 긴 내용은 파운데이션 모델을 미세 조정할 때 512자로 줄어듭니다.
Amazon Bedrock 모델을 미세 조정할 때는 Amazon Bedrock 할당량을 준수해야 합니다. 자세한 내용은 Amazon Bedrock 사용 설명서의 Model customization quotas를 참조하세요.
Canvas의 일반 데이터세트 요구 사항 및 제한 사항에 대한 자세한 내용은 데이터세트 생성 섹션을 참조하세요.
파운데이션 모델 미세 조정
Canvas 애플리케이션에서 다음 방법 중 하나를 사용하여 파운데이션 모델을 미세 조정할 수 있습니다.
-
파운데이션 모델과의 콘텐츠 채팅 생성, 추출 및 요약 채팅에서 미세 조정 모델 아이콘(
)을 선택합니다. -
파운데이션 모델과 채팅하는 동안 응답을 두 번 이상 다시 생성한 경우 Canvas는 모델을 미세 조정할 수 있는 옵션을 제공합니다. 다음 스크린샷은 이러한 상황을 보여줍니다.
-
내 모델 페이지에서 새 모델을 선택한 다음 파운데이션 모델 미세 조정을 선택하여 새 모델을 만들 수 있습니다.
-
즉시 사용 가능 모델 홈 페이지에서 자체 모델 만들기를 선택한 다음 새 모델 만들기 대화 상자에서 파운데이션 모델 미세 조정을 선택합니다.
-
Data Wrangler 탭에서 데이터세트를 둘러보는 동안 데이터세트를 선택하고 모델 만들기를 선택할 수 있습니다. 그런 다음 파운데이션 모델 미세 조정을 선택합니다.
모델을 미세 조정하기 시작한 후 다음을 수행합니다.
데이터세트 선택
모델 미세 조정의 선택 탭에서 파운데이션 모델을 훈련시킬 데이터를 선택합니다.
기존 데이터세트를 선택하거나 시작하기 전 준비 사항 섹션에 나열된 요구 사항을 충족하는 새 데이터세트를 만듭니다. 데이터세트를 만드는 방법에 대한 자세한 내용은 데이터세트 생성 섹션을 참조하세요.
데이터세트를 선택하거나 만든 후 계속 진행할 준비가 되면 데이터세트 선택을 선택합니다.
모델 미세 조정
데이터를 선택하면 이제 훈련을 시작하고 모델을 미세 조정할 준비가 되었습니다.
미세 조정 탭에서 다음을 수행합니다.
(선택 사항) 파운데이션 모델에 대해 자세히 알아보기를 선택하여 각 모델에 대한 자세한 정보에 액세스합니다. 배포할 파운데이션 모델 또는 모델을 결정하는 데 도움이 됩니다.
최대 3개의 기본 모델 선택에서 드롭다운 메뉴를 열고 훈련 작업 중에 미세 조정하려는 파운데이션 모델을 최대 3개(최대 2개의 JumpStart 모델 및 1개의 Amazon Bedrock 모델)까지 선택합니다. 여러 파운데이션 모델을 미세 조정하여 성능을 비교하고 궁극적으로 사용 사례에 가장 적합한 모델을 기본 모델로 선택할 수 있습니다. 기본 모델에 대한 자세한 내용은 모델 리더보드에서 모델 후보 보기 섹션을 참조하세요.
입력 열 선택에서 예시 모델 프롬프트가 포함된 데이터세트의 텍스트 데이터 열을 선택합니다.
출력 열 선택에서 예시 모델 응답이 포함된 데이터세트의 텍스트 데이터 열을 선택합니다.
-
(선택 사항) 훈련 작업에 대한 고급 설정을 구성하려면 모델 구성을 선택합니다. 고급 모델 빌드 설정에 대한 추가 정보는 고급 모델 빌드 구성 섹션을 참조하세요.
모델 구성 팝업 창에서 다음을 수행합니다.
하이퍼파라미터의 경우 선택한 각 모델에 대해 Epoch 수, 배치 크기, 학습 속도 및 학습 속도 워밍업 단계를 조정할 수 있습니다. 이러한 파라미터에 대한 자세한 내용은 JumpStart 설명서의 Hyperparameters 섹션을 참조하세요.
데이터 분할의 경우 훈련 세트와 검증 세트 간에 데이터를 나누는 데 사용할 백분율을 지정할 수 있습니다.
최대 작업 런타임의 경우 Canvas가 빌드 작업을 실행하는 최대 시간을 설정할 수 있습니다. 이 기능은 JumpStart 파운데이션 모델에서만 사용할 수 있습니다.
설정을 구성한 후 저장을 선택합니다.
미세 조정을 선택하여 선택한 파운데이션 모델 훈련을 시작합니다.
미세 조정 작업이 시작된 후 페이지에서 나갈 수 있습니다. 내 모델 페이지에 모델이 준비됨으로 표시되면 사용할 준비가 된 것입니다. 이제 미세 조정된 파운데이션 모델의 성능을 분석할 수 있습니다.
미세 조정된 파운데이션 모델 분석
미세 조정된 파운데이션 모델의 분석 탭에서 모델의 성능을 확인할 수 있습니다.
이 페이지의 개요 탭은 훈련 중에 시간 경과에 따른 모델의 개선을 시각화하는 분석과 함께 복잡성 및 손실 점수를 보여줍니다. 다음 스크린샷은 개요 탭을 보여줍니다.
이 페이지에서는 다음 시각화를 볼 수 있습니다.
복잡성 곡선은 모델이 시퀀스에서 다음 단어를 얼마나 잘 예측하는지 또는 모델 출력이 얼마나 문법적인지 측정합니다. 훈련 중에 모델이 개선되면 점수가 감소하고 시간이 지남에 따라 곡선이 낮아지고 평탄해지는 것이 가장 좋습니다.
손실 곡선은 올바른 출력과 모델의 예상 출력 간의 차이를 정량화합니다. 시간이 지남에 따라 감소하고 평탄해지는 손실 곡선은 모델이 정확하게 예측하는 능력을 개선하고 있음을 나타냅니다.
고급 지표 탭에는 모델의 하이퍼파라미터와 추가 지표가 표시됩니다. 모습은 다음 스크린샷과 같습니다.
고급 지표 탭에는 다음 정보가 포함되어 있습니다.
-
설명 가능성 섹션에는 하이퍼파라미터가 포함되어 있습니다. 하이퍼파라미터는 모델의 미세 조정을 안내하기 위해 작업 전에 설정된 값입니다. 모델 미세 조정 섹션의 모델 고급 설정에서 사용자 지정 하이퍼파라미터를 지정하지 않은 경우 Canvas가 기본 하이퍼파라미터를 선택합니다.
JumpStart 모델의 경우 모델에서 생성된 요약의 품질을 평가하는 고급 지표인 ROUGE(Recall-Oriented Understudy for Gisting Evaluation)
도 볼 수 있습니다. 이 지표는 모델이 구절의 주요 포인트를 얼마나 잘 요약할 수 있는지 측정합니다. 아티팩트 섹션에서는 미세 조정 작업 중에 생성된 아티팩트에 대한 링크를 제공합니다. Amazon S3에 저장된 훈련 및 검증 데이터와 모델 평가 보고서 링크(자세한 내용은 다음 단락 참조)에 액세스할 수 있습니다.
모델 평가 인사이트를 더 많이 얻으려면 모델 및 데이터의 편향을 감지하는 데 도움이 되는 기능인 SageMaker Clarify를 사용하여 생성된 보고서를 다운로드할 수 있습니다. 먼저 페이지 하단에서 평가 보고서 생성을 선택하여 보고서를 생성합니다. 보고서가 생성된 후 보고서 다운로드를 선택하거나 아티팩트 섹션으로 돌아가서 전체 보고서를 다운로드할 수 있습니다.
Python 코드에서 미세 조정 작업을 복제하는 방법을 보여주는 Jupyter Notebook에 액세스할 수도 있습니다. 이를 사용하여 미세 조정 작업을 복제하거나 프로그래밍 방식으로 변경하거나 Canvas가 모델을 미세 조정하는 방법을 더 깊이 이해할 수 있습니다. 모델 노트북과 이에 액세스하는 방법에 대한 자세한 내용은 모델 노트북 다운로드 섹션을 참조하세요.
미세 조정된 파운데이션 모델의 분석 탭에서 정보를 해석하는 방법에 대한 자세한 내용은 모델 평가 섹션을 참조하세요.
개요 및 고급 지표 탭을 분석한 후 모델 리더보드를 열 수도 있습니다. 그러면 빌드 중에 훈련된 기본 모델 목록이 표시됩니다. 손실 점수가 가장 낮은 모델은 가장 성능이 좋은 모델로 간주되며 분석 탭에서 분석을 볼 수 있는 모델인 기본 모델로 선택됩니다. 기본 모델만 테스트하고 배포할 수 있습니다. 모델 리더보드 및 기본 모델 변경 방법에 대한 자세한 내용은 모델 리더보드에서 모델 후보 보기 섹션을 참조하세요.
채팅에서 미세 조정된 파운데이션 모델 테스트
미세 조정된 파운데이션 모델의 성능을 분석한 후 테스트하거나 기본 모델과 응답을 비교해야 할 수 있습니다. 채팅의 콘텐츠 생성, 추출 및 요약 기능에서 미세 조정된 파운데이션 모델을 테스트할 수 있습니다.
다음 방법 중 하나를 선택하여 미세 조정된 모델과 채팅을 시작합니다.
미세 조정된 모델의 분석 탭에서 즉시 사용 가능 파운데이션 모델에서 테스트를 선택합니다.
Canvas 즉시 사용 가능 모델 페이지에서 콘텐츠 생성, 추출 및 요약을 선택합니다. 그런 다음 새 채팅을 선택하고 테스트할 모델의 버전을 선택합니다.
모델은 채팅에서 시작되며 다른 파운데이션 모델과 마찬가지로 상호작용할 수 있습니다. 채팅에 모델을 더 추가하고 출력을 비교할 수 있습니다. 채팅 기능에 대한 자세한 내용은 SageMaker Canvas의 생성형 AI 파운데이션 모델 섹션을 참조하세요.
미세 조정된 파운데이션 모델 운영
Canvas에서 모델을 미세 조정한 후 다음을 수행할 수 있습니다.
조직의 MLOps 프로세스에 통합하기 위해 모델을 SageMaker 모델 레지스트리에 등록합니다. 자세한 내용은 SageMaker 모델 레지스트리에 모델 버전 등록 섹션을 참조하세요.
모델을 SageMaker 엔드포인트에 배포하고 애플리케이션 또는 웹 사이트에서 모델로 요청을 보내 예측(또는 추론)을 가져옵니다. 자세한 내용은 엔드포인트에 모델 배포 섹션을 참조하세요.
중요
JumpStart 기반 미세 조정 파운데이션 모델만 등록하고 배포할 수 있으며 Amazon Bedrock 기반 모델은 불가능합니다.
