Azure OpenAI 서비스 기본 모델 설정1 (SpringBoot + chatGPT restAPI)

Azure에서는 학생 인증을 진행 할 경우 100달러를 무료 지급하는 서비스를 진행하고 있다.

OpenAI를 이용한 API를 만들어보고 싶거나, 서비스를 맛보고 싶은 경우 진행하도록 하자.

채팅 플레이 그라운드 - chatGPT에 대한 설정을 진행할 수 있다.

MarketPlace에서 OpenAI를 검색하여 리소스를 생성하고 생성된 리소스에 들어온다.
이후 개요 탭에서 Azure OpenAI studio 이동을 누르면 해당 사진인 채팅 플레이 그라운드에 접속할 수 있게 된다.

해당 채팅 플레이 그라운드에서 지침 및 컨텍스트 제공을 통해 클라이언트에 답할 양식등을 지정할 수 있다.

 

배포를 해보도록 하자.

기본 모델과 미세 조정된 모델을 선택

배포 시, 기본 모델과 미세 조정된 모델을 선택할 수 있는데 나는 chatGPT의 기본모델을 선택하기로 하겠다.

제공하는 chatGPT 모델 종류

여기서 모델을 설정할 수 있다. 나는 가장 무난한 gpt-4를 사용하기로 했다.

모델 배포 상세 페이지

gpt-4 모델을 선택해서 배포유형에 따라 선택할 수 있으며, 리소스 위치 및 모델 버전 또한 사용자 지정으로 선택할 수 있다.

 

배포 유형은 총 네가지이다.

 

1. 글로벌 표준(Global Standard):

• 전 세계적으로 서비스가 필요한 경우 선택하는 배포 유형입니다.

• 다양한 지역에 걸쳐 안정적인 성능을 제공해야 할 때 유용합니다.

• 글로벌하게 빠르고 일관된 응답 시간을 보장해야 하는 서비스, 예를 들어 전 세계적인 사용자 기반을 가진 서비스에 적합합니다.

2. 표준(Standard):

• 특정 지역 또는 로컬 서비스에 적합한 배포 유형입니다.

• 주로 지역적인 사용자 대상이거나 글로벌 성능이 필요 없는 경우 선택합니다.

• 적은 비용으로 적절한 성능을 제공할 수 있습니다.

3. 전체 일괄 처리(Batch Processing):

• 데이터를 한꺼번에 처리하는 작업에 적합한 배포 유형입니다.

• 실시간 처리보다는 대규모 데이터를 일괄적으로 처리하는 것이 필요한 경우에 유용합니다. 예를 들어, 매일 밤 대량의 데이터를 처리하거나 로그 분석에 사용됩니다.

• 실시간 성능보다는 작업 완료 시간이 중요한 경우에 선택합니다.

4. 프로비저닝 된 관리(Provisioned Management):

• 사전에 리소스를 할당하고 관리하는 배포 유형입니다.

• 특정 트래픽 패턴이 예측 가능하거나 고정된 리소스 할당이 필요한 경우 적합합니다.

• 리소스 사용량을 미리 예상하고 설정할 수 있어, 필요에 따라 성능을 관리할 수 있습니다.

모델 배포 사용자 지정

 

이 중 한국에서 서비스할 예정이므로 표준을 선택하는 것이 일반적이다. 그래서 표준을 선택했으나, 남은 리소스가 오스트레일리아 혹은 캐나다 등과 같이 한국과 먼쪽에 위치하고 있으므로, 글로벌 표준으로 사용 하기로 한다.

 

글로벌 표준을 통한 chatGPT 모델 생성은 다음 포스팅에 기록하겠다.