GPT Model & Tokens

GPT의 token을 최대한 많이 쓰려고 한다.

token 값이 클수록 많은 글자를 Prompt에 넣어서 보낼 수 있으니 말이다.

https://platform.openai.com/docs/models/gpt-4

OpenAI Platform

여러 모델을 넣어가면서 테스트를 해보았다.

gpt-4-32k는 사용할 수 없다고만 하고 그래서 gpt-3.5-turbo-16k 모델을 사용해 봤더니 16,384 token이 사용 가능했다.

max_token 값도 중요하다고 생각한다. request_token과 response_token을 합쳐서 16384 token이 넘으면 안되기 때문에 request_token값으로 10000 ~ 11000까지는 괜찮은 수치라고 생각이 든다. 테스트 해보면서 맞다고 생각하는 값을 넣으면 될 것 같다.

JsonObjectBuilder requestBodyBuilder = Json.createObjectBuilder()
                .add("model", "gpt-3.5-turbo-16k")
                .add("messages", messagesBuilder)
                .add("max_tokens", 10000);

일부러 에러를 내서 확인 들어간다.