MANTA Showcase

Top P

언어모델이 결과 생성을 시도한 전체 횟수에서 특정 토큰이 생성된 횟수가 얼마나 되는지 확인하여 해당 토큰이 생성될 확률을 계산합니다. 이때, 기준 값 P를 설정하여 특정 토큰의 생성 확률이 P에 못 미치면 결과에서 제외합니다.

0.8

Top K

적합도가 가장 높은 순서대로 K번째 토큰까지만 결과에 포함하고 나머지 토큰은 제외합니다. 예를 들어, K값을 1로 설정하면 가장 적합도가 높은 토큰 1개를 사용합니다.

Maximum tokens

결과값을 생성하는 데 사용할 최대 토큰 수를 의미합니다. 토큰 수를 높게 설정할 수록 더 긴 결과를 출력합니다. 프롬프트 결과값을 포함하여 최대 2048 토큰까지만 허용합니다.

Temperature

Temperature를 낮게 설정하면 정형적인 결과값을 생성하며, 높게 설정하면 다양한 문장이 만들어질 수는 있지만 문장의 품질이 다소 떨어질 수 있습니다.

0.5

Repetition penalty

같은 표현이 반복되는 토큰에 패널티를 부여합니다. 패널티를 높게 설정할수록 언어모델이 다양한 표현을 생성할 확률이 높아집니다.

Stop sequences

결과 생성을 중단하라는 신호가 될 문구를 설정합니다. 언어모델은 이 stop sequence 전까지의 내용만을 참고해서 토큰을 생성합니다.

Inject start text

사용자 입력값 뒤에 붙일 텍스트를 설정합니다. 해당 텍스트를 기준으로 모델이 답변을 출력합니다.

Inject restart text

모델 출력값 뒤에 붙일 텍스트를 설정합니다. 해당 텍스트를 기준으로 사용자가 입력을 작성합니다.

예시: