> For the complete documentation index, see [llms.txt](https://groobee.gitbook.io/gelatto/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://groobee.gitbook.io/gelatto/ai-chatbot/create-gelatto/simulator.md).

# 답변 시뮬레이터

## **답변 시뮬레이터란?**

설정한 RAG 문서와 시나리오에 따라 AI 챗봇이 사용자의 예상 답변대로 답변을 잘하는지 테스트 해볼 수 있는 기능입니다.  젤라또 만들기에서 챗봇을 설정해보고, 운영 환경에 노출하기 전에 답변을 테스트 해볼 수 있습니다.

<figure><img src="/files/4epeycItkNSN14DBGXyF" alt=""><figcaption></figcaption></figure>

### **사용 방법**

<figure><img src="/files/54PNbUUqalsFqHp397Eq" alt=""><figcaption></figcaption></figure>

* 젤라또 만들기에서 젤라또 저장 후 챗봇 키가 발급되면 저장 버튼 옆에 답변 시뮬레이터 버튼이 표시됩니다.

<figure><img src="/files/IumJSk0xxjEtxCCXmL1D" alt=""><figcaption></figcaption></figure>

* 답변 시뮬레이터 페이지로 이동하여 질문을 하며 챗봇 답변을 확인할 수 있고, 답변 하위로 설정한 시나리오 가 함께 표시됩니다.
  * AI 챗봇의 답변과 챗봇이 답변을 만들 때 참조했던 설정한 의도(행동)가 무엇이었는지 행동 이름이 표시됩니다.
  * 답변이 이상하거나 유도한 방향이 아닐 경우 의도에 표시된 행동의 프롬프트를 확인하여 개선할 수 있습니다.

{% hint style="success" %}
&#x20;젤라또 만들기 > 시나리오: 행동 의 행동명이 의도로 표시됩니다. 해당하는 행동의 지침을 확인하며 테스트해 보세요.
{% endhint %}

***

## **답변 품질 평가 기능이란?**

젤라또 팀에 설정한 AI 챗봇의 답변의 품질 평가를 요청할 수 있습니다.

답변 품질 평가를 받고 싶은 질문과, 해당 질문에 대한 예상 답변을 업로드하여 젤라또 팀에게 신청하면 3 \~ 5 영업일 안에 젤라또 내부 평가 시스템을 통해 답변의 품질 평가 결과를 신청한 이메일로 받아볼 수 있습니다.

평가 항목은 다음과 같습니다.

* **적절성 (Relevance)**
  * 질문의 핵심 의도를 정확히 파악했는가?&#x20;
  * 관련 없는 내용 없이, 핵심 정보 중심으로 응답했는가? &#x20;
* **맥락성 (Coherence)**
  * 문장이 자연스럽고 논리적인 흐름으로 구성되었는가?&#x20;
  * 사용자 입장에서 이해하기 쉬운가? &#x20;
* **AI 답변 유사도 평가**
  * 예상 답변과 젤라또 챗봇 답변이 얼마나 유사한지 유사 여부를 AI로 평가

{% hint style="warning" %}
&#x20;질문은 필수로 입력하여 요청해야하며, 예상 답변을 제외하고 업로드하면 AI 답변 유사도 평가는 결과에서 제외됩니다.
{% endhint %}

### **신청 방법**

<figure><img src="/files/0tpSRYgPQS5p3p5sAeAT" alt=""><figcaption></figcaption></figure>

* 질문 입력란 하단에 답변 품질 평가 요청 버튼을 클릭하면 답변 품질 평가 요청 신청 창이 표시됩니다.

<figure><img src="/files/zqpQxDfuYM2Org6v1utH" alt=""><figcaption></figcaption></figure>

a. 신청 이메일: 답변 품질 평가 결과를 받을 이메일을 작성합니다.

b. 파일 업로드: 하단 템플릿을 다운받아 평가를 받고 싶은 질문과 예상 답변을 작성하여 업로드합니다.

c. 템플릿: 질문과 답변을 작성할 수 있는 엑셀 템플릿을 다운로드 합니다.\ <sub>- 파일 형식: xlsx</sub>\ <sub>- 최대 요청 가능한 질문-예상 답변 수: 50 건, 질문은 필수 입력 값입니다.</sub>

d. 신청 이메일과 요청 파일을 업로드하면 신청이 완료됩니다. &#x20;

{% hint style="info" %}
요청한 내용은 젤라또 팀의 답변 품질 평가 시스템을 통해 검토되며, 평가 결과는 신청한 이메일로 발송됩니다. \
결과 발송까지는 영업일 기준 3 \~ 5일 정도 소요될 수 있습니다.
{% endhint %}

<br>

<figure><img src="/files/m4Ublodb0gsGt0GzbGbw" alt=""><figcaption></figcaption></figure>

* 평가가 완료되어 메일을 발송하기 전까지는 화면에 '평가 진행 중' 이라고 표시됩니다.

{% hint style="info" %}
&#x20;평가 진행 중인 상태에서는 결과 메일 발송 완료 전까지 답변 품질 평가 요청이 제한됩니다.
{% endhint %}