배경과 목표

Python Code에다가 Prompt를 붙여 놓는 것과 최신 Prompt를 git 처럼 땡겨 오고, History를 관리하는 것 중 어느것이 효과적일까?

장단점이 있을 것 같은데.. 일단, 경험해보자.

목표

  • LangSmith를 통해서 효율적으로 최신 Prompt와 History를 관리하는 방법을 배운다.

본론

LangSmith에서 Prompt 등록하기

LangSmith에는 왼쪽 메뉴 중에 제일 하단에 Prompt를 추가할 수 있는 버튼이 있다.

위 그림에서 처럼 Prompt의 종류는 다음과 같이 분류할 수 있다.

  • 공개 여부 : Private or Public
  • Prompt 종류 : Chat-Stype Prompt or Instruct-Style Prompt

Instruct-Style Prompt

단답형으로 지시를 하고 답을 얻는 Prompt인데 아래를 잘 보면 이해할 수 있다.

Prompt는 PlayGround로 이동하여 바로 Try 해볼 수 있다.

여러개의 입력을 시험하려면 Dataset을 그렇지 않으면 Manual로 바로 f-String으로 바꿔 볼 수 있음

시험 결과에 대해서 하단에 Save Example후 Commit를 하면 시험결과에 대해서도 이력이 남아서 관리됨

Chat-Stype Prompt

똑같다. 해봐라.

결론

  • LangSmith에 Prompt를 저장해놓고 시험해보면서 사용하면 나중에 Debug를 하기가 편하다.
  • 시험에 사용한 Test Parameter을 Example로 저장해 놓을 수 있어서 굉장히 유용하다.
  • 비공개, 공개로 나눠서 쓸 수 있어서 다른 사람과 공유하기에도 편하다.

참고

기타

  • Provider에서 OpenAI와 ChatOpenAI가 있는데, GTP4-o는 ChatOpenAI이다

You May Also Enjoy