사람이 직접 프롬프트를 조율하는 대신, 데이터와 목표를 주면 시스템이 최적 프롬프트를 자동으로 탐색하는 방식.

개념 설명

프롬프트를 조금씩 바꿔가며 성능을 테스트하는 작업은 시간이 많이 걸린다. 자동 프롬프트 최적화는 입출력 예시를 주면 프레임워크가 다양한 프롬프트 변형을 자동으로 시도해서 가장 좋은 성능을 보이는 것을 찾아주는 방식이다. DSPy의 옵티마이저, Anthropic의 자동 프롬프트 개선 기능, TextGrad 같은 도구들이 이 영역을 다룬다.

사용 예시

DSPy에서 BootstrapFewShot 옵티마이저를 쓰면, 정답 데이터셋을 주고 compiled_program = teleprompter.compile(program, trainset=train_data)를 실행하면 최적화된 프롬프트와 퓨샷 예시가 자동으로 생성된다. 모델을 교체하거나 도메인이 바뀔 때마다 재최적화하면 된다.