LLM Engineer (LLM Evaluation)

About the Team & Mission LLM Engineer (LLM Evaluation)는 대규모 언어 모델(LLM)의 성능을 신뢰성 있게 평가하고, 평가 결과를 기반으로 모델 품질을 지속적으로 개선할 수 있는 평가 체계와 플랫폼을 구축합니다. 빠르게 변화하는 LLM 환경 속에서 benchmark dataset, evaluation protocol, automation pipeline을 설계하여 모델의 품질과 안정성을 지속적으로 향상시키고, 실서비스 수준의 검증 체계를 운영하는 데 기여합니다. 또한 Kubernetes 기반 환경에서 Argo Workflows 및 MLflow를 활용하여 모델 평가–실험 관리–배포 검증까지 이어지는 end-to-end evaluation workflow를 구축하고, 반복 가능하고 재현성 있는 평가 환경을 고도화합니다. Responsibilities LLM Evaluation & Benchmark 설계 LLM 성능 평가를 위한 벤치마크 데이터셋 구축 및 평가 지표(Human/LLM-based) 설계 공정한 모델 비교를 위한 평가 프로토콜 수립 및 재현성(Reproducibility) 확보 Evaluation Automation 및 Workflow 연동 Argo Workflows, MLflow 기반의 평가 자동화 환경 구축 및 ML 파이프라인 통합 모델 배포 시 성능 저하(Regression) 자동 감지 및 알림 체계 설계 Model Quality Validation 및 운영 고도화 반복 가능한 평가 워크플로우를 통한 대규모 모델 품질 및 안정성 검증 평가 결과를 바탕으로 한 지속적인 모델 품질 개선 프로세스 운영 Qualifications LLM 학습 또는 평가 관련 분야 3년 이상 경력 Deep Learning 또는 NLP 관련 연구 및 개발 경험 LLM evaluation framework 사용 경험 (lm-eval, HELM, OpenAI Evals 등) Python 기반 서비스 개발 경험 (async/비동기 처리 포함) 실험 관리 및 reproducibility에 대한 이해 모델 평가 및 validation workflow 설계 경험 동료와의 원활한 협업 능력 Preferred Qualifications Kubernetes 및 컨테이너 기반 환경 개발 경험 대규모 데이터 처리 또는 pipeline 설계 경험 GPU 기반 분산 inference 또는 대규모 모델 평가 경험 Datadog, Prometheus 등을 활용한 모니터링 구축 경험 MLflow, Argo Workflows 기반 ML workflow 운영 경험 GPU 클러스터 기반 evaluation pipeline 설계 및 운영 경험 LLM 품질 평가 자동화 및 운영 경험 Interview Process 서류 전형 코딩 테스트 1차 면접 (화상, 1시간 내외) 2차 면접 (대면 혹은 화상, 3시간 내외) 처우 협의·입사 Additional Information 전형 절차는 일정 및 진행 상황에 따라 일부 변경될 수 있으며, 각 전형 결과는 등록하신 이메일로 개별 안내드립니다. 지원서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다. 지원서 접수 중 오류가 발생하거나 기타 문의 사항이 있을 경우, [email protected]로 문의해 주시기 바랍니다. 국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다. 장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다. 42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다. 지원서 내용 중 허위 사실이 발견될 경우, 입사가 취소될 수 있습니다. 인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다. 3개월의 수습기간이 적용될 수 있습니다.