AI Evaluation Scientist

※弊社クライアントのポジションになります。

※English is below

≪ハイライト≫

・年収：〜16,000,000円（賞与年2回）

・勤務形態：ハイブリッド勤務（週2日リモートワーク可）

✓世界的にも希少な「AI評価科学（Evaluation Science）」に特化した新設組織

✓約200社が利用するエンタープライズ向けAIエージェント基盤の信頼性を担保

■企業概要

東証上場グループ発の急成長AIスタートアップです。最先端の大規模言語モデル（LLM）とマルチエージェント技術を駆使し、エンタープライズの生産性を変革する多様なプロダクトを自社開発しています。

■勤務地

東京都新宿区（西新宿駅直結）

■ポジション

AI Evaluation Scientist

■募集の背景

エンタープライズ向けAIエージェント事業の急拡大に伴い、LLM出力の品質・安全性・信頼性を科学的・統計学的に測定・担保する専門組織を立ち上げるため。

■職務内容

・LLM-as-Judgeの校正やベンチマークなど評価メトリクスの研究開発

・本番CI/CDに組み込むスケーラブルな自動評価パイプラインの設計・実装

・自動レッドチーミングによる安全性・ポリシー準拠検証フレームワークの構築

・統計的実験計画（A/Bテスト等）に基づくモデル改善フィードバックループの構築

■必須要件

・CS、機械学習、統計学等の関連分野における修士号以上、または同等の実務経験

・MLエンジニア、データサイエンティスト、またはML評価関連職種の実務経験3年以上

・LLM／生成AIの評価手法および統計学・実験計画法の実践的知見

・Pythonおよび主要MLフレームワークを用いたパイプライン構築・実装経験

ーーーーーー

≪Job Highlights≫

- Salary: JPY - 16,000,000 (Bonus twice a year)

- Work Style: Hybrid (WFH 2 days a week)

✓Pioneer the emerging field of AI Evaluation Science in Japan

✓Define and scale the quality and safety of enterprise multi-agent platforms

Why this role?

A rare opportunity to lead AI Evaluation Science from scratch for multi-agent platforms in production. You will bridge ML theory and engineering to scientifically measure and guarantee the reliability of autonomous enterprise agents.

Company:

A high-growth AI startup backed by a publicly listed tech group, specializing in cutting-edge LLMs and enterprise AI agents that transform workplace productivity.

Role: AI Evaluation Scientist

What you will do:

- Research and develop evaluation metrics, LLM-as-Judge calibration, and benchmarks

- Build scalable automated evaluation pipelines integrated into production CI/CD

- Develop automated red-teaming and safety/policy compliance validation frameworks

- Implement statistical experiment designs (A/B testing) to establish continuous model improvement loops

What you need:

- Master's degree (or equivalent experience) in CS, Machine Learning, Statistics, or a related field

- 3+ years of experience as an ML Engineer, Data Scientist, or ML Evaluation specialist

- In-depth knowledge of LLM/Generative AI evaluation techniques and statistical experiment design

- Hands-on experience developing ML pipelines using Python and modern ML frameworks