【募集背景】
JAPAN AI STUDIO が「企業の脳」として稟議承認・リソース配置・見込み顧客探索などの業務を自律的に実行する世界では、AI の出力が間違えれば、承認すべきでない稟議が通り、誤った人員配置が行われ、不適切な顧客にアプローチしてしまいます。「企業の脳」が信頼されるためには、生成回答の正確性・安全性・一貫性を科学的に評価・保証する仕組みが不可欠です。

従来の QA エンジニアリングでは、テストケースの設計・実行が中心でした。しかし、LLM エージェントの品質保証には、評価メトリクスそのものの研究開発、LLM-as-Judge の校正理論、報酬モデリング、統計的実験計画、ベンチマーク設計といった ML / DS の専門性が求められます。

海外の先進AI企業が確立しつつある "Evaluation Science" の領域を、日本のエンタープライズ AI の文脈で実践するポジションです。

【業務内容】
・評価メトリクスの研究開発
LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules)
評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection)
報酬モデリング / preference learning の評価への応用研究
評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection)
評価セット (合成データ + 実ログ) の設計・構築・メンテナンス

・自動評価パイプラインの設計・構築
スケーラブルな自動評価パイプラインの設計・実装
CI/CD への評価パイプライン組込みと品質ゲートの構築
エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応)
評価パイプラインの再現性・信頼性の担保

・安全性・品質検証
自動レッドチーミング (automated adversarial testing) の研究・実装
安全性 / ポリシー準拠の検証フレームワーク構築
ハルシネーション検出・校正手法の研究・実装
プロンプト / ツール回帰テストの設計・実行

・統計分析・実験設計
統計的実験計画 (A/B テスト、有意差検定) の設計・分析
品質トレンドの可視化・回帰検出の自動化
品質レポート作成と改善提案
評価シグナルの研究・開発チームへのフィードバック

【このポジションの魅力】
・Evaluation Science の実践 : Apple・Anthropic・Scale AI・Google DeepMind 等が注力する「AI 評価科学」を、日本のエンタープライズ AI の文脈で実践できます。評価手法そのものを研究対象とする、世界的にも希少なポジションです

・ML/DS スキルの新しい応用 : 機械学習・統計学の専門性を「モデル開発」ではなく「モデル評価」に応用します。報酬モデリング、LLM-as-Judge の校正理論、ベンチマーク設計など、研究と実装の両面で知的挑戦があります

・品質がプロダクトの信頼を決める : 約200社が利用する本番環境で、あなたが構築した評価基盤がリリース品質の最後の砦になります。品質保証がビジネスインパクトに直結する手応えを実感できます

・新設ポジション : AI エージェントの品質評価科学という新しい専門領域を、ゼロから設計・構築できます。評価メトリクスの研究開発から自動評価パイプラインの本番実装まで、大きな裁量を持って取り組めます

・AI安全性の最前線 : 自動レッドチーミング、adversarial testing、ポリシー準拠検証など、Responsible AI の実践に携われます。AI エージェントが「企業の脳」として業務を自律実行する世界で、安全性を科学的に保証する役割を担います

・急成長環境 : 設立3年で200名以上の規模、9プロダクト展開のスタートアップで、技術的意思決定に大きな裁量を持てます。Research Engineer や Agent Harness Engineer と密接に連携し、プロダクト全体の品質に影響を与えるポジションです

■必須条件
・コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験
・MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上
・LLM / 生成AIの評価手法に関する深い知識
統計学・実験計画法の実践的知識
・Pythonでの ML / 評価パイプライン構築経験
・機械学習フレームワーク（PyTorch, JAX, TensorFlow等）の実務経験
・評価メトリクスの設計・実装経験
・言語レベル : いずれか必須

日本語 : Fluent (プロダクト開発において齟齬なく議論を行えるレベル)
英語 : ビジネスレベル

■歓迎要件
・ML / NLPトップカンファレンス（NeurIPS, ICML, ICLR, ACL, EMNLP等）での論文発表経験
・報酬モデリング / preference learning（RLHF, DPO等）の研究・実装経験
・LLM-as-Judge の校正・rubric設計の経験
・AI安全性・Responsible AI・レッドチーミングに関する知識・経験
・ベンチマーク設計・妥当性検証（IRT, construct validity）の経験
・マルチエージェント・ワークフロー / ツール利用 / ロングコンテキストの評価経験
・大規模データ処理（Spark / BigQuery等）の経験
・CI/CDパイプラインへのML/評価パイプライン組込み経験
・論文読解・再現実装の能力
・英語での技術コミュニケーション能力