AI Infrastructure Lead Engineer

Japanese follows below. / 日本語は英語の下にあります。

[English]

Build the systems behind a product nobody has seen yet.

Enterprises are moving AI agents from pilots into production, and how those agents run on GPUs is starting to matter for both cost and performance. datagusto is building an unannounced product for that layer.

You’d join a new product at the very start, in a two-person team. You report to the CTO, who leads the product and makes the final design decisions. The systems are yours to build, from MVP to production in customers’ GPU environments.

This role is for engineers with a few years of production experience who want a harder problem, real ownership, and a chance to change how enterprises run AI agents. If you believe you’re the one to build this, apply.

What you’ll do

• Run the product’s core logic on real GPU clusters, integrated with customers’ existing stacks (Kubernetes, open-source LLM serving)
• Build the instrumentation the product depends on
• Turn the Applied Scientist’s models into a reliable production system
• Deploy in customer environments, including on-premises, and validate results with their engineers

What you bring

• 3+ years of professional software development, with production systems built in Python or Rust (Go is fine)
• Production LLM inference on GPUs that you operated and modified yourself (Kubernetes, Slurm, or similar)
• Production distributed systems that you built, operated, and debugged (concurrency, networking, performance)
• Hands-on work with current LLM APIs (tool calling, structured outputs, token accounting)
• Heavy use of coding agents, without taking their output at face value
• Technical reading and writing in English

Bonus: agentic inference workloads, contributions to vLLM or SGLang, very high-volume systems, business-level Japanese.

Not for you if you only want to optimize GPU kernels or inference engine internals, or to work only on internal infrastructure.

How it starts

We’re still a small company, so we’d like to begin by getting to know each other. The next step is a casual conversation with our CEO or CTO. A technical interview and a paid work assignment (AI tools allowed) come later.

The role starts part-time by default, with the option to move to full-time. Compensation is salary plus stock options. Hongo Sanchoume, Tokyo (hybrid), with travel to customer sites in Japan, Asia, and the US. Product details are shared under NDA during the process.

About the company and team: https://datagusto.github.io/datagusto_careers/product-engineer-en.html#team (our Product Engineer page; the company and team sections apply to this role too)

[日本語]

まだ誰も見たことのないプロダクトの、システムを作る。

企業のAIエージェントは、試験導入から本番運用へと移りつつあります。それに伴い、エージェントをGPU上でどう動かすかが、コストと性能の両面で重要になってきました。datagustoは、この領域に向けた未発表のプロダクトを開発しています。

新規プロダクトの立ち上げ初期に、2人チームの一員として加わっていただきます。レポート先はCTOで、CTOがプロダクトを率い、設計の最終判断を行います。システムを作るのはあなたです。MVPから、顧客のGPU環境で動く本番システムまでを担います。

数年の本番開発経験があり、もっと難しい課題と大きな裁量を求めていて、企業がAIエージェントを動かす方法を変えたい。そんなエンジニアのためのポジションです。我こそはという方は、ぜひ挑戦してください。

仕事内容

• プロダクトのコアロジックを実際のGPUクラスタで動かし、顧客の既存スタック（Kubernetes、オープンソースのLLMサービング）と統合する
• プロダクトの土台となる計測基盤を構築する
• Applied Scientistが設計したモデルを、安定して動く本番システムにする
• オンプレミスを含む顧客環境にデプロイし、顧客のエンジニアと結果を検証する

求める経験

• ソフトウェア開発の実務経験3年以上。PythonまたはRust（Goも可）で本番システムを開発した経験
• GPU上のLLM推論を本番で運用し、自分で手を入れた経験（Kubernetes、Slurmなど）
• 分散システムを本番で構築・運用し、自分でデバッグした経験（並行処理、ネットワーク、性能）
• 最新のLLM APIを使った開発経験（tool calling、structured outputs、トークン管理）
• コーディングエージェントを使い込みつつ、出力を鵜呑みにしないこと
• 英語での技術文書の読み書き

歓迎する経験: エージェント型の推論ワークロード、vLLMやSGLangへのコントリビューション、大量リクエストを処理するシステム、ビジネスレベルの日本語

向いていない方: GPUカーネルや推論エンジン内部の最適化だけをしたい方、社内インフラだけを扱いたい方

最初のステップ

まだ小さな会社なので、まずはお互いを知るところから始めたいと考えています。次のステップは、CEOまたはCTOとのカジュアル面談です。その後、技術面接と有償の課題（AIツール使用可）に進みます。

基本的にはパートタイムからのスタートで、フルタイムへの移行も可能です。報酬は給与とストックオプションです。勤務地は東京・本郷3丁目（リモート併用）で、国内とアジア・米国の顧客先への出張があります。プロダクトの詳細は、選考の中でNDAを結んだうえでお伝えします。

会社とチームについて: https://datagusto.github.io/datagusto_careers/product-engineer-en.html#team （Product Engineer職のページですが、会社とチームの紹介はこのポジションにも共通です）