Software Engineer, Platform Engineering - AI/GPU Infra (On-Prem) - Mercari

JD in Japanese follows. 英文の後に和文JDをご覧いただけます。

Software Engineer, Platform Engineering - AI/GPU Infra (On-Prem) - Mercari

• Employment Status: Permanent
• Work Hours: Full Flextime (no core time)
• Office: Roppongi

For more details, see the Overview of Our Positions section on our Careers site.

About Mercari

Circulate all forms of value to unleash the potential in all people

"What can I do to help society thrive with the finite resources we have?" The Mercari marketplace app was born in 2013 out of this thought by our founder Shintaro Yamada as he traveled the world. We believe that by circulating all forms of value, not just physical things and money, we can create opportunities for anyone to realize their dreams and contribute to society and the people around them. Mercari aims to use technology to connect people all over the world and create a world where anyone can unleash their potential. For more information about Mercari Group's mission, see Mercari’s Culture Doc.

Organization/Team Mission

Mercari Engineering Principles

Mercari Engineering Principles are a shared understanding that serves as the foundation of engineering beliefs and behavior at Mercari. The Engineering Principles are designed to complement the organizational identity (Mercari's mission, values, and culture) from an engineering viewpoint. These principles ultimately help us achieve Mercari's mission by defining the ideal state we seek to realize in the long term.

• Passion For The Product
• Grow Together
• Solve Through Mechanisms
• Collaborate Openly

For more details, please see Engineering Culture.

See here for more information about our mission and values.

The Platform team helps Mercari engineers deliver more reliable services and improve development efficiency by managing the entire network — from edge areas such as the CDN to the cloud, service mesh (Istio), and physical data centers. As Mercari invests in self-hosted compute for its AI/LLM initiatives, we are building a new on-premises GPU infrastructure capability within the team. This role owns the on-prem side: securing data-center facilities and building the network foundation that enables GPU compute, and integrating it securely with our existing cloud and platform networks. We are primarily looking for a data-center (DC) network engineer — ideally with hands-on GPU installation and maintenance experience — who will also collaborate closely with our Corporate IT team on facilities, connectivity, and on-site operations.

Work Responsibilities

• Design, build, and operate Mercari's on-prem DC/GPU infrastructure, including data-center facilities (racks, power, cooling) and the supporting network
• Design and build the network foundation for GPU workloads: compute fabric (InfiniBand/RoCE), storage/in-band, service network, and isolated OOB management
• Design, configure, and operate routing for the on-prem GPU fabric and its cloud/platform interconnects using BGP (and OSPF/IS-IS, VLAN/VRF as needed), including ASN planning, route summarization, and routing policy
• Coordinate with data-center providers and SI partners on facility readiness, equipment procurement, lead times, and remote-hands/installation work
• Manage Mercari's internal data center end to end, including vendor/SI discussions, commercial negotiations, and contract & procurement handling
• Perform hands-on, on-site data-center networking work — running and changing cabling, and configuring routers, switches, firewalls, and other network devices (this role requires regular physical visits to our data center)
• Integrate the on-prem DC/GPU environment securely with existing corporate, cloud (GCP/AWS), and platform networks
• Establish monitoring, alerting, logging, and operational handoff for GPU systems and network devices
• Support GPU PoC execution and help define the path from PoC to production
• Automate provisioning and operations, and manage configuration as code (IaC)
• Collaborate closely with the Corporate IT team on data-center facilities, connectivity, and on-site operations (this collaboration is required for the role)
• Collaborate with ML Platform, Infrastructure, Security, and Procurement stakeholders
• Own data-center facility readiness (rack, power, cooling, carry-in routes), including NVIDIA pre-delivery site survey confirmation for DGX B200/B300-class nodes
• Drive RFP, quotation, and vendor selection cycles with partners, and own NDA, R&R/RACI, contract, and PO handling together with Procurement
• Prepare technical and cost materials for internal approval gates (JB Engineering board, investment committee, Procurement Team), including TCO/ROI comparison against cloud GPU/TPU
• Build and operate storage and dataset paths for models and checkpoints, and keep the stack portable between on-prem and GCP/GKE so workloads can fall back to cloud
• Define and operate SLOs, on-call, incident response, runbooks, and BCP/DR for the on-prem inference environment, aligned with Mercari SRE practices
• Bring on-prem GPU and compute nodes to parity with Mercari's cloud security posture (asset visibility, endpoint/posture tooling, audited bastion, isolated OOB access) together with Enterprise Security
• Track and report GPU utilization, power, and token-cost savings with FinOps as capacity scales from the first node to multi-node
  
  

Unique Challenges

• Stand up Mercari's first on-premises GPU infrastructure largely from the ground up, owning facility, network, and operational readiness end to end
• Bridge cloud-native networking practices with traditional data-center and on-prem operations
• Work with high-density compute systems (e.g., DGX B200-class) and high-speed fabrics (e.g., 400G InfiniBand/RoCE)
• Make pragmatic decisions under evolving requirements and procurement timelines, while keeping the management plane isolated and the environment secure and supportable
• Scale from a single 8-GPU PoC node to a multi-node environment without redesigning the foundation
• Operate a hybrid model where on-prem small language models and external frontier LLMs are routed per use case and cost/sensitivity policy
• Establish on-prem operational practice inside a fully cloud-native organization, including compliance expectations such as PCI-DSS and ISMS
  
  

Qualifications

Required Experience/Skills

• Strong networking fundamentals (TCP/IP, IP address management, OSI layers 2–7, routing, DNS, TLS, HTTP)
• Hands-on experience designing, configuring, and troubleshooting data-center routing and switching, especially BGP (ASN planning, route summarization, and routing policy), as well as OSPF, VLAN/VRF
• Hands-on experience designing and operating physical/data-center networking (switches, routers, firewalls, structured cabling)
• Production experience operating Linux servers
• Hands-on data-center experience, including for GPU/high-density systems: physically installing and changing cabling and configuring routers, switches, and firewalls on-site (this role requires regular in-person visits to our data center)
• Experience with data-center operations: racks, power, cooling, cross-connects, and coordinating remote-hands / installation work
• Hands-on experience with data-center physical/facility operations, including power equipment and circuit switching (PDUs, breakers, circuit changes), and responding to outages and production incidents
• Experience managing data-center vendors and SI partners, including commercial discussions and contract/procurement handling
• Experience integrating on-prem and cloud networks (GCP or AWS), including VPN, proxies, and routing
• Security mindset in network design and operations: firewall rule design and management, egress/outbound policies, and network segmentation/isolation
• Ability to automate workflows using Python or Bash and to manage configuration using Infrastructure as Code (IaC)
• Experience writing design documents and working with internal stakeholders and external vendors/SIers
• Experience running production infrastructure in Japanese data centers, including carry-in planning, site surveys, and facility coordination conducted in Japanese
• Experience operating Linux/GPU nodes as a fleet: provisioning, firmware and driver lifecycle, monitoring, and incident response
• Experience defining SLOs and participating in on-call for a production platform
• Experience producing internal approval and procurement documentation (cost model, ROI, risks) for executive-level review
• Empathy with Mercari's mission and values
  
  

Preferred Experience/Skills

• Experience with GPU/HPC infrastructure and high-performance fabrics such as InfiniBand or RoCE
• Experience designing modern data-center fabrics: spine/leaf and border-leaf architectures, and EVPN-VXLAN (GPU environments preferred, CPU/general-purpose environments also welcome)
• Experience with networking for bare-metal provisioning, such as DHCP-relay and PXE boot design
• Hands-on experience installing and maintaining GPU systems/servers in a data center — physical installation, cabling, and ongoing maintenance (strongly preferred)
• Experience operating NVIDIA DGX or similar GPU appliances
• Experience with out-of-band management (BMC/Redfish/IPMI) and PDU management
• Experience designing high-density data-center environments (high kW/rack, cooling strategy)
• Knowledge of ML/LLM serving infrastructure and GPU scheduling
• Experience working with SI partners and procurement processes
• Experience developing infrastructure or middleware using Go or Python
• Experience operating LLM inference in production with vLLM, NVIDIA NIM/Triton, or similar, using OSS models such as Qwen, Gemma, or Llama
• Experience with GPU scheduling and orchestration: Kubernetes with GPU Operator, Run:ai, or Slurm
• Experience with hybrid GCP integration: GKE, Workload Identity Federation, split-horizon DNS, and cloud fallback paths
• Familiarity with NVIDIA AI Enterprise licensing and support contracts, and with Japanese vendor/SI management
• Experience extending security posture tooling (asset inventory, EDR, CSPM) from a cloud estate to on-prem nodes
• Knowledge of PCI-DSS or ISMS requirements as they apply to in-scope network and data-center environments
• Experience with high-performance storage for AI workloads (Lustre, VAST, WEKA) and object-storage/GCS dataset pipelines
  
  

Language

• Japanese: Proficient (CEFR – C1)
• required for this role (frequent communication with domestic data-center and vendor partners)
• English: Independent（CEFR-B1）
• Business communication level is sufficient (fluency is not required)

For details about CEFR, see here.

Learn More About Mercari Group

• Careers site: https://careers.mercari.com/
• Mercan: https://mercan.mercari.com/
• Social media: X https://twitter.com/mercari_eng / LinkedIn https://www.linkedin.com/company/mercari/
• How we reorganize the platform team
• Legacy Image Provider to Cloudflare Images: Traffic Estimation and Safe Rollout
• Kubernetes Cluster migration on the Mercari Microservices Platform
  
  

Recruiting at Mercari

At Mercari Group, we value empathizing with and embodying the mission and values of the Group and each company. To promote the creation of an organization that maximizes the total amount of value exhibited by all members, we would like to understand the experience and skills of each candidate as accurately as possible.

Recruiting cycle at Mercari Group

• Application screening
• Skill assessment: For engineering positions, you will be asked to complete a skill assessment on HackerRank or GitHub. For non-engineering positions, you may be asked to complete an assessment depending on the position. (The timing of the assessment may coincide with the interview process.)
• Interview: The number of interviews may vary depending on the position.
• Reference check: We will ask for online references around the timing of the final interview.
• Offer: Offers will be determined carefully in consideration of the final interview and the reference check.

Learn more about our recruiting process here.

Equal Opportunity Hiring

Here at Mercari, we work to realize a world in which no one's potential is limited by their background and everyone has the opportunity to freely create value. We also firmly believe that a mindset of Inclusion & Diversity is essential for us to achieve our mission.

This, of course, extends to our hiring practices as well. Mercari is committed to eliminating discrimination based on age, gender, sexual orientation, race, religion, physical disability, and other such factors so that anyone who shares our mission and values can join us, regardless of their background. For more details, please read our I&D statement.

Please read and acknowledge our Privacy Policy prior to submitting your application.

Software Engineer, Platform Engineering - AI/GPU Infra (On-Prem) - Mercari

• 雇用形態： 正社員
• 働き方： フレックスタイム制（コアタイムなし）
• 勤務地： 六本木

詳細はキャリアサイトの募集要項よりご確認ください。

メルカリグループについて

あらゆる価値を循環させ、あらゆる人の可能性を広げる

「地球資源が限られているなか、より豊かな社会をつくるために何ができるか」。2013年、創業者の山田進太郎が世界一周の旅で抱いた課題意識から、フリマアプリ「メルカリ」は生まれました。私たちは、物理的なモノやお金に限らずあらゆる価値を循環させることで、誰もがやりたいことを実現し、人や社会に貢献するための選択肢を増やすことができると信じています。テクノロジーの力で世界中の人々をつなぎ、あらゆる人の可能性が発揮される世界を実現していきます。メルカリグループの目指すべき方針については Mercari Culture Doc をご覧ください。

組織・チームのミッション

Mercari Engineering Principles

Mercari Engineering Principles は、メルカリのエンジニアリング組織における信念や行動の基盤となる共通認識を明文化したもので、メルカリのメンバー全員が共有するMission、Value、Cultureをエンジニアリングの視点から補完するものとなります。これらのPrinciplesは、私たちが長期的に実現しようとする理想的な姿を定義することで、最終的にメルカリのミッションを達成するために活用していきます。

• Passion For The Product
• Grow Together
• Solve Through Mechanisms
• Collaborate Openly

詳細についてはエンジニアリングカルチャー をご覧ください。メルカリのミッション・バリューについての詳細はこちらをご覧ください。

Platformチームは、CDNなどのエッジ領域からクラウド、サービスメッシュ（Istio）、物理データセンターに至るまでネットワーク全体を管理し、メルカリのエンジニアがより信頼性の高いサービスを提供し、開発効率を向上できるよう支援しています。メルカリがAI／LLM領域に向けて自社保有のコンピューティング基盤への投資を進めるなか、私たちはチーム内に新たにオンプレミスGPUインフラを担う役割を立ち上げます。本ポジションはそのオンプレ側のオーナーとして、データセンター設備の確保とGPUコンピューティングを支えるネットワーク基盤の構築、そして既存のクラウド・プラットフォームネットワークとの安全な統合を担います。私たちは主にデータセンター（DC）ネットワークエンジニアを求めており、GPUの設置・保守の実務経験をお持ちの方を特に歓迎します。また、本ポジションでは設備・接続・現地作業に関してコーポレートITチームと密に連携いただきます。

業務内容（具体的な業務）

• データセンター設備（ラック・電源・冷却）と、それを支えるネットワークを含む、メルカリのオンプレミスGPUインフラの設計・構築・運用
• GPUワークロード向けネットワーク基盤の設計・構築：コンピュートファブリック（InfiniBand／RoCE）、ストレージ／インバンド、サービスネットワーク、分離されたOOB管理
• オンプレGPUファブリックおよびクラウド／プラットフォーム接続におけるBGP（必要に応じてOSPF／IS-IS、VLAN／VRFを含む）によるルーティングの設計・構成・運用（ASN設計、経路集約、ルーティングポリシーを含む）
• データセンター事業者およびSIパートナーとの設備準備、機器調達、リードタイム、リモートハンズ／設置作業に関する調整
• 社内データセンターのエンドツーエンドの管理（ベンダー／SIとの折衝、商談・交渉、契約・調達対応を含む）
• データセンターでの実地ネットワーク作業（ケーブルの敷設・交換、ルーター・スイッチ・ファイアウォール等の機器設定）。本ポジションではデータセンターへの定期的な現地訪問が必要です
• オンプレGPU環境と既存のコーポレート・クラウド（GCP／AWS）・プラットフォームネットワークとの安全な統合
• GPUシステムおよびネットワーク機器の監視・アラート・ログ・運用引き継ぎの確立
• GPU PoCの実行支援、およびPoCから本番運用に至る道筋の定義
• プロビジョニングや運用の自動化、Infrastructure as Code（IaC）による構成管理
• データセンター設備・接続・現地作業に関するコーポレートITチームとの密な連携（本ポジションでは必須）
• ML Platform、インフラ、セキュリティ、調達など各ステークホルダーとの協働
• データセンター設備（ラック・電源・冷却・搬入経路）準備のオーナーシップ。DGX B200／B300クラスのNVIDIA Pre-delivery Site Surveyの確認・宣言を含む
• パートナーとのRFP・見積・選定サイクルの推進、および調達チームと連携したNDA・R&R／RACI・契約・PO対応
• 社内承認プロセス（JB Engineering board、投資委員会、Procurement Team）向けの技術・コスト資料の作成（クラウドGPU／TPUとのTCO・ROI比較を含む）
• ローカルLLMサービング基盤を支えるノード／GPUソフトウェアスタックの運用（NVIDIAドライバ／CUDA／NCCL、GPU Operator、DCGM、コンテナランタイム）、およびサービングスタック（vLLM、NVIDIA NIM）とLiteLLMルーティング層との連携
• モデル・チェックポイント向けストレージとデータ経路の構築・運用、およびオンプレとGCP／GKE間でワークロードをクラウドにフォールバックできるポータビリティの維持
• オンプレ推論環境のSLO・オンコール・障害対応・Runbook・BCP／DRの定義と運用（Mercari SREのプラクティスと整合）
• Enterprise Securityと連携し、オンプレGPU／コンピュートノードをクラウドと同等のセキュリティ水準に引き上げる取り組み（資産可視化、エンドポイント／ポスチャ管理、監査可能な踏み台、分離されたOOBアクセス）
• FinOpsと連携したGPU利用率・電力・トークンコスト削減のトラッキングとレポーティング（1ノードからマルチノードへのスケールを見越した対応）
  
  

ユニークなチャレンジ

• メルカリ初のオンプレミスGPUインフラをほぼゼロから立ち上げ、設備・ネットワーク・運用の準備をエンドツーエンドでオーナーシップを持って推進
• クラウドネイティブなネットワーク手法と、従来型のデータセンター／オンプレ運用との橋渡し
• 高密度コンピューティングシステム（例：DGX B200クラス）や高速ファブリック（例：400G InfiniBand／RoCE）の取り扱い
• 要件や調達スケジュールが変化するなかで現実的な意思決定を行いつつ、管理プレーンを分離し、安全かつ運用可能な環境を維持
• 8GPU 1ノードのPoC環境から、基盤設計をやり直さずにマルチノード構成へ拡張
• オンプレの小規模言語モデルと外部フロンティアLLMを、ユースケースおよびコスト・データ機密性のポリシーに応じて使い分けるハイブリッド運用
• フルクラウドネイティブな組織の中でオンプレ運用のプラクティスを立ち上げ、PCI-DSSやISMS等のコンプライアンス要求にも対応
  
  

応募要件

求める経験・スキル

• ネットワークに関する強固な基礎知識（TCP/IP、IPアドレス管理、OSIレイヤー2〜7、ルーティング、DNS、TLS、HTTP）
• データセンターのルーティング／スイッチング、特にBGP（ASN設計、経路集約、ルーティングポリシー）の設計・構成・トラブルシュートの実務経験（OSPF、VLAN／VRFを含む）
• 物理／データセンターネットワーク（スイッチ、ルーター、ファイアウォール、構造化配線）の設計・運用の実務経験
• 本番環境におけるLinuxサーバーの運用経験
• GPU／高密度システムを含むデータセンターでの実地経験：現地でのケーブルの敷設・交換、ルーター・スイッチ・ファイアウォールの設定（本ポジションではデータセンターへの定期的な現地訪問が必要です）
• ラック・電源・冷却・クロスコネクトなどのデータセンター運用、およびリモートハンズ／設置作業の調整経験
• データセンターの物理・設備運用の実務経験（電源設備の取り扱い、回路切り替え（PDU・ブレーカー・回路変更）を含む）、および障害対応・本番トラブル対応の経験
• データセンターのベンダーやSIパートナーの管理経験（商談・交渉、契約・調達対応を含む）
• オンプレとクラウド（GCPまたはAWS）のネットワーク統合（VPN、プロキシ、ルーティングを含む）の経験
• ネットワーク設計・運用におけるセキュリティマインド：ファイアウォールのルール設計・管理、Egress（外向き通信）ポリシー、ネットワークのセグメンテーション／分離
• PythonやBashを用いたワークフローの自動化、およびInfrastructure as Code（IaC）による構成管理の能力
• デザインドキュメントの作成、社内ステークホルダーや社外ベンダー／SIerとの連携経験
• 国内データセンターでの本番インフラ運用経験（搬入計画、サイトサーベイ、日本語での設備調整を含む）
• Linux／GPUノードをフリートとして運用した経験（プロビジョニング、ファームウェア・ドライバのライフサイクル管理、監視、障害対応）
• 本番プラットフォームにおけるSLOの定義およびオンコール対応の経験
• コストモデル・ROI・リスクを含む社内承認／調達ドキュメントを作成し、経営層レビューを通した経験
• メルカリのミッションやバリューに対する共感
  
  

歓迎する経験・スキル

• GPU／HPCインフラ、およびInfiniBandやRoCEなどの高性能ファブリックの経験
• モダンなデータセンターファブリックの設計経験：Spine／Leaf・Border Leaf構成、EVPN-VXLAN（GPU環境の経験を歓迎、CPU／汎用環境の経験も可）
• ベアメタルプロビジョニングに関わるネットワーク（DHCPリレー、PXEブート）の設計経験
• データセンターにおけるGPUシステム／サーバーの設置・保守の実務経験（物理設置、配線、継続的なメンテナンス）※特に歓迎
• NVIDIA DGXまたは同等のGPUアプライアンスの運用経験
• アウトオブバンド管理（BMC／Redfish／IPMI）やPDU管理の経験
• 高密度データセンター環境（高kW／ラック、冷却戦略）の設計経験
• ML／LLMサービング基盤やGPUスケジューリングに関する知識
• SIパートナーや調達プロセスとの協働経験
• GoやPythonを用いたインフラやミドルウェアの開発経験
• 本番環境でのLLM推論運用経験（vLLM、NVIDIA NIM／Triton等、およびQwen・Gemma・Llama等のOSSモデル）
• GPUスケジューリング／オーケストレーションの経験（Kubernetes＋GPU Operator、Run:ai、Slurm）
• GCPとのハイブリッド統合の経験（GKE、Workload Identity Federation、DNSの内外分離、クラウドフォールバック）
• NVIDIA AI Enterpriseのライセンス・サポート契約、および国内ベンダー／SI管理に関する知見
• クラウドで運用しているセキュリティポスチャ管理ツール（資産インベントリ、EDR、CSPM）をオンプレノードへ拡張した経験
• PCI-DSSやISMSの対象となるネットワーク／データセンター環境における要件の知識
• AIワークロード向け高性能ストレージ（Lustre、VAST、WEKA）およびGCS等オブジェクトストレージを用いたデータパイプラインの経験
  
  

語学力

• 日本語：Proficient (CEFR – C1)
• 本ポジションでは必須。国内のデータセンターやベンダーとの折衝が多いため
• 英語：Independent（CEFR-B1）
• コミュニケーションが取れるレベルで問題ありません（流暢である必要はありません）

※CEFRの詳細については、こちらをご覧ください。

メルカリグループについて知る

• キャリアサイト https://careers.mercari.com/
• メルカン：https://mercan.mercari.com/
• SNS：X https://twitter.com/mercari_eng / LinkedIn https://www.linkedin.com/company/mercari/
• How we reorganize the platform team
• レガシー画像プロバイダーからCloudflare Imagesへ：トラフィック推計と安全なロールアウト
• Mercari Microservices PlatformにおけるKubernetes Cluster移行
  
  

選考について

メルカリグループではメルカリグループおよび各カンパニーのミッションとバリューへの共感・体現を大切にしています。メンバーが発揮する価値の総量が最大化されるような組織づくりを推進するために、候補者のみなさんの経験やスキルをより正しく理解したいと考えています。

選考の流れ

• 書類選考
• 技術課題：エンジニアポジションではHackerRankまたはGithubでの技術課題を、エンジニア以外のポジションでは採用ポジションによります（面接タイミングと前後することがあります）
• 面接：ポジションにより、複数回の面接をお願いします
• リファレンス：オンライン回答形式のもので、最終選考の前後でお願いします
• オファー：最終選考とリファレンスの内容より決定されます

※詳しくはこちらのページをご覧ください。

選考における機会の平等

メルカリでは、バックグラウンドによって個人の可能性が決めつけられることなく、自由に価値を生みだす機会を手にできる社会の実現を目指しています。そしてメルカリがミッションを実現するために「Inclusion & Diversity」という考え方は不可欠な存在だと考えています。採用活動においても、メルカリのミッション・バリューに共感する、様々なバックグラウンドの方にジョインしていただけるよう、年齢、性別、性的指向、人種、宗教、身体能力、その他記号に基づくあらゆる差別をなくすことを約束します。詳しくは、I&D statementをご覧ください。なお、ご応募の際にはプライバシーポリシーをご確認ください。