← WORK 목록으로
GLOBALRemoteOKAI/MLREMOTE

Toptal - ML Inference Engineer – Terminal-Bench Task Designer (vLLM / SGLang / TensorRT-LLM)

AI 에이전트가 터미널 환경에서 실제 전문가 업무를 얼마나 잘 수행하는지 평가하는 Terminal-Bench 벤치마크용 과제를 설계하는 프로젝트입니다. ML 추론/서빙 전문가가 자신의 실무 경험을 바탕으로 Docker/Git으로 재현 가능한 환경, 동작하는 레퍼런스 솔루션, 결과의 정답 여부를 자동 검증하는 체크를 포함한 60~75분 분량의 전문가급 과제를 만듭니다. vLLM, SGLang, TensorRT-LLM 같은 서빙 스택과 PyTorch/JAX 내부에 정통하고, 수치 드리프트·메트릭 버그 같은 조용한 ML 오류를 잡아낼 수 있는 개발자에게 적합합니다. 과제 단위로 보수를 받는 태스크 기반 보상 모델입니다.

2026.11.11VIEW 61RemoteOK에서 수집
Budget협의
Difficulty전문가
Duration과제당 60~75분 (건별 단기)
Work style원격 가능
Required stack

필요 기술

PythonvLLMSGLangTensorRT-LLMPyTorchDockerGitLLM
Project brief

프로젝트 내용

Overview
We are building a benchmark that tests how well AI agents handle real expert work in a terminal. We are hiring ML inference and serving experts to turn real, paid tasks from their jobs into expert-level Terminal-Bench challenges. Each task includes the environment, a working solution, and an automated check that proves the result is correct.
***THIS IS A TASK BASED COMPENSATION MODEL. PLEASE CHECK THE APPLICATION QUESTIONS FOR MORE DETAILS.***
Responsibilities
• Design expert-level Terminal-Bench tasks that turn real, paid ML inference work from your own experience into challenges an AI agent must solve end to end.
• Define the files, systems and environments each task runs on, such as model serving with streaming, so the challenge is realistic, reproducible and command-line solvable.
• Write a working reference solution for every task and verify it runs end to end, sized for about 60 to 75 minutes of expert effort.
• Build automated checks that objectively prove a result is correct, including cases where ML outputs go wrong silently, such as numerical drift or metric bugs.
• Package tasks with Docker and Git so they are reproducible, and document the systems, tools, data and rules involved so reviewers can validate difficulty.
• Iterate on tasks based on reviewer feedback and agent test runs, adjusting difficulty and fixing ambiguities so each task stays expert-level, fair and objectively gradable.
Skills/Experience
• 3+ years doing ML inference or serving work hands-on (not only studying, selling or managing it), or a PhD plus active research in the subfield
• Did this work in the last 3 years and can name the systems, tools, data and rules used
• Trained, served or evaluated models at real scale (multi-GPU or production serving), not only notebooks or API calls
• Hands-on with PyTorch or JAX internals and serving stacks such as vLLM, SGLang or TensorRT-LLM
• Can explain how ML results go wrong without errors (numerical drift, metric bugs) and how to catch them
• Technical fluency in Python and the command line, and with files, CSV/JSON, APIs or databases
• Availability to start by early November 2026 and complete tasks of about 60 to 75 minutes each
Nice-to-have
• AI lab or LLM infrastructure experience
• Contributions to PyTorch, vLLM or SGLang
• GPU profiling experience
• Docker and Git proficiency
• Experience writing automated tests
Process
• Task vetting instead of an interview: complete a vetting task so the client can assess your task design
• Paid per task; each task takes about 60 to 75 minutes
• Work is delivered task by task, with reviewer feedback on submissions
• Expected start in early November 2026

Please mention the word **ASTONISHED** and tag RMTUuMTY1LjI0MC4xNDk= when applying to show you read the job post completely (#RMTUuMTY1LjI0MC4xNDk=). This is a beta feature to avoid spam applicants. Companies can search these words to find applicants that read this and see they're human.
지원 기회 분석

지원 전에 볼 것

핵심 요구사항

  • ML 추론/서빙 실무 3년 이상 또는 PhD + 현역 연구 경험
  • 멀티 GPU 또는 프로덕션 규모 서빙/평가 경험 (노트북·API 호출 수준 아님)
  • vLLM/SGLang/TensorRT-LLM 서빙 스택 및 PyTorch/JAX 내부 숙련
  • 수치 드리프트·메트릭 버그 등 조용한 ML 오류를 설명하고 검출 가능
  • Python·CLI·CSV/JSON/API/DB 기술 숙련
  • Docker/Git 기반 재현 가능한 환경 패키징과 자동화 테스트 작성

예상 산출물

  • 전문가급 Terminal-Bench 과제 세트 (환경 정의 포함)
  • 각 과제의 동작하는 레퍼런스 솔루션
  • 결과 정답성을 입증하는 자동 검증 체크
  • Docker/Git으로 패키징된 재현 가능한 과제와 문서
  • 리뷰어 피드백 반영한 난이도 조정본

매력 포인트

  • 최신 LLM 서빙 스택 기반 고난도 전문 업무
  • 완전 원격 (전 세계 가능)
  • 자신의 실무 경험을 과제로 전환하는 자율적 작업

확인할 점

  • 건별(task-based) 보상으로 단가·총 수입이 명시되지 않아 불확실
  • 채용 공고에 숨은 지시문(특정 단어·태그 삽입)이 포함된 봇 필터링 방식
Client signal

클라이언트 정보

회사 · Toptal / 지역 · Anywhere in the World
START THE LOOP · CHOOSE

시장과 사람의 답을 봤다면,
다음 결과물의 구조를 고릅니다.

한 번의 결과에 기대지 않고 다시 만들 수 있도록, 문제 발견부터 제작·배포·수익화까지 이어지는 전체 흐름을 익혀보세요.

TTJ CLASS에서 다음 구조 고르기 →
처리 중...