KR
위시켓
어려움
상주
Python/Docker 기반 한국어 AI 코딩 벤치마크 평가 과제 제작 전문가
예산
4,000,000원
예상 기간
약 3개월
지원 마감
2026년 10월 16일
난이도
어려움
기술 스택
Python
pytest
Docker
Docker Compose
Linux
SQL
Git
Terminal-Bench
AI 분석 요약 기회점수 68/100
AI 코딩 에이전트가 한국어 지시를 받아 실제 개발 업무를 수행하는 능력을 측정하는 벤치마크(Korean Dev Bench)를 제작하는 프로젝트입니다. HarborFramework와 Terminal-Bench 기반으로 Docker 재현 환경, solve.sh 참조 풀이, pytest 채점기를 갖춘 과제를 기획·작성하고, 실무 버그/장애를 우회가 어려운 문제로 설계해 난이도를 보정합니다. 백엔드·DB·인프라·동시성에 두루 실무 경험이 있고 한국어 기술 문서 작성 및 영문 이슈/PR 독해가 가능한 풀스택 성향 개발자에게 적합합니다.
핵심 요구사항
- Python/pytest 기반 자동화 테스트 및 채점기 작성 능력
- Docker·Docker Compose로 재현 가능한 멀티 컨테이너 과제 환경 구성
- 동시성·트랜잭션·캐시 무효화·자원 누수 등 실무 결함을 과제로 설계하고 우회 불가하게 검증
- SQL/DB 설계·튜닝 및 REST API·CI/CD 실무 경험
- 모호함 없는 한국어 지시문 작성(원어민 수준) 및 영문 이슈/PR 독해
산출물
- Docker 기반 재현 과제 환경(Dockerfile, docker-compose)
- solve.sh 참조 풀이 및 pytest 채점 테스트
- 한국어 지시문(요구사항·입출력 규약·제약 조건)
- task.toml·metadata.jsonl·README 등 메타데이터 및 문서
- AI 모델 실행 결과 기반 난이도 보정 자료
매력 포인트
- 월 400만 원 정규 급여에 식사·유급휴가·장비 지원
- AI 벤치마크/LLM 평가 데이터셋이라는 성장 분야 경험
- 명확한 업무 범위와 산출물 정의
주의사항
- 프리랜서/외주가 아닌 상주 근무 근로계약(서울 강남)으로 재택 불가
- 야간 근무 가능성 명시
- Terminal-Bench/HarborFramework 등 특수 도구 숙지 선행 필요
프로젝트 유형신규개발
적합 개발자4~7년차 백엔드/DevOps 성향 풀스택 개발자 (Python + Docker + SQL, 동시성 경험)
클라이언트 정보
회사위시켓
위치서울특별시 강남구
고용형태CONTRACTOR
프로젝트 원문 설명
프로젝트 소개:
- Korean Dev Bench(가칭)는 AI 코딩 에이전트가 한국어 지시를 받아 실제 개발 업무를 얼마나 해내는지 측정하는 벤치마크입니다.
- HarborFramework 기반으로 제작하며, Docker 환경·정답 풀이·pytest 채점기를 함께 작성하여 Task를 제작합니다.
- 실제 업무에서 겪은 버그와 장애를 AI가 풀어야 할 문제로 바꾸고, 그 문제를 한국어로 정확하게 작성하는 업무를 담당합니다.
프로젝트 진행 상황:
- 프로젝트 시작 단계입니다.
전체 시스템 구성:
- 플랫폼: Linux, Docker, Docker Compose, Terminal-Bench, Harbor Framework
- 사용 언어: Python, SQL
전체 프로젝트 일정:
- 2026년 10월 12일 ~ 2026년 12월 31일 (약 3개월)
모집 인원:
- 경력 4~7년 차 4명 (월 400만 원)
계약 형태:
- 근로계약 (근로계약 체결 시 클라이언트가 수수료를 부담합니다.)
근무 형태:
- 상주 근무 (서울 강남구)
상세 업무:
- 과제 기획 (실무에서 자주 나는 결함과 장애 — 경계값, 경쟁 상태, 캐시 무효화, 트랜잭션, 자원 누수 등 — 을 골라 풀이는 분명하고 우회는 어려운 과제로 설계)
- 한국어 지시문 작성 (모호함 없는 요구사항, 입출력 규약, 제약 조건을 자연스러운 한국어로 작성)
- 실행 환경 구성 (Dockerfile·docker-compose로 재현 가능한 과제 환경 구성, 필요 시 DB·목 API 서버·멀티 컨테이너 구성)
- 정답 풀이와 채점기 작성 (solve.sh 참조 풀이와 pytest 기반 채점 테스트 작성, 부분 수정이나 우회로는 통과하지 못하도록 설계)
- 오픈소스 기반 과제 제작 (실제 저장소의 이슈·PR·CI 로그를 분석해 재현 가능한 스냅샷 과제로 구성)
- 검증과 난이도 보정 (수정 전 코드는 테스트에서 실패하고 참조 풀이는 통과하는지 확인, AI 모델을 실제로 돌려 나온 결과로 난이도 조정)
- 메타데이터와 문서화 (task.toml, metadata.jsonl, README에 난이도 근거·풀이 설명·검증 방식 기록)
필수 기술:
- Python, pytest
- Linux, Git
- Docker, Docker Compose
- REST API
- SQL 및 데이터베이스 (트랜잭션, 스키마 설계, 쿼리 작성 및 튜닝)
- CI/CD
- 동시성 처리
- 자동화 테스트 및 채점기 작성
- 영문 기술 문서 및 GitHub Issue/PR 이해
자격 요건:
- 소프트웨어 개발 실무 경력 3년 이상이신 분 (5년 이상이면 더 좋습니다)
- 아래 4개 분야 중 3개 이상을 실무에서 다룬 경험이 있으신 분
- 프론트엔드: 웹 클라이언트 개발, API 연동
- 백엔드: REST API 설계·구현, 인증·권한, 동시성 처리
- 데이터베이스: SQL 작성과 튜닝, 트랜잭션, 스키마 설계
- 인프라·DevOps: Linux 서버 운영, Docker, CI/CD, 장애 대응
- Python으로 서비스나 도구를 개발한 경험과 pytest 등으로 테스트를 작성한 경험이 있으신 분
- Linux 터미널과 Git, Docker를 일상적으로 사용하시는 분
- 기술 내용을 정확하고 간결한 한국어 문장으로 쓸 수 있는 분 (한국어 원어민 수준)
- 영문 기술 문서, 오픈소스 이슈·PR을 읽고 이해할 수 있는 분
우대 사항:
- 동시성 버그, 메모리·파일 디스크립터 누수, 쿼리 성능 문제를 실제로 추적해 해결한 경험이 있으신 분
- 결제·정산·재고처럼 데이터 정합성이 중요한 서비스에서 일한 경험이 있으신 분
- 운영 중인 서비스의 장애 대응과 사후 분석(포스트모템) 경험이 있으신 분
- 오픈소스 프로젝트에 버그 수정이나 기능 PR을 기여한 경험이 있으신 분
- pandas·numpy 등을 이용한 데이터 파이프라인 개발 경험이 있으신 분
- OpenAPI, Protocol Buffers, XML Schema 같은 인터페이스 규격을 다룬 경험이 있으신 분
- 코딩 테스트 문제 출제, 교육 자료 제작, 기술 문서 작성 경험이 있으신 분
- LLM이나 AI 코딩 도구를 업무에 활용했거나, AI 평가 데이터셋을 만든 경험이 있으신 분
- Terminal-Bench, SWE-bench 등 코딩 벤치마크에 대한 이해가 있으신 분
기타 사항:
- Terminal-Bench에 대한 숙지가 필요합니다.
- 업무용 PC, 모니터, 주변기기를 지원하며 개인 장비 사용도 가능합니다.
- 식사와 유급휴가가 제공됩니다.
- 근무지에 주차 공간은 제공되지 않습니다.
- 프로젝트 상황에 따라 야간 근무가 발생할 수 있습니다.
- 프로젝트에는 클라이언트사 개발팀 4인이 함께 참여합니다.
- Korean Dev Bench(가칭)는 AI 코딩 에이전트가 한국어 지시를 받아 실제 개발 업무를 얼마나 해내는지 측정하는 벤치마크입니다.
- HarborFramework 기반으로 제작하며, Docker 환경·정답 풀이·pytest 채점기를 함께 작성하여 Task를 제작합니다.
- 실제 업무에서 겪은 버그와 장애를 AI가 풀어야 할 문제로 바꾸고, 그 문제를 한국어로 정확하게 작성하는 업무를 담당합니다.
프로젝트 진행 상황:
- 프로젝트 시작 단계입니다.
전체 시스템 구성:
- 플랫폼: Linux, Docker, Docker Compose, Terminal-Bench, Harbor Framework
- 사용 언어: Python, SQL
전체 프로젝트 일정:
- 2026년 10월 12일 ~ 2026년 12월 31일 (약 3개월)
모집 인원:
- 경력 4~7년 차 4명 (월 400만 원)
계약 형태:
- 근로계약 (근로계약 체결 시 클라이언트가 수수료를 부담합니다.)
근무 형태:
- 상주 근무 (서울 강남구)
상세 업무:
- 과제 기획 (실무에서 자주 나는 결함과 장애 — 경계값, 경쟁 상태, 캐시 무효화, 트랜잭션, 자원 누수 등 — 을 골라 풀이는 분명하고 우회는 어려운 과제로 설계)
- 한국어 지시문 작성 (모호함 없는 요구사항, 입출력 규약, 제약 조건을 자연스러운 한국어로 작성)
- 실행 환경 구성 (Dockerfile·docker-compose로 재현 가능한 과제 환경 구성, 필요 시 DB·목 API 서버·멀티 컨테이너 구성)
- 정답 풀이와 채점기 작성 (solve.sh 참조 풀이와 pytest 기반 채점 테스트 작성, 부분 수정이나 우회로는 통과하지 못하도록 설계)
- 오픈소스 기반 과제 제작 (실제 저장소의 이슈·PR·CI 로그를 분석해 재현 가능한 스냅샷 과제로 구성)
- 검증과 난이도 보정 (수정 전 코드는 테스트에서 실패하고 참조 풀이는 통과하는지 확인, AI 모델을 실제로 돌려 나온 결과로 난이도 조정)
- 메타데이터와 문서화 (task.toml, metadata.jsonl, README에 난이도 근거·풀이 설명·검증 방식 기록)
필수 기술:
- Python, pytest
- Linux, Git
- Docker, Docker Compose
- REST API
- SQL 및 데이터베이스 (트랜잭션, 스키마 설계, 쿼리 작성 및 튜닝)
- CI/CD
- 동시성 처리
- 자동화 테스트 및 채점기 작성
- 영문 기술 문서 및 GitHub Issue/PR 이해
자격 요건:
- 소프트웨어 개발 실무 경력 3년 이상이신 분 (5년 이상이면 더 좋습니다)
- 아래 4개 분야 중 3개 이상을 실무에서 다룬 경험이 있으신 분
- 프론트엔드: 웹 클라이언트 개발, API 연동
- 백엔드: REST API 설계·구현, 인증·권한, 동시성 처리
- 데이터베이스: SQL 작성과 튜닝, 트랜잭션, 스키마 설계
- 인프라·DevOps: Linux 서버 운영, Docker, CI/CD, 장애 대응
- Python으로 서비스나 도구를 개발한 경험과 pytest 등으로 테스트를 작성한 경험이 있으신 분
- Linux 터미널과 Git, Docker를 일상적으로 사용하시는 분
- 기술 내용을 정확하고 간결한 한국어 문장으로 쓸 수 있는 분 (한국어 원어민 수준)
- 영문 기술 문서, 오픈소스 이슈·PR을 읽고 이해할 수 있는 분
우대 사항:
- 동시성 버그, 메모리·파일 디스크립터 누수, 쿼리 성능 문제를 실제로 추적해 해결한 경험이 있으신 분
- 결제·정산·재고처럼 데이터 정합성이 중요한 서비스에서 일한 경험이 있으신 분
- 운영 중인 서비스의 장애 대응과 사후 분석(포스트모템) 경험이 있으신 분
- 오픈소스 프로젝트에 버그 수정이나 기능 PR을 기여한 경험이 있으신 분
- pandas·numpy 등을 이용한 데이터 파이프라인 개발 경험이 있으신 분
- OpenAPI, Protocol Buffers, XML Schema 같은 인터페이스 규격을 다룬 경험이 있으신 분
- 코딩 테스트 문제 출제, 교육 자료 제작, 기술 문서 작성 경험이 있으신 분
- LLM이나 AI 코딩 도구를 업무에 활용했거나, AI 평가 데이터셋을 만든 경험이 있으신 분
- Terminal-Bench, SWE-bench 등 코딩 벤치마크에 대한 이해가 있으신 분
기타 사항:
- Terminal-Bench에 대한 숙지가 필요합니다.
- 업무용 PC, 모니터, 주변기기를 지원하며 개인 장비 사용도 가능합니다.
- 식사와 유급휴가가 제공됩니다.
- 근무지에 주차 공간은 제공되지 않습니다.
- 프로젝트 상황에 따라 야간 근무가 발생할 수 있습니다.
- 프로젝트에는 클라이언트사 개발팀 4인이 함께 참여합니다.
위시켓에서 원본 확인
원본 보기