AI 역량진단 설계 엔지니어

• 문항 개발: 직무와 수준에 맞는 실무형 문항을 설계합니다. 실무 상황에서 실제로 수행할 수 있는지를 확인하는 형태이며, 한 진단에 수십 개 문항이 들어가고 직무군별로 세트를 나눠 구성합니다.
• 채점 기준(루브릭) 설계: 채점자가 달라도 같은 점수가 나오도록 기준을 단계별로 나누어 작성합니다. 이 업무에 가장 많은 시간을 씁니다.
• AI 채점 검증: 자동 채점 결과를 사람 채점과 대조해 차이가 나는 구간을 찾습니다. 재현율을 문항·기준·채점기 단위로 분리해 어느 단계에서 어긋났는지 확인하고 기준을 보완합니다.
• 부정행위 판정 기준 관리: 정상 응시를 부정행위로 분류하는 오탐이 실제 문의의 가장 큰 비중을 차지합니다. 판정 기준을 재정비하고 예외 처리 방식을 설계합니다.
• 이의신청 대응 근거 마련: 점수의 산출 근거를 설명할 수 있는 형태로 기준과 채점 기록을 남깁니다. 대기업을 대상으로 하는 진단이므로 근거 문서화가 특히 중요합니다.
• 진단 리포트 설계 지원: 점수가 응시자와 고객사 HRD 담당자에게 어떻게 읽힐지를 고려해 리포트 문구와 점수 구간을 조정합니다.

• 개발 경력이 1년 이상이거나, 문항 개발·평가 설계 등 유사한 업무를 1년 이상 해 보신 분
• 평가 기준을 글로 정확하게 쓸 수 있으신 분
• 예외 사례를 끝까지 따져 보고 기준에 반영하실 수 있는 분
• 본인의 기준을 데이터로 검증할 의향이 있으신 분
• 수만 건 규모의 결과를 다룰 때에도 꼼꼼함을 유지하실 수 있는 분

• 평가, 문항개발, 채점 업무를 경험해 보신 분
• 교육학이나 심리측정(문항반응이론, 신뢰도·타당도) 배경이 있으신 분
• LLM 프롬프트 설계나 평가 자동화를 경험해 보신 분
• 스프레드시트나 SQL로 채점 결과를 직접 분석해 보신 분

• 평가 기준을 글로 정확하게 정리하는 일에 자신이 있으신 분
• 예외 사례를 끝까지 따져 보는 성향을 가지고 계신 분
• 본인이 세운 기준을 데이터로 검증하고, 어긋나면 고쳐 나가고 싶으신 분
• 평가·측정 영역에서 실무 포트폴리오를 만들고 싶으신 분

두 과제 모두 제출해 주셔야 합니다. 서류 합격하신 분께 상세 안내와 양식을 따로 보내드리니, 지금은 어떤 과제인지만 확인해 주시면 됩니다. 완성도보다 기준을 세우는 과정을 보며, 기한은 넉넉하게 안내드립니다. 합격 여부와 관계없이 결과를 전달드립니다.