안녕하세요. (주)이프입니다. AI노하우 AI 사용법 세 번째 글은 첫 글 "AI 코딩 에이전트 여러 대 관리하는 법" 끝에서 예고한 주제, AI 코딩 에이전트에게 맡기면 안 되는 일입니다. 지난 커리큘럼 글에서는 표 한 장으로 짧게 다뤘는데, 이번에는 검사 소프트웨어와 장비 제어 프로그램을 만드는 저희가 왜 그 일들을 사람이 쥐고 있는지, 그리고 실제로 어떻게 막아 두는지까지 풀어 보겠습니다.
한 줄 요약
에이전트에게는 되돌릴 수 있고 안에서 끝나는 일을 맡깁니다. 되돌릴 수 없거나, 밖으로 나가거나, 사람과 설비에 닿는 일은 사람이 쥐고 있습니다.
먼저 기준 : 세 가지 질문
맡길지 말지를 일마다 고민하면 지칩니다. 저희는 작업 앞에서 세 가지만 묻습니다. 하나라도 걸리면 그 일은 에이전트가 초안까지만 만들고, 실행과 결정은 사람이 합니다.
| 질문 | 사람이 쥐는 경우 | 예시 |
|---|---|---|
| 되돌릴 수 있는가 | 되돌릴 수 없다면 | 데이터 삭제, 강제 되돌리기, 현장 파일 덮어쓰기 |
| 밖으로 나가는가 | 밖으로 나간다면 | 원격 저장소 푸시, 배포, 고객에게 보내는 자료 |
| 사람이나 설비에 닿는가 | 닿는다면 | 안전 인터록, 실제 장비 구동, 계정 로그인 |
여기에 하나를 더하면 무엇이 정답인지 정하는 일입니다. 판정 기준은 결과가 아니라 출발점이라서, 에이전트가 아무리 잘해도 대신 정해 줄 수 없습니다.
사람이 쥐고 있는 여덟 가지
1. 안전 인터록과 비상 정지 로직
장비 제어 코드에서 인터록 하나가 빠지면 사람이 다칠 수 있습니다. 에이전트는 인터록 코드의 초안을 빠르게 만들고, 빠진 조건이 없는지 검토하는 데도 도움이 됩니다. 하지만 어떤 조건에서 멈춰야 하는지 정하고 최종으로 확인하는 일은 사람이 합니다. 인터록 조건이 바뀌는 변경이라면 한 줄짜리라도 사람이 변경 내용(diff)을 직접 읽고 승인하기를 권합니다.
2. 실제 장비를 직접 움직이는 일
에이전트가 PC 에서 명령을 실행할 수 있다는 것은, 그 PC 에 연결된 축 · IO · PLC 에도 닿을 수 있다는 뜻입니다. 오르카 연동 글에서 "실제 사업 코드나 장비와 연결된 PC 라면 Agent 권한을 수동으로" 를 권한 이유가 여기에 있습니다. 에이전트에게는 실물 없이 돌릴 수 있는 시험까지만 맡기고, 장비를 실제로 움직이는 시험은 사람이 장비 옆에서 직접 합니다.
3. 판정 기준과 합격 스펙
스크래치가 몇 mm 부터 불량인지, 측정값이 어느 범위면 OK 인지는 고객 규격서와 현장 경험에 있습니다. 에이전트는 판정 함수를 훌륭하게 구현하지만, 그 함수에 들어갈 숫자는 사람이 정합니다. Vision Agent 의 AI Helper 도 문장 속 스펙을 판정 노드의 최소 · 최대값으로 옮겨 줄 뿐, 그 스펙 자체는 사람이 적은 것입니다. 에이전트가 만든 테스트가 정말 맞는 기준을 확인하는지도 사람이 봐야 합니다.
4. 결과를 못 냈을 때 조용히 넘어가게 두는 것
검사 소프트웨어에서 가장 위험한 결함은 결과를 못 냈는데 통과시키는 것입니다. AI 는 친절해서, 따로 말하지 않으면 실패한 자리에 그럴듯한 기본값을 채워 넣습니다. 저희가 두 AI 에게 같은 판정 함수를 맡겼을 때도, 둘 다 자기 테스트는 전부 통과했지만 교차 리뷰에서 규격 값이 비어 있으면 조용히 OK 가 나오는 맹점이 드러났습니다.
그래서 "신뢰할 결과를 못 내면 NG 와 알람으로 드러낸다" 는 원칙은 에이전트에게 맡기지 않고 사람이 지침에 적어 둡니다. Vision Agent 의 AI 배경 제거 노드도 추출 면적이 0 이거나 모델이 없으면 조용히 넘어가지 않고 에러로 알리게 만들었습니다. 결과가 틀린 것보다 결과를 못 낸 것을 운영자가 아는 편이 안전합니다.
5. 로그인 · 비밀번호 · 인증 정보
유출된 인증 정보는 되돌릴 수 없습니다. GitHub 연동에 필요한 로그인은 본인이 직접 하고, 에이전트는 그 결과를 빌려 쓰게 합니다. 저희가 쓰는 블로그 발행 자동화 도구도 로그인 화면이 나오면 멈추고 사람에게 넘기며, 비밀번호를 대신 입력하지 않게 되어 있습니다. 커밋 직전에는 스테이지에 들어간 파일 목록을 확인해 설정 · 인증 파일이 섞이지 않았는지 보고, 섞였다면 빼낸 뒤 사람에게 알리게 합니다.
6. 고객 데이터와 고객에게 나가는 자료
교차 코드리뷰를 시연할 때 저희는 고객 정보가 섞이지 않도록 판정 함수와 결과 화면만 들어 있는 데모 저장소를 따로 만들어 썼습니다. 화면 캡처가 필요할 때도 중립적인 이름의 데모 데이터를 새로 만들어 다른 고객 정보가 찍히지 않게 합니다. 고객사 이미지나 레시피도 에이전트의 작업 폴더에 함부로 두지 않기를 권합니다. 무엇을 AI 에게 보여 줘도 되는지는 사람이 정하고, 고객에게 나가는 자료는 사람이 마지막으로 읽고 보냅니다.
7. 푸시 · 배포 · 발행
밖으로 나간 변경은 고객과 현장에 바로 영향을 줍니다. 저희 지침의 기본값은 "커밋까지는 에이전트, 푸시는 사람이 요청했을 때만" 입니다. 커밋은 되돌릴 수 있는 기록이지만, 푸시와 배포는 다른 사람의 화면과 장비에 닿기 때문입니다. 블로그 발행도 마지막 발행 버튼 앞에서 멈추고 사람의 확인을 받습니다. 현장 장비에 반영할 때는 기존 파일을 백업해 두고 교체해, 문제가 생기면 바로 이전 버전으로 돌아갈 길을 남깁니다.
8. 데이터 삭제와 되돌릴 수 없는 작업
실수 한 번의 비용이 가장 큰 작업입니다. 저희 지침에는 "강제 되돌리기 · 강제 푸시 · 삭제 같은 위험한 작업은 다른 지침과 관계없이 사람의 확인을 받는다" 는 규칙이 있습니다. 에이전트가 정리를 제안하는 것은 괜찮지만, 무엇을 지울지 고르는 결정은 사람이 합니다.
체크리스트 : 맡겨도 되는 일 vs 사람이 쥐고 있어야 하는 일
| 영역 | 맡겨도 되는 일 | 사람이 쥐고 있어야 하는 일 |
|---|---|---|
| 장비 제어 | 시퀀스 코드 작성, 인터록 코드 초안과 누락 검토, 실물 없이 돌리는 시험 | 인터록 조건 결정과 최종 승인, 실제 장비 구동 시험 |
| 검사 판정 | 판정 함수 구현, 빈 값 · 이상값 같은 예외 입력 테스트 작성 | 합격 스펙 숫자, 경계 샘플 판단, 실패 시 NG · 알람 원칙 |
| 코드 · 저장소 | 작업 단위 커밋, 리팩터링, 다른 에이전트 코드 교차 리뷰 | 푸시 · 병합 결정, 강제 되돌리기 |
| 인증 · 보안 | 비밀 값을 뺀 설정 스크립트 작성 | 로그인, 비밀번호 · API 키 입력, 라이선스 · 보안 정책 판단 |
| 데이터 | 데모 데이터 만들기, 로그 분석과 원인 후보 정리 | 고객 데이터를 작업 공간에 들일지 여부, 삭제 |
| 배포 · 현장 | 현장 반영 방법 초안, 바뀐 파일 목록 정리 | 반영 시점, 백업과 되돌리기 결정 |
| 대외 자료 | 글 · 문서 초안, 캡처용 데모 시나리오 준비 | 고객 발송 · 게시 전 최종 확인 |
권한 설정으로 미리 막아 두기
맡기지 않을 일을 정했다면, 말로 부탁하는 것보다 설정으로 막아 두는 것이 확실합니다. 세 겹으로 둡니다.
1. 도구의 권한 : 실행 전에 묻게 한다
오르카는 첫 실행 화면에서 "Yolo / 권한 확인 위험하게 건너뛰기" 가 기본으로 켜져 있습니다. 연습용 저장소에서는 편하지만, 실제 업무 저장소나 장비와 연결된 PC 라면 설정 → 에이전트 → Agent 권한을 수동으로 바꿔, 에이전트가 명령을 실행하기 전에 묻게 합니다. 처음에는 수동으로 시작하고, 익숙해진 범위만 넓히는 것이 순서입니다.
2. 작업 지시 : 금지 사항을 적는다
지시에 넣는 네 가지(목표 · 완료 조건 · 금지 사항 · 보고 형식) 가운데 이 글과 직접 닿는 것은 금지 사항입니다. 예를 들면 이렇게 씁니다.
목표 : 검사 결과 화면에 NG 사유 표시 추가
완료 조건 : 기존 테스트와 사유 표시 테스트가 모두 통과
금지 사항 : 인터록 · 장비 구동 코드 수정 금지, 푸시 금지,
고객 데이터 폴더 접근 금지
보고 형식 : 변경 파일 / 테스트 결과 / 남은 위험 을 세 줄로
3. 프로젝트 지침 파일 : 매번 말하지 않아도 지키게 한다
저장소에 규칙 문서를 두면 코딩 에이전트가 작업을 시작할 때마다 읽고 따릅니다. 이 글에서 다룬 원칙 가운데 저희 지침에 실제로 들어 있는 문장을 간추리면 다음과 같습니다.
- 신뢰할 결과를 못 내면 기본값으로 넘어가지 말고 NG · 알람으로 드러낼 것 - 커밋은 작업 단위로 하되, 푸시는 사람이 요청할 때만 할 것 - 커밋 직전에 스테이지 목록을 확인하고, 설정 · 인증 파일이 섞이면 빼낼 것 - 강제 되돌리기 · 강제 푸시 · 삭제는 사람의 확인을 받을 것 - 로그인 화면이 나오면 멈추고 사람에게 넘길 것 (비밀번호 대리 입력 금지) - 현장에 반영할 때는 기존 파일을 백업한 뒤 교체할 것
새 실수를 겪을 때마다 한 줄씩 늘어납니다. 같은 실수를 사람도 에이전트도 다시 하지 않게 하는 가장 값싼 방법입니다.
정리 : 맡기는 범위는 검증할 수 있는 만큼
AI 코딩 에이전트에게 무엇을 맡길지는 에이전트의 실력보다 우리가 그 결과를 검증하고 되돌릴 수 있는가로 정해집니다. 되돌릴 수 있고 안에서 끝나는 일은 과감히 맡기고, 되돌릴 수 없거나 밖으로 나가거나 사람과 설비에 닿는 일은 사람이 쥡니다. 그리고 그 경계를 말이 아니라 권한 설정 · 작업 지시 · 지침 파일로 남겨 둡니다.
이 원칙은 저희가 만드는 제품에도 그대로 들어갑니다. AI숙고 #3 에서 에이전트의 자율성을 "제안만 · 승인 후 실행 · 자동 실행" 의 권한으로 나눠야 한다고 썼는데, 코딩 에이전트를 다루는 방식도 같습니다. 다음 AI 사용법 글에서는 지난 글에서 예고한 프로젝트 지침 파일의 구성을 예시와 함께 정리하겠습니다.
홈페이지 : www.intelligentfactory.co.kr/insights
☎ 070-7543-2022 · ✉ hssong@intelligentfactory.co.kr · 🌐 www.intelligentfactory.co.kr
아래 QR 코드를 카카오톡으로 스캔하시면 바로 상담이 연결됩니다.
