(주)이프 IF 로고 · AI 비전검사 · 머신비전 시스템주식회사이프Agentic Intelligent Factory

스마트팩토리에서 에이전트는 무엇을 하는가 : 수동에서 반자동, 능동으로 가는 길과 현실의 거리

(주)이프·2026. 9. 14.·읽는 데 10분
스마트팩토리에서 에이전트는 무엇을 하는가 : 수동에서 반자동, 능동으로 가는 길과 현실의 거리

AI숙고는 (주)이프가 제조 현장에서 AI 를 만들고 쓰면서 든 생각을 매번 테마 하나씩 정해 적는 자리입니다. 이번 테마는 "자율성은 기능이 아니라 권한이다" 입니다. 예고했던 노코드 이야기는 한 번 더 미룹니다.

스마트팩토리라는 말이 나온 지 십 년이 넘었습니다. 그런데 현장에 가 보면 여전히 이렇습니다. 아침에 담당자가 검사기 앞에 앉아 어제 NG 이미지를 넘겨 보고, 과검이 많으면 임계값을 조금 올리고, 조명이 어두워진 것 같으면 밝기를 손으로 조정합니다. 공장은 똑똑해졌는데 사람이 하는 일은 그대로입니다.

왜 그럴까요. 그리고 요즘 다들 말하는 에이전트는 이 그림을 어떻게 바꾸겠다는 걸까요.

에이전트는 자동화와 무엇이 다른가

기존 자동화와 에이전트의 차이는 한 문장으로 정리됩니다.

자동화는 정해진 순서를 반복합니다. 에이전트는 목표를 받아 상황에 맞게 판단합니다.

검사기로 바꿔 말하면 이렇습니다. 자동화는 "이 좌표에서 이 알고리즘을 돌려 이 범위면 OK" 를 매 사이클 똑같이 실행합니다. 에이전트는 "이 제품의 외관 불량을 놓치지 말 것" 이라는 목표를 받고, 제품이 조금 틀어지면 스스로 정렬을 다시 잡고, 조명이 어두워지면 보정을 걸고, 처음 보는 결함이 나오면 사람에게 알립니다.

말은 좋습니다. 문제는 지금 시장에 나와 있는 대부분이 아직 자동화 쪽이라는 점입니다. 저희 Vision Agent 도 솔직히 말하면 그렇습니다. 이 글은 그 간극을 인정하고, 어디까지 왔고 어디로 가려 하며 그 사이를 어떻게 메울지 정리한 것입니다.

에이전트를 왜 여섯으로 나눴는가

저희는 F-AGENT(Intelligent Factory Agent) 안에 에이전트를 역할별로 나눠 두었습니다. 하나로 뭉뚱그리지 않은 이유는 책임 경계를 분명히 하기 위해서입니다.

에이전트맡은 일답해야 하는 질문
Manager Agent공정 순서와 현황, 설비 에러 원인 분석, 이력과 대시보드"지금 라인이 어떤 상태인가"
Vision Agent2D · 3D · AI 검사, 판정, 결과 송신"이 제품은 양품인가, 왜 그런가"
Motion Agent공정 · 물류 시퀀스, 축 · IO · PLC 제어"제품을 어디로 어떻게 보낼 것인가"
Robot Agent로봇 티칭 · 시뮬레이션 · 간섭과 사이클 검증"로봇이 안전하게 닿는가"
Helper Agent사내망 오프라인 LLM, 시나리오 초안과 설비 연동 코드 생성"이건 어떻게 만들면 되나"
Safety Agent작업자 · 위험구역 감시, 이상 상황 알람과 영상 이력"사람이 위험하지 않은가"

나누면 좋은 점이 하나 더 있습니다. 문제가 생겼을 때 어느 에이전트가 틀렸는지 물을 수 있습니다. 하나로 뭉쳐 있으면 "AI 가 그랬다" 밖에 남지 않습니다. 검사 장비에서 그건 답이 아닙니다.

Vision Agent : 검사 판단을 노드로 드러내 두면 어느 단계가 틀렸는지 물을 수 있습니다
Vision Agent : 검사 판단을 노드로 드러내 두면 어느 단계가 틀렸는지 물을 수 있습니다

자율성에는 단계가 있습니다

자율주행에 0단계부터 5단계가 있듯, 검사 에이전트에도 단계를 매길 수 있습니다. 저희가 내부에서 쓰는 기준입니다.

단계성격Vision Agent 로 말하면
0수동사람이 시나리오를 짜고, 임계값을 정하고, 재학습 시점도 사람이 판단한다
1보조도구가 제안한다. 시나리오 초안, 파라미터 추천, NG 후보 자동 수집
2반자동에이전트가 이상 징후를 먼저 발견해 알리고, 사람이 승인하면 조치가 실행된다
3조건부 자율정해진 범위 안에서는 스스로 조정한다. 범위를 벗어나면 멈추고 사람을 부른다
4자율목표(수율, 과검율)를 주면 스스로 계획하고 실행한다. 사람은 결과를 감사한다

지금 어디쯤 와 있나

정직하게 말하면 1단계 후반, 2단계 초입입니다.

  • 이미 되는 것 : 노드로 시나리오를 만들고, AI 모델을 학습해 붙이고, 검사 이력과 알람을 자동으로 쌓고, 이상 상황에 조치 팝업을 띄웁니다. Helper Agent 가 시나리오 초안을 만들어 주기도 합니다.
  • 아직 안 되는 것 : 과검이 늘어나는 것을 스스로 알아채고 원인을 짚어 임계값을 조정하는 일. 로트가 바뀐 것을 감지해 재학습을 제안하는 일. 이건 아직 사람이 합니다.

"우리 제품은 자율 제조 플랫폼입니다" 라고 말하면서 실제로는 1단계인 제품이 시장에 많습니다. 저희는 그 표현이 불편합니다. 단계를 숨기면 도입한 쪽이 기대와 다른 결과를 받고, 결국 AI 자체를 불신하게 됩니다.

왜 아직 3단계가 아닌가 : 괴리의 정체

기술이 모자라서만은 아닙니다. 현장에는 기술 밖의 벽이 있습니다.

1. 데이터는 쌓이는데 이유가 없다

검사 이력은 수십만 건씩 쌓입니다. 그런데 "이 NG 가 왜 났는지" 는 아무 데도 없습니다. 조명이 흐려져서인지, 로트가 바뀌어서인지, 지그가 오염돼서인지. 원인 라벨이 없는 데이터로는 스스로 판단하는 법을 배울 수 없습니다.

2. 자동으로 바꿨는데 불량이 나가면 누가 책임지나

이것이 가장 큰 벽입니다. 에이전트가 임계값을 0.02 올렸고, 그 사이에 불량 한 개가 고객사로 흘러갔다고 해 봅시다. 품질 회의에서 나올 질문은 하나입니다. "누가 바꿨습니까." 이 질문에 답할 수 없는 자동화는 현장에서 살아남지 못합니다.

3. 어제와 오늘의 판정이 다르면 감사에서 걸린다

고객사 품질 감사는 재현성을 봅니다. 같은 샘플을 다시 넣었을 때 같은 결과가 나와야 합니다. 스스로 계속 바뀌는 시스템은 이 요구와 정면으로 부딪힙니다.

4. 이유를 모르면 사람은 결국 수동으로 되돌린다

현장에서 여러 번 봤습니다. 자동 기능이 있어도 운영자가 이유를 이해하지 못하면 슬그머니 꺼 버립니다. 그리고 원래 하던 대로 손으로 합니다. 기능이 있다는 것과 쓰인다는 것은 다릅니다.

5. 물리적 열화는 소프트웨어가 못 고친다

조명이 수명을 다해 광량이 떨어지면 알고리즘으로 보정할 수 있는 한계가 있습니다. 렌즈에 먼지가 앉으면 닦아야 합니다. 에이전트가 할 수 있는 최선은 "조명 교체 시점입니다" 라고 먼저 말해 주는 것이지, 스스로 고치는 것이 아닙니다.

괴리를 줄이는 여섯 가지 방법

그래서 저희가 잡은 원칙입니다. 자율성을 한 번에 올리려 하지 않고, 현장이 받아들일 수 있는 형태로 쪼갭니다.

1. 자율성을 기능이 아니라 "권한"으로 설계한다

가장 중요한 원칙입니다. "자동 조정 기능 On/Off" 같은 통짜 스위치가 아니라, 항목마다 권한 수준을 따로 주는 것입니다.

권한동작적합한 항목
제안만에이전트가 알리고 끝. 실행은 사람이판정 임계값 변경, 재학습
승인 후 실행알림에 "적용" 버튼. 누르면 반영되고 이력이 남는다조명 밝기 보정, 정렬 기준 갱신
자동 실행 + 통보즉시 실행하고 사후 보고NG 이미지 수집, 로그 정리, 리포트 생성

이렇게 하면 도입하는 쪽이 속도를 스스로 정할 수 있습니다. 처음에는 전부 "제안만" 으로 두고, 신뢰가 쌓인 항목부터 하나씩 올립니다.

2. 자동으로 한 일은 전부 되돌릴 수 있게 한다

무엇을 언제 왜 바꿨는지 기록하고, 한 번의 조작으로 이전 상태로 돌아갈 수 있어야 합니다. 되돌릴 수 없는 자동화는 현장이 절대 켜지 않습니다. 레시피 버전 관리와 변경 이력이 자율성의 전제 조건인 이유입니다.

3. 판단 근거를 숫자로 남긴다

"에이전트가 임계값을 올렸습니다" 로는 부족합니다. "최근 500개 과검률이 4.1%에서 7.8%로 올랐고, 같은 기간 평균 밝기가 12% 떨어졌습니다. 조명 보정을 제안합니다" 여야 합니다. 근거가 숫자로 남으면 사람이 검토할 수 있고, 검토할 수 있으면 권한을 올릴 수 있습니다.

수율 · 사이클 타임 추이를 쌓아 두는 이유는 에이전트가 근거를 댈 수 있게 하기 위해서입니다
수율 · 사이클 타임 추이를 쌓아 두는 이유는 에이전트가 근거를 댈 수 있게 하기 위해서입니다

4. 작은 것부터 자동화한다

처음부터 판정을 맡기려 하면 실패합니다. 실패해도 피해가 작고 효과는 바로 보이는 것부터 시작합니다.

  • NG 이미지와 경계 샘플을 자동으로 모아 둔다 (재학습 준비를 사람이 안 해도 됨)
  • 조명 밝기 · 초점 흐림을 감지해 알린다 (판정은 안 건드림)
  • 어제 대비 과검률 변화를 아침에 요약해 준다
  • 알람이 났을 때 과거 같은 알람의 조치 기록을 같이 띄운다

전부 "판정에 손대지 않는" 자동화입니다. 그런데 현장 부담은 눈에 띄게 줄어듭니다.

5. 자율성이 올라갈수록 실패는 더 크게 알린다

저희 내부 규칙은 단순합니다. 신뢰할 결과를 못 내면 조용히 기본값으로 넘어가지 말고 NG 와 알람으로 드러낸다. 사람이 다 보고 있을 때는 이 규칙이 덜 중요합니다. 에이전트가 스스로 판단하기 시작하면 훨씬 중요해집니다. 자율성과 알람은 같이 올라가야 합니다.

알람 이력 : 무엇이 언제 왜 걸렸는지 남아야 자율성을 한 단계 올릴 수 있습니다
알람 이력 : 무엇이 언제 왜 걸렸는지 남아야 자율성을 한 단계 올릴 수 있습니다

6. 사람의 역할을 다시 정의한다

에이전트가 늘어난다고 사람이 없어지지 않습니다. 역할이 바뀝니다. 운전자에서 감독자로 갑니다. 매 사이클을 조작하는 대신 기준을 정하고, 권한을 조정하고, 에이전트가 낸 근거를 검토합니다. 이 변화를 조직이 준비하지 않으면 아무리 좋은 도구도 겉돕니다.

이프가 보는 단계별 로드맵

단계무엇이 되는가사람이 하는 일
지금 (1~2)노코드로 검사·제어를 빠르게 만들고, 이력과 알람이 자동으로 쌓인다만들고, 기준을 정하고, 판단한다
다음 (2)Helper Agent 가 시나리오 초안과 이상 원인 분석 리포트를 낸다. 에이전트가 먼저 알린다제안을 검토하고 승인한다
그다음 (3)Manager Agent 가 검사 이력 · 파라미터 변경 · 알람 조치를 연결해 원인을 추적하고, 허용 범위 안에서 조정한다권한 범위를 정하고 결과를 감사한다
목표공정 능력이 흔들리면 데이터가 먼저 답하는 공장기준과 목표를 정한다

중요한 것은 마지막 칸이 "사람이 없다" 가 아니라는 점입니다. 저희가 그리는 Intelligent Factory 는 사람이 사라진 공장이 아니라 스스로 설명하는 공장입니다. 왜 수율이 떨어졌는지 묻지 않아도 답이 나와 있고, 사람은 그 답을 보고 결정하는 그림입니다.

정리

에이전트라는 말이 마케팅 용어로 소비되는 것을 자주 봅니다. 그래서 저희는 도입을 검토하시는 분께 늘 같은 질문을 권합니다.

"이 기능은 제안만 하나요, 승인 후 실행인가요, 자동 실행인가요?"
"자동으로 바꾼 것을 어떻게 되돌리나요?"
"왜 그렇게 판단했는지 숫자로 볼 수 있나요?"

세 질문에 답이 나오면 그건 쓸 수 있는 자율성입니다. 답이 없으면 아직 이름만 에이전트입니다.

자율성은 목표가 아니라 수단입니다. 목표는 언제나 설명되는 품질이고, 자율성은 거기에 사람이 덜 지치면서 도달하는 방법일 뿐입니다. 저희가 단계를 건너뛰지 않으려는 이유입니다.

다음 AI숙고 테마는 이번에도 미뤄 둔 "노코드가 정말 개발자를 없애는가" 로 가겠습니다.

#스마트팩토리#지능형공장#AI에이전트#제조AI#자율제조#머신비전#AI비전검사#비전검사

이 글은 (주)이프 네이버 블로그에도 올라가 있습니다.

네이버 블로그에서 보기 →
Let's Build Together

비전 검사 시스템 도입,
이프와 함께 시작하세요.

제품·공정·물량에 맞춰 최적의 검사기 구성을 제안해 드립니다. 요구사항만 알려주시면 빠르게 회신드리겠습니다.