안녕하세요. (주)이프입니다. "우리 공장 스크래치를 잡는 AI 비전검사 모델을 만들려면 불량 사진이 몇천 장은 있어야 하지 않나요?" 상담에서 자주 듣는 질문입니다. 답은 전이학습에 있습니다. AI 검사 모델은 보통 처음부터 만들지 않습니다. 이미 공개된 사전학습 모델에서 출발해, 우리 공장의 불량 이미지를 더해 다시 학습시킵니다. 오늘은 그 방법을 실제 검사 프로젝트 순서대로 정리합니다.
전이학습 한 줄 요약
"사물을 볼 줄 아는 모델"에게 "우리 제품의 불량이 무엇인지"만 새로 가르치는 일입니다.
전이학습이란 : 이미 보는 법을 아는 모델에서 출발하기
공개된 사전학습 모델은 대규모 일반 사진으로 학습되어 있어, 모서리와 질감, 형태를 구분하는 능력을 이미 갖고 있습니다. 다만 스크래치나 이물이라는 개념은 모릅니다. 그 모델의 "보는 능력"은 그대로 살리고, 마지막 판단 부분을 우리 불량 이미지로 다시 학습시키는 것이 전이학습입니다.
| 구분 | 처음부터 학습 | 전이학습 |
|---|---|---|
| 출발점 | 아무것도 모르는 모델 | 사물을 볼 줄 아는 사전학습 모델 |
| 필요한 불량 이미지 | 매우 많음 | 현장 불량 수십 장부터 시작 가능 |
| 학습 장비·시간 | 대형 연산 자원, 긴 학습 | 장비 PC 수준에서 가능 |
| 제조 현장 적합성 | 불량이 드문 공장에는 비현실적 | 불량이 드문 공장에도 시작 가능 |

공개 모델을 그대로 쓰면 안 되는 세 가지 이유
| 이유 | 설명 |
|---|---|
| 불량 클래스가 없음 | 공개 모델은 사람, 자동차, 동물 같은 일반 사물을 기준으로 만들어집니다. 스크래치, 이물, 덴트, 얼룩은 학습 대상에 없습니다 |
| 우리 조건과 다름 | 우리 공장의 조명, 촬영 거리, 제품 표면(금속 결, 사출 표면)은 일반 사진과 전혀 다릅니다. 정상 무늬를 불량으로 착각하기 쉽습니다 |
| 판정 기준이 없음 | "0.3mm 이상 스크래치는 NG" 같은 기준은 공장마다 다릅니다. 모델이 아니라 사람이 정하고 데이터에 담아야 합니다 |
그리고 공개 가중치는 각각 사용 조건(상업 이용 범위 등)이 다릅니다. 양산 장비에 넣기 전에 반드시 확인해야 합니다.
우리 공장 전용 검사 모델을 만드는 7단계
1. 불량 정의부터 : 무엇을 NG 로 볼 것인가
사진을 모으기 전에 불량 유형과 판정 경계를 먼저 정합니다. 특히 OK 와 NG 의 경계에 있는 한도 견본을 실물로 확보해 두면 이후 라벨링과 검증의 기준이 됩니다.
| 불량 | 정의 예시 | 정해 둘 것 |
|---|---|---|
| 스크래치 | 표면에 선 형태로 긁힌 자국 | NG 로 볼 최소 길이·폭, 결 방향 무늬와의 구분 |
| 이물 | 표면에 붙거나 박힌 다른 물질 | 먼지처럼 닦이는 것도 NG 인지, 최소 크기 |
| 덴트 | 눌리거나 찍혀 들어간 자국 | 조명 각도에 따라 보이는 정도, 깊이 기준 |
| 얼룩 | 색이나 광택이 주변과 다른 영역 | 세척 후 사라지는 얼룩의 처리 |
2. 촬영 조건 고정 : 학습 이미지와 검사 이미지는 같은 조건으로
AI 는 학습한 조건에서 가장 잘 동작합니다. 조명, 촬영 거리, 노출을 먼저 고정한 뒤 데이터를 모아야 합니다. 개발용 책상에서 찍은 사진으로 학습하고 라인에서는 다른 조명으로 검사하면, 지표가 좋아도 현장에서 오판이 납니다. 결함이 잘 드러나는 조명을 찾는 일이 학습보다 먼저입니다.
3. 데이터 모으기 : 양품도 함께, 불량은 유형별로
- 불량만 모으지 말고 양품 이미지도 함께 모읍니다. 정상 무늬를 배워야 과검이 줄어듭니다.
- 불량은 유형별로 나누어 모으고, 한 유형이 지나치게 적지 않게 합니다.
- 전이학습은 수십 장부터 시작할 수 있습니다. 처음부터 완벽한 데이터를 기다리지 말고, 작게 시작해 오판 이미지를 더해 가는 편이 빠릅니다.
- 검증에 쓸 이미지는 처음부터 따로 떼어 두고 학습에 넣지 않습니다.
4. 라벨링 기준 통일 : 같은 불량은 같은 방식으로
라벨은 모델이 배우는 정답입니다. 같은 스크래치를 어떤 사진에서는 박스 하나로, 어떤 사진에서는 여러 개로 나눠 그리면 모델이 헷갈립니다. 라벨 그리는 방식(박스, 회전 박스, 영역 윤곽)과 애매한 결함의 처리 규칙을 정해 문서로 남기고, 가능하면 한 사람이 기준을 잡습니다.

5. 모델 종류 고르기 : 무엇을 알고 싶은가
| 모델 종류 | 알려 주는 것 | 이럴 때 |
|---|---|---|
| 검출 | 불량의 위치와 종류 | 스크래치·이물처럼 어디에 무엇이 있는지 알아야 할 때 |
| 영역 분할 | 불량 영역의 모양과 면적 | "면적 0.5mm² 이상이면 NG" 처럼 크기로 판정할 때 |
| 분류 | 이미지 단위의 OK/NG 또는 등급 | 위치는 필요 없고 전체 상태만 판정할 때 |
| 이상 탐지 | 정상과 다른 정도(이상 점수) | 불량 샘플이 거의 없고 양품 이미지만 많을 때 |
불량이 아직 거의 없는 신규 라인이라면 양품만으로 학습하는 이상 탐지로 시작하고, 불량이 쌓이면 검출 모델로 넘어가는 방법도 좋습니다.
6. 불량이 부족하면 가상 불량 : 단, 학습용으로만
불량이 드문 공장일수록 학습용 불량 이미지가 모자랍니다. 이때는 양품 이미지 위에 결함을 합성해 학습 데이터를 늘릴 수 있습니다. 방법은 두 가지입니다.
- 실제 결함 이식 : 라벨된 실제 결함을 잘라 다른 양품 이미지에 자연스럽게 붙입니다.
- 결함 그리기 : 스크래치, 덴트, 이물, 얼룩을 프로그램이 직접 그려 넣습니다.

가상 불량 사용 원칙
· 합성 이미지는 학습에만 쓰고, 검증은 반드시 실제 불량 이미지로 합니다.
· 실제 불량 비율은 30% 이상 유지합니다.
· 합성 전과 후의 실제 불량 검출률을 비교해, 오르지 않으면 합성을 늘리기보다 실제 이미지를 더 모읍니다.
7. 검증은 실제 불량으로, 미검부터 확인
학습이 끝나면 떼어 둔 실제 이미지로 검증합니다. 이때 두 가지 오류를 따로 봐야 합니다.
| 오류 | 의미 | 검사 현장에서의 영향 |
|---|---|---|
| 미검 | 불량을 양품으로 판정 | 불량이 고객에게 유출됩니다. 가장 위험합니다 |
| 과검 | 양품을 불량으로 판정 | 재검 공수와 폐기 비용이 늘어납니다 |
검사 장비에서는 미검을 먼저 잡고, 그다음 과검을 줄이는 순서가 맞습니다. 틀린 이미지는 모아서 원인을 봅니다. 조명 문제인지, 라벨이 들쭉날쭉했는지, 그 유형의 데이터가 부족했는지에 따라 처방이 다릅니다. 고친 뒤 다시 학습하고, 이전 버전과 같은 검증 이미지로 비교해 정말 좋아졌는지 확인합니다.

장비에 적용하고 계속 키우기
검증을 통과한 모델은 검사 프로그램 안에 들어가야 의미가 있습니다. 모델이 낸 결과(불량 개수, 면적, 점수)를 판정 기준과 연결해 OK/NG 를 내고, 그 결과를 PLC 나 상위 시스템으로 보냅니다. 판정 기준값은 모델이 아니라 사람이 정합니다.
양산이 시작되면 오판 이미지를 계속 모아 정기적으로 재학습합니다. 이때 모델 버전과 학습에 쓴 데이터, 검증 결과를 함께 기록해 두어야 문제가 생겼을 때 이전 버전으로 되돌릴 수 있습니다.
자주 하는 실수 체크리스트
| 흔한 실수 | 이렇게 하세요 |
|---|---|
| 불량 정의 없이 사진부터 모음 | 불량 유형, 판정 경계, 한도 견본을 먼저 정합니다 |
| 책상에서 찍은 사진으로 학습 | 라인과 같은 조명·거리·노출로 모읍니다 |
| 불량 사진만 모음 | 양품 사진도 함께 넣어 정상 무늬를 가르칩니다 |
| 라벨 기준이 사람마다 다름 | 그리는 방식과 애매한 결함 규칙을 문서로 통일합니다 |
| 가상 불량으로 검증까지 함 | 합성은 학습에만, 검증은 실제 불량으로만 합니다 |
| 전체 정확도 하나만 봄 | 미검과 과검을 따로 보고, 미검부터 줄입니다 |
| 한 번 학습하고 끝냄 | 오판 이미지를 모아 재학습하고 버전을 기록합니다 |
| 사용 조건 확인 없이 공개 가중치 사용 | 상업 이용 범위 등 사용 조건을 먼저 확인합니다 |
Vision Agent 에서는 이렇게 합니다
(주)이프의 Vision Agent 는 위 과정을 프로그램 하나에서 진행합니다. 데이터셋 만들기와 라벨링, 가상 불량 생성, 학습, 추론 확인, 학습 이력과 버전 비교, 그리고 학습한 모델을 검사 시나리오의 AI 노드로 연결해 OK/NG 판정과 PLC 출력까지 이어집니다. 모든 학습과 추론은 장비 PC 안에서 처리되고, 인터넷이 없는 폐쇄망 장비에도 오프라인으로 설치할 수 있습니다.
또한 (주)이프는 프로젝트를 진행하며 금속, 사출, 거친 표면의 스크래치·이물·덴트·얼룩을 담은 산업 현장 이미지 약 40,000장(자사 집계)을 전이학습에 활용해 왔습니다. 고객 공장의 불량 이미지가 적을 때 이 경험이 데이터 준비와 학습 방향을 잡는 데 쓰입니다.
마치며
AI 검사의 성패는 모델 이름보다 불량 정의, 촬영 조건, 라벨 기준, 실제 불량 검증에서 갈립니다. 전이학습은 데이터가 적은 제조 현장에서 AI 를 시작할 수 있게 해 주는 출발점일 뿐이고, 그 위에 공장의 기준을 담는 일은 사람이 해야 합니다. 우리 공장 불량에 맞춘 AI 비전검사가 궁금하시면 샘플 이미지와 함께 문의해 주세요.
홈페이지 : www.intelligentfactory.co.kr/business/platform
☎ 070-7543-2022 · ✉ hssong@intelligentfactory.co.kr · 🌐 www.intelligentfactory.co.kr
아래 QR 코드를 카카오톡으로 스캔하시면 바로 상담이 연결됩니다.




