Đánh giá camera AI kiểm tra lỗi: Đo riêng lỗi bỏ sót và loại nhầm
Camera bỏ sót một vết nứt có thể để hàng lỗi đến tay khách. Siết ngưỡng quá mức lại có thể giữ nhiều hàng đạt để kiểm tra lại. Trong một ca kiểm tra bề mặt sơn tại Ford, McKinsey ghi nhận hệ thống thị giác máy cải thiện khả năng phát hiện lỗi 90% so với kiểm tra bằng người. Kết quả thuộc công đoạn sơn cụ thể. Khi thí điểm tại nhà máy, đội QC cần đo thêm số hàng đạt bị giữ hoặc loại nhầm ở tốc độ sản xuất. [1] [2]
Để đánh giá camera AI, hãy đo tỷ lệ bỏ sót trên tổng sản phẩm thực sự lỗi và tỷ lệ loại nhầm trên tổng sản phẩm thực sự đạt. Hai mẫu số này giúp nhà máy chọn ngưỡng phù hợp với rủi ro giao hàng và năng lực kiểm lại. [2] [3]
1. Định nghĩa lớp dương trước khi đo
Quy ước lớp dương là sản phẩm có lỗi thuộc phạm vi kiểm. Ví dụ, nếu camera kiểm vết nứt trên vỏ nhựa, QC cần chốt vùng quan sát, mức lỗi phải chặn và mẫu sát giới hạn chấp nhận. Kết luận dùng làm chuẩn nên được QC xác nhận độc lập trước khi đối chiếu với kết quả AI. [2] [3]
Chốt thêm đơn vị đánh giá. Nếu dây chuyền quyết định giữ hoặc cho qua theo từng sản phẩm, hãy tính chỉ số theo sản phẩm, kể cả khi hệ thống chụp nhiều ảnh. Giữ mã sản phẩm để ghép ảnh, kết quả AI và kết luận QC. [2]
2. Hiểu bốn kết quả phân loại
Với lớp dương là hàng lỗi, bốn ô của ma trận nhầm lẫn được đọc như sau. [3]
| Kết quả AI | QC xác nhận có lỗi | QC xác nhận đạt |
|---|---|---|
| Báo lỗi | TP — Bắt đúng lỗi | FP — Báo nhầm hàng đạt |
| Cho qua | FN — Bỏ sót lỗi | TN — Cho qua đúng hàng đạt |
Tại trạm tự động, hãy tách quyết định của mô hình khỏi thao tác thực tế. Camera có thể báo đúng lỗi, nhưng cơ cấu loại vẫn có thể tách sai sản phẩm. Kiến trúc tham chiếu của TMA nối ảnh và kết quả suy luận tại biên với PLC, trạm loại và hồ sơ MES. Khi nghiệm thu, yêu cầu truy từ mã sản phẩm đến cả kết quả nhận diện và xác nhận xử lý. [2]
Nếu nhà máy có luồng chờ QC xác nhận, hãy theo dõi riêng số mẫu chuyển kiểm và kết quả cuối. Cách này cho thấy cả tải công việc phát sinh lẫn số sản phẩm thực sự bị loại nhầm. [2]
3. Chọn chỉ số và mẫu số
- Tỷ lệ bỏ sót (FNR) = FN ÷ (TP + FN). Trong số hàng lỗi, bao nhiêu bị cho qua? [3]
- Tỷ lệ báo nhầm hàng đạt (FPR) = FP ÷ (FP + TN). Nếu mọi cảnh báo đều kích hoạt loại, đây là tỷ lệ loại nhầm do quyết định phân loại. [2] [3]
- Recall = TP ÷ (TP + FN). Chỉ số cho biết phần hàng lỗi được bắt, bằng một trừ tỷ lệ bỏ sót. [3]
- Precision = TP ÷ (TP + FP). Chỉ số cho biết trong số sản phẩm bị báo lỗi, bao nhiêu thực sự lỗi. [3]
Báo cáo số mẫu kèm từng tỷ lệ, tách theo loại lỗi, mã hàng và điều kiện chụp. Có thể bổ sung mẫu lỗi hiếm để thử khả năng phát hiện. Để dự báo khối lượng kiểm lại, dùng tập đại diện cho sản xuất hoặc điều chỉnh theo tỷ lệ lỗi thực tế. [2] [3]
Bài học từ thực tế kỹ thuật của TMA
Với bảng mạch mềm FPCB, TMA công bố dùng ảnh 8K, đạt 95% độ chính xác phát hiện lỗi và thời gian kiểm tra 6 giây mỗi bảng. Trang giải pháp chưa nêu mẫu số của chỉ số 95% hoặc phân bố lỗi trong bộ thử. Với một dây chuyền mới, hãy yêu cầu xem ảnh của lỗi nhỏ nhất cần bắt và đo đồng thời hai loại sai số ở nhịp vận hành mục tiêu. [4]
Một gói ODC giá thấp chỉ huấn luyện trên ảnh có sẵn sẽ để phần kiểm chứng quang học và tích hợp dây chuyền cho nhà máy. Khung triển khai TMA bao gồm thiết kế điểm chụp, xử lý tại biên, tích hợp PLC và kiểm tra ngoại lệ. Đó là các hạng mục cần đưa vào phạm vi so sánh báo giá. [2] [4]
4. Ví dụ giả định kiểm tra từng bước
Giả sử bộ thử có 1.000 sản phẩm, gồm 20 hàng lỗi và 980 hàng đạt đã được QC xác nhận. Thử hai ngưỡng trên cùng bộ mẫu. Để minh họa chi phí, giả định mọi quyết định báo lỗi đều được trạm thực thi đúng. [2] [3]
| Kết quả | Ngưỡng A | Ngưỡng B |
|---|---|---|
| Bắt đúng lỗi (TP) | 18 | 19 |
| Bỏ sót lỗi (FN) | 2 | 1 |
| Loại nhầm hàng đạt (FP) | 10 | 30 |
| Cho qua đúng hàng đạt (TN) | 970 | 950 |
| Tỷ lệ bỏ sót | 2 ÷ 20 = 10% | 1 ÷ 20 = 5% |
| Tỷ lệ loại nhầm | 10 ÷ 980 = 1,02% | 30 ÷ 980 = 3,06% |
| Độ chính xác tổng | 98,8% | 96,9% |
Ngưỡng B bắt thêm một sản phẩm lỗi và loại nhầm thêm 20 sản phẩm đạt. Độ chính xác tổng xếp A cao hơn. Để chọn phương án vận hành, nhà máy cần định giá cả hai hậu quả. [2] [3]
5. Đặt ngưỡng theo chi phí lỗi
Giả sử mỗi lỗi lọt gây tổn thất 2 triệu đồng và mỗi hàng đạt bị loại nhầm tốn 50.000 đồng để xử lý. Chi phí sai phân loại trên bộ thử là 4,5 triệu đồng ở A và 3,5 triệu đồng ở B. Với giả định này, B có chi phí thấp hơn. Với lỗi nghiêm trọng, áp dụng giới hạn bỏ sót do QA hoặc khách hàng phê duyệt trước khi so chi phí. [2] [3]
Quy trình thí điểm có thể triển khai theo các bước sau. [2] [3]
- Duyệt mẫu chuẩn. Chốt lớp dương, đơn vị đếm và giới hạn theo loại lỗi.
- Chọn ngưỡng trên tập hiệu chỉnh. So lỗi bỏ sót, báo nhầm và tải kiểm lại.
- Khóa ngưỡng và thử trên lô độc lập. Báo cáo số mẫu và sai số theo nhóm.
- Chạy song song tại chuyền. Đo độ trễ và xác nhận cơ cấu xử lý đúng sản phẩm.
- Bàn giao và theo dõi. Lưu phiên bản ngưỡng, người phê duyệt và điều kiện thử lại khi đổi mã hàng hoặc ánh sáng.
TMA công bố ISO/IEC 27001:2022, 29 năm kinh nghiệm và khách hàng tại 30 quốc gia. Khi bàn giao, chốt quyền truy cập ảnh và lịch sử đổi ngưỡng. Nếu dữ liệu nhận diện được cá nhân, đánh giá phạm vi GDPR theo hoạt động xử lý. Các trung tâm kỹ thuật quy mô hàng trăm kỹ sư và dịch vụ R&D dài hạn hỗ trợ việc chuẩn hóa phép thử qua nhiều dây chuyền. [5] [6] [7]
Câu hỏi thường gặp
1. Tỷ lệ loại nhầm khác tỷ lệ cảnh báo sai thế nào?
Tỷ lệ loại nhầm dùng tổng hàng đạt làm mẫu số. Tỷ lệ cảnh báo sai trong hàng bị báo lỗi dùng tổng cảnh báo làm mẫu số. [3]
2. Không bỏ sót mẫu nào thì có thể chốt nghiệm thu không?
Hãy xem số mẫu lỗi và mức bao phủ theo loại lỗi, mã hàng và ca. Báo cáo kết quả trong phạm vi đã thử. [2] [3]
3. Có nên dùng một ngưỡng cho mọi mã hàng?
Dùng chung khi kết quả từng mã đáp ứng giới hạn đã chốt. Nếu chênh lệch đáng kể, thử ngưỡng riêng và quản lý cấu hình khi đổi mã. [2] [3]
4. Khi nào nên chuyển mẫu cho QC kiểm lại?
Khi điểm số nằm trong vùng chưa chắc chắn hoặc ảnh thiếu chất lượng. Đo thêm tỷ lệ chuyển kiểm và thời gian xử lý. [2]
5. Đánh giá nhà cung cấp bằng bài thử nào?
Yêu cầu thử lô độc lập tại nhịp chuyền, báo cáo đủ TP, FP, FN, TN và xác nhận trạm xử lý đúng sản phẩm. [2] [3]
Hãy mang bộ mẫu QC, nhịp chuyền và chi phí xử lý hàng lỗi đến buổi khảo sát với TMA Innovation để chốt ngưỡng thử, giới hạn nghiệm thu và điều kiện chuyển sang tự động loại.
Tài liệu tham khảo
[1] McKinsey — Industry 4.0: Capturing Value at Scale in Discrete Manufacturing, trường hợp Ford.
[2] TMA Solutions — AI Visual Inspection for Factories.
[3] Google for Developers — Classification: Accuracy, Recall, Precision, and Related Metrics.
[4] TMA Innovation — Defect Detection on Electronic Board.
[5] TMA Solutions — Company Booklet.
[6] European Commission — Application of the GDPR.
[7] TMA Solutions Australia — Software Development Services.


