Computer vision for plastic bottle classification moving on conveyor

Abstract

Waste classification of used plastic bottles is one of the researches that have received much attention today. However, at present, this classification is still done manually by workers. In addition, there are also a number of studies that perform identification by traditional image processing methods. However, this does not bring about high identification efficiency because the shape of the plastic bottle is very complicated and it is also mixed in other types of waste. This paper will present a method to automatically recognize used water bottles when moving on a conveyor belt using machine learning techniques. This automatic identification method can assist workers in today's hard work of sorting waste. First, images of bottles are collected and preprocessed by conventional image processing methods, then these processed images are saved into a dataset for machine learning. The dataset is divided into 2 types of dirty bottles and clean bottles. The accuracy and processing time of recognition are verified experimentally. A 6-degree-of-freedom industrial manipulator with a camera fixed above the work area recognizes the coordinates of these plastic bottles and picks them up. Through experimental verification, accuracy of over 90% as well as identification time 200ms, the system proves to be applicable to the industrial environment of waste classification in the form of plastic bottles.

GIỚI THIỆU

Bảo vệ môi trường là một trong những nhiệm vụ quan trọng và trọng tâm của thành phố hiện nay. Có rất nhiều cách để bảo vệ môi trường nhưng cách gần gũi và đơn giản nhất là tái sử dụng, tái chế các vật dụng đã cũ hay không còn sử dụng nữa như các chai nhựa đựng nước uống. Hiện nay, các chai nhựa này được thu gom với số lượng lớn và thường được để lẫn lộn với các vật khác 1 . Sau đó, rác thải được đưa vào hệ thống tự động xử lý mùi, giảm kích thước v.v… và được đưa ra băng tải để phân loại. Do đặc thù là rác thải sinh hoạt ở nước ta chưa được phân loại tại nguồn, nên hiện nay, ở trong nước, việc phân loại riêng và lấy các chai nhựa ra vẫn sử dụng phương pháp thủ công do con người tiến hành trong các nhà máy 2 . Việc này làm cho năng suất phân loại không cao, hơn nữa người phân loại phải tiếp xúc với môi trường ô nhiễm độc hại, ảnh hưởng đến sức khỏe. Việc tự động hóa quá trình này trở nên cần thiết và hữu ích. Ứng dụng công nghệ thị giác máy tính để tự động hóa việc phân loại chai nhựa là một trong những giải pháp đầy hứa hẹn được sử dụng nhiều trên thế giới 3 . Phương pháp phân loại chai nhựa được sử dụng rộng rãi hiện nay trong các nghiên cứu là dựa trên màu sắc của chai như Jiao cùng các cộng sự 4 , Özkan và các cộng sự 5 . Các nghiên cứu này thực hiện như sau: sau khi chai nhựa được làm dẹp và chuyển đến băng chuyền phân loại, hình ảnh của những chai này trên băng chuyền được một camera cố định trên cao chụp. Sau đó, các chai này được nhận dạng bằng các hình thái đặc trưng như hình dạng, kích thước, màu sắc. Sau đó, tọa độ dựa trên hình ảnh của chúng được tính toán. Tùy theo các cơ cấu chấp hành ở cuối băng tải, chai nhựa sẽ được phân loại bằng cách gắp ra như dùng robot công nghiệp hay bị đẩy ra bằng hệ thống đẩy sử dụng khí nén. Gần đây, trong nước, các tác giả cũng ứng dụng công nghệ xử lý hình ảnh nhận dạng màu sắc để nhận biết vật thể 6 . Một cánh tay máy được tích hợp thêm camera để thực hiện quá trình xử lý ảnh phân loại màu dựa trên thư viện xử lý ảnh của LabVIEW. Trong nghiên cứu 7 , các tác giả ứng dụng trí tuệ nhân tạo để nhận biết hàng hóa, giúp ích cho việc thanh toán nhanh hơn. Nghiên cứu sử dụng các mạng YOLOv4, TResNet và FAISS lần lượt ở các giai đoạn phát hiện vật thể, trích xuất đặc trưng, phân loại hình ảnh đầu ra. Với kết quả thử nghiệm ban đầu, bộ nhận dạng có độ chính xác trung bình 94,54%. Ngoài ra, các tác giả trong nghiên cứu 8 ứng dụng công nghệ xử lý hình ảnh kết hợp A.I để nhận biết và phân loại hạt điều trên băng chuyền. Nghiên cứu đã xây dựng một tập dữ liệu để phân loại hạt điều tốt, hoặc bị vỡ hoặc bị sót vỏ (chưa tách hết vỏ lụa). Thực nghiệm cho thấy, thuật toán đề xuất có khả năng nhận dạng hạt điều với độ chính xác 97,34%.

Tuy trong nước đã có một số nghiên cứu về vấn đề này, nhưng chúng vẫn chỉ dừng ở mức nhận dạng trên máy tính. Trên thế giới cũng có một số nghiên cứu đáng ghi nhận. Maganda và các cộng sự 9 phát triển giải thuật xử lý ảnh kết hợp với các camera IR để tái tạo lại hình ảnh chai nước. Hình ảnh đầu vào có độ phân giải cao 8K. Tuy nhiên, thời gian xử lý quá lâu dẫn đến việc ứng dụng trong thực tế không khả thi. Trong nghiên cứu 10 , một hệ thống dùng để phân loại hình ảnh chai nhựa đã được đề xuất bằng cách sử dụng 5 phương pháp trích xuất. Chúng bao gồm phân tích thành phần chính (PCA), phân tích phân biệt tuyến tính của Fisher (FLDA), phân tách giá trị số ít (SVD) và bản đồ bản địa Laplacian (LEMAP). Sau đó giải thuật Support vector machine (SVM) được dùng để thực hiện việc phân loại.

Việc sử dụng kiến trúc mạng có tên là RecycleNet để phân loại các lớp đối tượng có thể tái chế đã được thực hiện 11 . Phương pháp được đề xuất làm giảm các tham số cần thiết trong kiến trúc CNN thông thường, nhưng nhược điểm của nó là lượng dữ liệu cần thiết cho đào tạo là rất lớn, ngay cả với phiên bản được tối ưu hóa do các tác giả đề xuất. Xiangyu cùng các công sự 12 đã đề xuất phương pháp trích xuất vùng quan tâm trong ảnh chai nhựa dựa trên phân đoạn ngưỡng kép. Trong đó ba kênh của ảnh nền được hàm Gauss điều chỉnh để xác định ngưỡng cao và thấp cho phân đoạn. Sau đó, trọng tâm của mỗi chai nhựa thu được bằng phương trình trọng tâm sau khi có được vùng quan tâm.

Các nghiên cứu trong và ngoài nước trên bước đầu đã có kết quả khả quan, tuy nhiên việc thực hiện này chỉ được thực hiện trên máy tính, chưa có sự kết hợp với cơ cấu chấp hành để tạo thành một hệ thống hoàn chỉnh. Nghiên cứu này sẽ giải quyết vấn đề về sự kết hợp giữa phần cứng và phần mềm trong hệ thống. Hệ thống sẽ bao gồm một camera ứng dụng học máy, xử lý hình ảnh, và kết hợp với tay máy để gắp vật. Camera có vai trò như một cảm biến phát hiện chai nhựa trong rác thải để gắp ra. Tay máy có vai trò như một cơ cấu chấp hành để gắp các chai nhựa phát hiện được. Do robot có thể làm việc ngày đêm và thay thế con người, nên năng suất, cũng như việc hạn chế tiếp xúc với môi trường độc hại của con người được giảm thiểu tối đa. Đây chính là nhu cầu cấp thiết, cũng như là phương án bền vững và lâu dài mà các doanh nghiệp hay thành phố đang cần đến

PHƯƠNG PHÁP NGHIÊN CỨU

Để tay máy có thể gắp được chai nhựa đang di chuyển, giải thuật bao gồm: xử lý ảnh, tinh chỉnh camera và tính toán tốc độ chai di chuyển trong thời gian thực.

Xử lý ảnh

Tiền xử lý

Mục tiêu là đưa ra được bức ảnh nhị phân có chứa các vùng đối tượng độc lập. Do đặc thù của đề tài là các chai nhựa di chuyển trên băng tải có phổ màu không cố định, các phương pháp phân ngưỡng thông thường sẽ không cho ra các ảnh nhị phân có đặc tính tốt. Do đó, ta chọn phương pháp trừ hình nền. Giải thuật được nghiên cứu thực hiện với sự hỗ trợ của thư viện mã nguồn mỡ OpenCV 13 :

• Bước 1: Dùng thư viện để khởi tạo hình nền. Bước này lúc đầu sẽ lấy khung hình đầu tiên để làm hình nền.

• Bước 2: Tìm sự khác biệt giữa hình nền và tiền cảnh. Dùng thư viện để thực hiện phép tính trừ các giá trị giữa ảnh khung hình và ảnh nền để tìm được ảnh khác biệt với ngưỡng là khoảng pixel đủ nhỏ.

• Bước 3: Xử lý đưa ra ảnh nhị phân. Sau khi tìm được ảnh khác biệt thì tiến hành chuyển đổi sang ảnh gray, tìm ngưỡng bằng phương pháp Otsu và đưa ra ảnh nhị phân. Phương pháp Otsu sẽ cho ra được giá trị phân ngưỡng tối ưu nhất, từ đó cho ra ảnh nhị phân mong muốn.

• Bước 4: Tiến hành lọc nhiễu bằng giải thuật Morphology (erode và dilate). Các đối tượng sẽ nổi lên với giá trị pixel là 1, nền băng tải mang giá trị pixel là 0.

• Bước 5: Cập nhật hình nền sau đó quay lại bước 2. Các bước cứ lập lại cho đến khi người thực hiện dừng chương trình

Thu thập dữ liệu cho học máy

Đối tượng phân loại của nghiên cứu là các chai nhựa rỗng đã làm xẹp tương đối. Do đó, ta có thể phân chúng ra thành 2 loại như Figure 1 .

• Loại tái chế được: Loại chai này trong suốt, không bị dơ, đục và chứa tạp chất bên trong. Loại này tiếp tục đi theo băng tải chuyển qua công đoạn tái chế tiếp theo.

• Loại không tái chế được: chứa dị vật bên trong, đục màu, bẩn. Các chai này được robot gắp ra và loại bỏ khỏi băng chuyền.

Figure 1 . 2 đối tượng chai nhựa phân loại

Tinh chỉnh camera

Camera calibiration là một quá trình chuyển đổi tọa độ từ hệ tọa độ pixel (u,v) qua hệ tọa độ ngoại là hệ tọa độ của checker board (X,Y,Z). Đầu tiên, các hình ảnh được thu thập tại các vị trí bất kỳ trên băng tải như Figure 2 a và lấy một hình làm gốc tọa độ như Figure 2 b. Sau đó, sử dụng công cụ của Matlab để tính toán thông số nội K và thông số ngoại [R T] như công thức (1). Từ đó, có thể tính được tọa độ pixel tương ứng với tọa độ thật trên băng tải tương ứng với độ cao Z

Công thức tổng quát:

Sau khí áp dụng các bước trên, ta có được kết quả như sau

Figure 2 . Các hình ảnh thu thập cho calib (a), Hình gốc tọa độ (b).

Để kiểm nghiệm sai số của camera, quá trình được thực hiện bằng cách sử dụng bàn cờ vua đã biết trước kích thước từng ô (15mm). Đầu tiên, bàn cờ được đặt song song với các phương xy. Sau đó, thuật toán Corner Detector được sử dụng để xác định các góc bàn cờ trên hệ tọa độ pixel. Từ các góc đã xác định, lấy tọa độ thực để tính khoảng cách giữa hai điểm trên bàn cờ. Sai số theo phương xy của camera được xác định như Figure 3 .

Figure 3 . Sai số của quá trình calib

Xác định vận tốc băng tải bằng camera

Quá trình tính toán vận tốc được kích hoạt qua điều kiện “Check speed”. Chương trình sẽ liên tục lấy dữ liệu vị trí và thời gian của đối tượng trên băng tải. Khi kết thúc quá trình này, kết quả sẽ tính ra vận tốc của băng tải qua hồi quy tuyến tính. Giá trị vận tốc được cập nhật lên hệ thống để dùng cho các mục đích tính toán khác

Ta giả định việc setup vận tốc băng tải được thực hiện qua núm xoay biến trở và trong quá trình hoạt động, vận tốc băng tải không đổi bởi các điều kiện khác nhau. Ở phần trước, việc tiền xử lí ảnh đưa ra được các đối tượng trên băng tải, ta có thể tìm được tâm của đối tượng đó qua việc tính các moment ảnh ở mỗi thời điểm khác nhau. Khi một đối tượng di chuyển trên băng tải, với vận tốc v là hằng số ta có phương trình:

Từ đó, ta thu thập được Table 1 .

Table 1 Bảng số liệu thu thập

Do hệ thống tách biệt vùng làm việc của camera và vùng làm việc của robot, nên việc xác định vận tốc của của băng tải hết sức quan trọng. Nó là một thông số quan trọng để xác định vị trí của vật theo thời gian và phải có sai số nhỏ để đảm bảo robot có thể bắt chính xác được vị trí của vật.

Để xác định chỉ tiêu này, ta sử dụng thêm một encoder ngoài hệ thống và cho băng tải chạy ở các mức vận tốc khác nhau để tiến hành so sánh kết quả giữa hai phép đo như Figure 4 .

Figure 4 . Sai số của vận tốc đo bằng camera

Multi-class Support Vector Machine

Phương pháp Support Vector Machine được xây dựng nhằm giải quyết bài toán Binary Classification, tức bài toán phân lớp với chỉ hai classes. Việc này cũng tương tự như Percetron Learning Algorithm hay Logistic Regression vậy. Các mô hình làm việc với bài toán có 2 classes còn được gọi là Binary classifiers. Một cách tự nhiên để mở rộng các mô hình này, nó được áp dụng cho các bài toán multi-class classification, tức có nhiều classes dữ liệu khác nhau. Phương pháp được sử dụng nhiều nhất là one-vs-rest (một số tài liệu gọi là ove-vs-all, one-against-rest, hoặc one-against-all). Cụ thể, nếu có C classes thì ta sẽ xây dựng C classifiers, mỗi classifier tương ứng với một class. Classifier thứ nhất giúp phân biệt class 1 vs not class 1, tức xem một điểm có thuộc class 1 hay không, hoặc xác suất để một điểm rơi vào class 1 là bao nhiêu. Tương tự như thế, classifier thứ hai sẽ phân biệt class 2 vs not class 2, … Kết quả cuối cùng có thể được xác định bằng cách xác định class mà một điểm rơi vào với xác suất cao nhất.

Sau khi thu thập giữ liệu của hai classes phân loại trên bao gồm 50 ảnh của class 1 và 50 ảnh của class 2, ta tiến hành traning model SVM với các thông số: DATA_SIZE = 100 (ảnh), TRAINING_SIZE = 0.7*DATA_SIZE = 70 (ảnh). TEST_SIZE = 0.3*DATA_SIZE = 30 (ảnh). Kết quả huấn luyện này được trình bày trong Table 2 .

Table 2 Kết quả của quá trình huấn luyện

Độ chính xác của model đạt mức 0.93% so với mức chính xác chung của model SVM. Để nâng cao cải thiện model ta có thể thực hiện bằng cách thu thập nhiều ảnh huấn luyện hơn để đạt được model tốt hơn.

KẾT QUẢ VÀ THẢO LUẬN

Quá trình thực nghiệm được thực hiện trên robot Nachi 6 bậc tự do, camera 2D được đặt trên khâu cuối của robot và chai nhựa cần phân loại được đặt trên băng tải di động như Figure 5 . Có 2 loại chai nhựa đặt trên băng tải là loại tái chế được và không tái chế được như hình 1. Quá trình phát hiện chai nhựa và gắp được tóm tắt như Figure 6 . Đầu tiên, các loại chai nhựa được đặt trên băng tải xem kẽ chai phân loại và không phân loại được cùng một lúc như Figure 5 , sau đó hệ thống camera sẽ nhận dạng loại chai và tính toán tọa độ cho robot. Kế tiếp robot sẽ tiến hành gắp và bỏ vào đúng chỗ phân loại chai tái chế được như Figure 6 a và Figure 6 b. Sau đó hệ thống sẽ tiếp tục nhận dạng và lặp lại và đặt vào chỗ phân loại chai không tái chế được như Figure 6 c và Figure 6 d. Kết quả phân loại cũng như tốc độ xử lý của hệ thống được trình bày trong Table 3 và Table 4 .

Figure 5 . Môi trường thực nghiệm

Figure 6 . Quá trình nhận dạng và gắp chai nhựa

Với model SVM đã được traning ở phần trước, ta kiểm tra khả năng nhận dạng của model với mẫu thử là 20 loại chai khác khau đã biết trước loại đối tượng, một trong số đó được thể hiện như Figure 7 .

Figure 7 . Các loại chai ngẫu nhiên chọn

Table 3 Kết quả nhận diện thực nghiệm trên băng tải

Nhận xét :

• Trong 20 mẫu đánh giá, model chỉ nhận dạng đúng được 18 /20 mẫu, kết quả nhận dạng thấp hơn so với độ chính xác của model.

• Nguyên nhân gây ra sai số mẫu thử khá lớn là do ảnh hưởng của điều kiện sáng khác nhau ở mỗi thời điểm làm thực nghiệm, chúng làm model dự đoán sai. Để khắc phục điều này, hệ thống cần đồng nhất điều kiện sáng của hệ thống camera.

Table 4 Thời gian xử lý của hệ thống

• Thời gian xử lí ảnh tổng cộng không vượt quá 0.5s, ứng dụng có thể chạy thời gian thực rất tốt.

• Thời gian thực thi của robot trung bình khoảng 3.8s. Vì an toàn nên tốc độ tay máy trong nghiên cứu chỉ ở mức 60% tốc độ tối đa. Tốc độ này có thể được điều chỉnh nhanh hơn để phù hợp với yêu cầu đưa ra của sản xuất.

KẾT LUẬN

Nghiên cứu đã trình bày một phương pháp hiệu quả để tự động hóa quá trình phân loại chai nhựa bằng cách sử dụng robot công nghiệp và thị giác máy tính. Qua thực nghiệm có thể thấy, phương pháp có thể thay thế việc phân loại thủ công hiện nay của người lao động, tăng năng suất cho quá trình phân loại cũng như bảo vệ sức khỏe người lao động tốt hơn. Cách làm cũng đơn giản và dễ thực hiện cũng như dễ bảo trì. Để tăng độ chính xác, hệ thống camera có thể dễ dàng thay đổi cũng như có thể thu thập thêm dữ liệu phục vụ cho quá trình huấn luyện

GHI NHẬN TÀI TRỢ

Chúng tôi xin cám ơn Trường Đại Học Bách Khoa, ĐHQG-HCM đã hỗ trợ thời gian, phương tiện và cơ sở vật chất cho nghiên cứu này.

XUNG ĐỘT LỢI ÍCH

Nhóm tác giả xin cam đoan rằng không có bất kỳ xung đột lợi ích nào trong công bố bài báo.

ĐÓNG GÓP CỦA CÁC TÁC GIẢ

- Lê Đức Hạnh: đưa ra ý tưởng, phân tích và viết bài.

- Võ Duy Công: thực nghiệm và thu thập dữ liệu và phân tích.