62 2 406KB
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
BÁO CÁO ĐỀ TÀI NHẬN DIỆN BIỂN BÁO GIAO THÔNG BẰNG MÔ HÌNH CNN
MÔN HỌC: KHOA HỌC NHẬN THỨC GIẢNG VIÊN: TS. Nguyễn Thế Hoàng Anh Nhóm số: Các thành viên: 1. Nguyễn Duy Thành 2. Trần Đức Anh 3. Phạm Đức Anh
Hà Nội – 2022
Tóm tắt: Xe tự lái là một công nghệ mới đang được nghiên cứu và phát triển bởi nhiều tập đoàn hàng đầu trên thế giới. Thang đo cấp độ của xe tự lái bắt đầu từ cấp 0 – không có tính năng tự động nào – cho tới cấp độ 5 – thay thế hoàn toàn thao tác điều khiển của con người. Nhưng để đạt được khả năng chính xác và an toàn khi di chuyển thì còn cần nhận biết và tuân theo các quy tắc giao thông cụ thể là các biển báo giao thông. Báo cáo này sẽ tập trung vào nghiên cứu mô hình mạng tích chập CNN (Convolutional Neural Network) để nhận diện các loại biển báo giao thông. Dữ liệu ảnh được thu thập từ nguồn dữ liệu mở kaggle với tập dữ liệu gồm hơn 50000 ảnh. Sau kiểm nghiệm với mô hình mạng tích chập chúng tôi đã thu được kết quả với độ chính xác lên tới 95%. Kết quả cho thấy, mô hình phù hợp để áp dụng với bài toán nhận diện biển báo giao thông. Từ khóa: Convolutional Neural Network, nhận diện biển báo.
Mục lục 1. Đặt vấn đề......................................................................................................................5 2. Cơ sơ lý thuyết...............................................................................................................5 2.1. Mạng Neural tích chập (CNN)........................................................................................5 2.2. Thư viện Keras................................................................................................................7
3. Các bước thực hiện........................................................................................................8 3.1. Tìm hiểu về tập dữ liệu....................................................................................................8 3.2. Tiền xử lý dữ liệu..........................................................................................................10 3.3. Xây dựng mô hình CNN................................................................................................11 3.4. Huấn luyện mô hình......................................................................................................12 3.5. Thiết kế giao diện người dùng.......................................................................................12
4. Đánh giá kết quả..........................................................................................................13 5. Kết luận.......................................................................................................................13
Mục lục hình ảnh Hình 1. Chức năng một số cảm biến trên xe tự lái............................................................5 Hình 2. Lưu đồ mô hình CNN...........................................................................................6 Hình 3. Các loại biển báo có trong tập dữ liệu..................................................................8 Hình 4. Ảnh đầu vào ở một số điều kiện khác nhau........................................................10 Hình 5. Lưu đồ tiền xử lý dữ liệu....................................................................................11 Hình 6. Các layer trong mô hình mạng CNN..................................................................12
Bảng 1. Đặt vấn đề Công nghệ xe tự lái hay xe tự hành là một công nghệ mới đang được nhiều nhà nghiên cứu và các công ty công nghệ lớn nghiên cứu, phát triển cho các dòng xe riêng của mình. Công nghệ này là tập hợp việc thu thập dữ liệu từ các thiết bị cảm biến với khả năng cảm nhận môi trường xung quanh như camera, radar, sonar, laser, lidar, định vị GPS với việc tính toán các dữ liệu thu được bằng trí tuệ nhân tạo AI. Các cảm biến trên xe có chức năng khác nhau phục vụ cho các tác vụ riêng biệt cho việc tự động lái của xe.
Bảng 2. Chức năng một số cảm biến trên xe tự lái Hình 1 thể hiện chức năng của các cảm biến trên công nghệ xe tự lái. Ví dụ như radar thực hiện bài toán như phát hiện điểm mù hay cảnh báo va chạm phía sau xe. Hoặc sử dụng lidar để phát hiện người đi bộ hay tránh va chạm với các phương tiện khác. Nhưng để đạt được khả năng chính xác và an toàn khi di chuyển thì còn cần nhận biết và tuân theo các quy tắc giao thông, cụ thể là các biển báo giao thông. Trong phạm vi bài báo cáo này, chúng tôi tập trung giải quyết bài toán nhận diện biển báo giao thông. Bài toán nhận diện biển báo giao thông đã được thực hiện bằng nhiều thuật toán khác nhau như SVM, trích xuất đặc trưng HOG. Ở đây, chúng tôi sử dụng mô hình mạng neural tích chập CNN để thực hiện bài toán nhận diện biển báo giao thông.
Bảng 3. Cơ sơ lý thuyết 3.1. Mạng Neural tích chập (CNN) Mạng Neural tích chập (CNN) là một thuật toán Deep Learning có thể lấy hình ảnh đầu vào, phân biệt được các đặc trưng/đối tượng khác nhau trong ảnh và gán các giá trị trọng số
(weights), độ lệch (bias) cho từng đặc trưng/ đối tượng. Vai trò của mạng CNN là giảm chiều hình ảnh thành một dạng dễ xử lý hơn nhưng vẫn giữ lại được các đặc trưng quan trọng để có thể dự đoán tốt. Ý tưởng của mô hình CNN là sử dụng các bộ lọc trên ảnh để trích xuất các đặc trưng ảnh trước khi đưa vào huấn luyện mạng neural. Sau khi đưa qua các bộ lọc, đặc trưng của ảnh sẽ được làm nổi bật từ đó có thể sử dụng chúng để nhận diện hình ảnh.
Bảng 4. Lưu đồ mô hình CNN Hệ thống sử dụng mô hình CNN được mô tả như Hình 2. Đầu tiên, dữ liệu đầu vào được gán nhãn. Sau đó, tại quá trình phân chia dữ liệu, tập ảnh sẽ được phân thành tập ảnh huấn luyện (training), tập ảnh thử (test) và tập ảnh thẩm định (validation). Tập ảnh huấn luyện và tập ảnh thẩm định sẽ được đưa vào để huấn luyện cho mô hình CNN để tìm ra bộ giá trị trọng số (weights). Từ bộ giá trị trọng số huấn luyện được sẽ được thử trên bộ ảnh thử để đánh giá kết quả. Trong CNN bao gồm các lớp cơ bản như sau: Lớp mạng tích chập (convolution layer): có vai trò phát hiện các đặc trưng của ảnh như các góc, cạnh, màu sắc, đường ngang, dọc các hình dạng nổi bật của hình ảnh đầu vào. Sau khi ảnh được cho đi qua các lớp tích chập, ảnh sẽ được làm nổi bật các đặc trưng có trong ảnh, kết quả đầu ra thể hiện tính chất cục bộ của ảnh. Lớp tổng hợp (pooling layer): chịu trách nhiệm làm giảm chiều kết quả tích chập, giúp đơn giản hóa thông tin đầu ra để giảm bớt số lượng neurol. Ví dụ như sau khi đi qua lớp Max pooling 2x2, sẽ chọn một điểm ảnh có giá trị lớn nhất cho mỗi một vùng
có kích thước 2x2, kết quả cho ra một hình ảnh đầu ra chỉ bằng
hình ảnh ban đầu
nhưng các đặc trưng của ảnh vẫn được giữ lại, thậm chí có thể nổi bật hơn so với ban đầu. Hàm phi tuyến (Nonlinear layer): hàm kích hoạt với nhiệm vụ chính là mô phỏng các neural có tỷ lệ truyền xung qua axon. Hiện nay, hàm Relu được sử dụng phổ biến vì những ưu điểm nổi bật như: hỗ trợ tính toán nhanh, đơn giản và hạn chế tình trạng vanishing gradient. Lớp liên kết đầy đủ (Fully Connected Layer): sau khi ảnh đi qua nhiều lớp ở trước thì mô hình đã học được tương đối các đặc trưng của ảnh. Sau đó, lớp liên kết đầy đủ sẽ chuyển ma trận đặc trưng thu được ở các tầng trước thành vector thể hiện xác suất dự đoán label của ảnh. 4.1. Thư viện Keras Keras là một open source cho Neural Network được viết bằng ngôn ngữ python. Nó là một thư viện được phát triển vào năm 2005 bởi Francois Chollet – một kỹ sư nghiên cứu về Deep learning. Keras được coi là một thư viện high level với phần low level (back-end) có thể là TensorFlow, CNTK hoặc Theano. Keras được thiết kế để dễ dàng tạo ra mô hình học sâu. Keras tận dụng các kỹ thuật tối ưu hóa khác nhau để làm API cho mạng thần kinh cấp cao dễ dàng va hiệu quả hơn. Nó hỗ trợ nhiều tính năng như: API nhất quán, đơn giản và có thể mở rộng; cấu trúc tối thiểu – dễ dàng đạt được kết quả; hỗ trợ trên nhiều nền tảng và backend; thân thiện với người dùng chạy bằng CPU hay GPU; khả năng mở rộng tính toán cao. Những ưu điểm của thư viện Keras gồm có: Dễ dàng để kiểm tra. Viết bằng ngôn ngữ Python giúp đơn giản hóa. Hỗ trợ cả mạng convolution và recurrent. Cộng đồng lớn nên dễ tìm được hỗ trợ. Keras hỗ trợ huấn luyện trên nhiều GPU phân tán.
Bảng 5. Các bước thực hiện 5.1. Tìm hiểu về tập dữ liệu Tập dữ liệu được chúng tôi sử dụng có tên là: German Traffic Sign Recognition Benchmark Dataset (GTSRB Dataset). Đây là một tập dữ liệu opensource về biển báo giao thông khá nổi tiếng có trên Kaggle. Tập dữ liệu chứa hơn 50000 ảnh về các loại biển báo giao thông khác nhau. Dữ liệu trong tập được phân loại thành 43 lớp khác nhau thể hiện cho 43 loại biển báo.
Bảng 6. Các loại biển báo có trong tập dữ liệu Hình 3 thể hiện hình những biển báo có trong tập dữ liệu GTSRB. Nhưng dữ liệu về các loại biển báo không được phân chia đồng đều, có một số lớp chứa rất nhiều hình ảnh trong khi một số lớp sẽ có rất ít. Số lượng ảnh có trong mỗi lớp được thể hiện ở trong Bảng 1. Tên biển báo
Số lượng ảnh
Speed limit (20km/h)
210
Speed limit (30km/h)
2220
Speed limit (50km/h)
2250
Speed limit (60km/h)
1410
Speed limit (70km/h)
1980
Speed limit (80km/h)
1860
End of speed limit (80km/h)
420
Speed limit (100km/h)
1441
Speed limit (120km/h)
1419
No passing
1470
No passing veh over 3.5 tons
2010
Right-of-way at intersection
1320
Priority road
2100
Yield
2160
Stop
780
No vehicles
630
Veh > 3.5 tons prohibited
420
No entry
111
General caution
1200
Dangerous curve left
210
Dangerous curve right
360
Double curve
330
Bumpy road
390
Slippery road
510
Road narrows on the right
270
Road work
1500
Traffic signals
600
Pedestrians
240
Children crossing
540
Bicycles crossing
270
Beware of ice/snow
450
Wild animals crossing
780
End speed + passing limits
240
Turn right ahead
689
Turn left ahead
420
Ahead only
1200
Go straight or right
390
Go straight or left
210
Keep right
2070
Keep left
300
Roundabout mandatory
360
End of no passing
240
End no passing veh > 3.5 tons
240
Bảng 7. Số lượng ảnh có trong từng lớp Ngoài ra, dữ liệu ảnh trong từng lớp được lấy ở nhiều điều kiện khác nhau để đảm bảo độ chính xác khi huấn luyện.
Ảnh bị mờ
Ảnh bị tối màu
Bảng 8. Ảnh đầu vào ở một số điều kiện khác nhau 8.1. Tiền xử lý dữ liệu Đối với tập dữ liệu về biển báo giao thông mà chúng tôi đã đề cập tới ở phần trên, chúng tôi sẽ đọc và tiền xử lý dữ liệu theo các bước được thể hiện trong lưu đồ được mô tả bởi Hình 5.
Bảng 9. Lưu đồ tiền xử lý dữ liệu Đầu tiên, chúng tôi đọc từng ảnh trong tập dữ liệu và lớp của các ảnh. Tiếp theo, chúng tôi resize ảnh về kích thước 30x30 và lưu vào một ma trận ảnh để làm đầu vào cho mô hình CNN. Cùng với đó, các nhãn lớp của các ảnh sẽ được chuyển về dạng One-hot Encoding. One-hot Encoding thể hiện sự phân nhãn của các lớp là một vector kích thước m biển thị cho số lớp gồm các giá trị nhị phân 0 và 1, vị trí của phần tử 1 sẽ xác định label của ảnh tương ứng. Sau đó, ma trận ảnh sẽ được chia ra thành tập huấn luyện (train set) và tập ảnh thử (test set) với số lượng ảnh được thể hiện trong Bảng 2. Tập huấn luyện
39219
Tập thử
12631
Bảng 10. Tỷ lệ chia dữ liệu ảnh 10.1. Xây dựng mô hình CNN Mô hình mạng neural tích chập được chúng tôi đề xuất được xây dựng bằng thư viện Keras. Mô tả các lớp trong mô hình được thể hiện trong Hình 6 như sau:
Bảng 11. Các layer trong mô hình mạng CNN 11.1. Huấn luyện mô hình Với mô hình đã xây dựng ở phần trên, chúng tôi huấn luyện qua số lượng epochs là 15 và batch size là 32. Trong khi huấn luyện, chúng tôi chọn một tập validation để kiểm tra độ chính xác mô hình lúc huấn luyện nhằm tránh hiện tượng Overfitting. Tập validation được chúng tôi lấy từ một phần của tập huấn luyện với tỉ lệ là 20%. Kết quả sau quá trình huấn luyện cho mô hình sẽ được trình bảy trong phần sau của bài báo cáo. 11.2. Thiết kế giao diện người dùng Để có thể đánh giá hiệu quả cho mô hình một cách trực quan, chúng tôi đã xây dựng một giao diện để người dùng có thể kiểm tra kết quả nhận dạng biển báo được có đúng với biển báo thực tế.
Mô hình được chúng tôi huấn luyện từ phần trước được sử dụng để xác định biển báo được đưa vào. Ảnh được đưa vào sẽ được thay đổi kích thước phù hợp với mô hình đã huấn luyện. Kết quả sau khi đưa ảnh đi qua mô hình sẽ cho ra một vector kích thước 1x43 thể hiện cho số lớp của tập dữ liệu. Từ vector nhận được, máy tính có thể cho biế đầu vào là biển báo gì bằng cách trả về một giá trị trong khoảng (0,42) đại diện cho lớp của biển báo.
Bảng 12. Đánh giá kết quả Bảng 13. Kết luận