Предыдущая статья — Играем в GTA V c Python. Часть IV: поиск дорожной разметки.
В данной статье мы собираемся для поиска линий включить в наш код алгоритм Хафа из библиотеки OpenCV. Наш код на данный момент имеет следующий вид:
import time from directkeys import ReleaseKey, PressKey, W, A, S, D import pyautogui def roi(img, vertices): mask = np.zeros_like(img) cv2.fillPoly(mask, vertices, 255) masked = cv2.bitwise_and(img, mask) return masked def process_img(original_image): processed_img = cv2.cvtColor(original_image, cv2.COLOR_BGR2GRAY) processed_img = cv2.Canny(processed_img, threshold1=200, threshold2=300) vertices = np.array([[10,500],[10,300], [300,200], [500,200], [800,300], [800,500]], np.int32) processed_img = roi(processed_img, [vertices]) return processed_img def main(): last_time = time.time() while(True): screen = np.array(ImageGrab.grab(bbox=(0,40, 800, 640))) new_screen = process_img(screen) print('Loop took {} seconds'.format(time.time()-last_time)) last_time = time.time() cv2.imshow('window', new_screen) #cv2.imshow('window2', cv2.cvtColor(screen, cv2.COLOR_BGR2RGB)) if cv2.waitKey(25) & 0xFF == ord('q'): cv2.destroyAllWindows() break
Далее мы собираемся использовать алгоритм HoughLinesP
из библиотеки OpenCV
, который находит линии на основе нескольких параметров. Мы добавим его в нашу функцию образа:
def process_img(original_image): processed_img = cv2.cvtColor(original_image, cv2.COLOR_BGR2GRAY) processed_img = cv2.Canny(processed_img, threshold1=200, threshold2=300) vertices = np.array([[10,500],[10,300],[300,200],[500,200],[800,300],[800,500], ], np.int32) processed_img = roi(processed_img, [vertices]) # more info: http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html # edges rho theta thresh # min length, max gap: lines = cv2.HoughLinesP(processed_img, 1, np.pi/180, 180, 20, 15) draw_lines(processed_img,lines) return processed_img
У нас пока еще нет функции «draw_lines» (отрисовка линий), давайте исправим это:
def draw_lines(img,lines): for line in lines: coords = line[0] cv2.line(img, (coords[0], coords[1]), (coords[2], coords[3]), [255,255,255], 3)
Все достаточно просто, эта функция просто рисует линии несколько толще там, где кажется, что они должны бы быть. Полный код к этому моменту имеет следующий вид:
import numpy as np from PIL import ImageGrab import cv2 import time from directkeys import ReleaseKey, PressKey, W, A, S, D def draw_lines(img,lines): for line in lines: coords = line[0] cv2.line(img, (coords[0], coords[1]), (coords[2], coords[3]), [255,255,255], 3) def process_img(original_image): processed_img = cv2.cvtColor(original_image, cv2.COLOR_BGR2GRAY) processed_img = cv2.Canny(processed_img, threshold1=200, threshold2=300) vertices = np.array([[10,500],[10,300],[300,200],[500,200],[800,300],[800,500], ], np.int32) processed_img = roi(processed_img, [vertices]) # more info: http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html # edges rho theta thresh # min length, max gap: lines = cv2.HoughLinesP(processed_img, 1, np.pi/180, 180, 20, 15) draw_lines(processed_img,lines) return processed_img def roi(img, vertices): #blank mask: mask = np.zeros_like(img) # fill the mask cv2.fillPoly(mask, vertices, 255) # now only show the area that is the mask masked = cv2.bitwise_and(img, mask) return masked def main(): last_time = time.time() while(True): screen = np.array(ImageGrab.grab(bbox=(0,40, 800, 640))) new_screen = process_img(screen) print('Loop took {} seconds'.format(time.time()-last_time)) last_time = time.time() cv2.imshow('window', new_screen) #cv2.imshow('window2', cv2.cvtColor(screen, cv2.COLOR_BGR2RGB)) if cv2.waitKey(25) & 0xFF == ord('q'): cv2.destroyAllWindows() break
Запустив его, мы получим то-то вроде этого:
Image(filename='lines-detected.png')
Хмм, так себе линии, если честно. Это происходит из-за разного рода помех. Давайте сгладим наше изображение и поищем линии заново. Для этого будем использовать фильтр Гаусса cv2.GaussianBlur
:
def process_img(original_image): processed_img = cv2.cvtColor(original_image, cv2.COLOR_BGR2GRAY) processed_img = cv2.Canny(processed_img, threshold1=200, threshold2=300) vertices = np.array([[10,500],[10,300],[300,200],[500,200],[800,300],[800,500], ], np.int32) processed_img = cv2.GaussianBlur(processed_img,(5,5),0) processed_img = roi(processed_img, [vertices]) # more info: http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html # edges rho theta thresh # min length, max gap: lines = cv2.HoughLinesP(processed_img, 1, np.pi/180, 180, 20, 15) draw_lines(processed_img,lines) return processed_img
Image(filename='blurred-and-lines-detected.jpg')
Итак, мы сделали это! Самые длинные и наиболее доминантные линии это определенно линии дорожной разметки.
Следующая статья — Играем в GTA V c Python. Часть VI: определяем линии разметки для нашего беспилотного автомобиля.