Pythonist

Предыдущая статья — Играем в GTA V с Python. Часть I: чтение игровых фреймов в Python при помощи OpenCV.

Теперь, когда мы уверены, что можем, по крайней мере, считывать данные с экрана, следующее, что нам нужно сделать, это попробовать некоторые операции библиотеки OpenCV с данными изображений, типичных для задач компьютерного зрения.

Например, с целью упрощения задачи можно конвертировать цветное изображение в изборажение, содержащие только оттенки серого (на каждый пиксель останется только одно знаение вместо трех). А также произвести обнаружение краев, что в конечном итоге будет использовано для поиска линий, которые будут соответствовать нашим полосам движения.

Вот наш код на данный момент:

import numpy as np
from PIL import ImageGrab
import cv2
import time

# just so this doesn't go on forever:

def screen_record(): 
    last_time = time.time()
    while(True):
        # 800x600 windowed mode
        printscreen =  np.array(ImageGrab.grab(bbox=(0,40,800,640)))
        print('loop took {} seconds'.format(time.time()-last_time))
        last_time = time.time()
        cv2.imshow('window',cv2.cvtColor(printscreen, cv2.COLOR_BGR2RGB))
        if cv2.waitKey(25) & 0xFF == ord('q'):
            cv2.destroyAllWindows()
            break
            
#screen_record() 

Теперь давайте добавим оттенки серого и края:

import numpy as np
from PIL import ImageGrab
import cv2
import time


def process_img(image):
    original_image = image
    # преобразуем изображение из цветного в оттенки серого
    processed_img = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # обнаружение краев
    processed_img =  cv2.Canny(processed_img, threshold1 = 200, threshold2=300)
    return processed_img

def main():
    last_time = time.time()
    while True:
        screen =  np.array(ImageGrab.grab(bbox=(0,40,800,640)))
        #print('Frame took {} seconds'.format(time.time()-last_time))
        last_time = time.time()
        new_screen = process_img(screen)
        cv2.imshow('window', new_screen)
        #cv2.imshow('window',cv2.cvtColor(screen, cv2.COLOR_BGR2RGB))
        if cv2.waitKey(25) & 0xFF == ord('q'):
            cv2.destroyAllWindows()
            break

#main()
from IPython.display import Image
Image(filename='edge-detection.png')  

Выглядит великолепно!

К нашей вящей радости запись экрана работает! Но мы пока еще не проверили PyAutoGUI, чем и займемся далее.

Следующая статья — Играем в GTA V c Python. Часть III: прямой вход в игру.