Articles

OCR z Pythonem, OpenCV i PyTesseract

by admin 3 maja, 2021

optyczne rozpoznawanie znaków (OCR) to Konwersja obrazów tekstu pisanego, odręcznego lub drukowanego na tekst zakodowany maszynowo, czy to ze skanowanego dokumentu, zdjęcia dokumentu, zdjęcia ze sceny (billboardy w zdjęciu krajobrazowym) lub z tekstu nałożonego na obraz (napisy w transmisji telewizyjnej).

OCR składa się zasadniczo z podprocesów, które mają działać tak dokładnie, jak to możliwe.

tesseract 4.00 zawiera nowy podsystem sieci neuronowych skonfigurowany jako Rozpoznawanie linii tekstu. Ma swoje początki w implementacji LSTM opartej na Pythonie OCRopus, ale został przeprojektowany dla Tesseract w C++. System sieci neuronowych w Tesseract wstępnie datuje TensorFlow, ale jest z nim kompatybilny, ponieważ istnieje język opisu sieci o nazwie Variable Graph Specification Language (VGSL), który jest również dostępny dla TensorFlow.

aby rozpoznać obraz zawierający pojedynczy znak, zwykle używamy Konwolucyjnej sieci neuronowej (CNN). Tekst o dowolnej długości jest sekwencją znaków, a takie problemy są rozwiązywane za pomocą RNNs i LSTM jest popularną formą RNN. Przeczytaj ten post, aby dowiedzieć się więcej o LSTM.

Tesseract rozwinął się z modelu OCRopus w Pythonie, który był forkiem LSMT w C++, zwanym CLSTM. CLSTM jest implementacją modelu sieci neuronowej LSTM recurrent w języku C++.

Tesseract był próbą czyszczenia kodu i dodania nowego modelu LSTM. Obraz wejściowy jest przetwarzany w polach (prostokąt) linii przez linię wprowadzającą do modelu LSTM i dającą wyjście. Na poniższym obrazku możemy zwizualizować jak to działa.

jak Tesseract używa prezentacja modelu LSTM

instalacja tesseract

instalacja Tesseract w systemie Windows jest łatwa dzięki wstępnie skompilowanym plikom binarnym dostępnym tutaj. Nie zapomnij edytować zmiennej środowiskowej „path”i dodać ścieżkę tesseract. W przypadku instalacji Linuksa lub Mac jest instalowany za pomocą kilku poleceń.

domyślnie Tesseract oczekuje strony tekstu, gdy segmentuje obraz. Jeśli chcesz tylko OCR dla małego regionu, spróbuj użyć innego trybu segmentacji, używając argumentu — psm. Dostępnych jest 14 trybów, które można znaleźć tutaj. Domyślnie Tesseract w pełni automatyzuje segmentację strony, ale nie wykrywa orientacji i skryptów. Aby określić parametr, wpisz:

 0 Orientation and script detection (OSD) only.
1 Automatic page segmentation with OSD.
2 Automatic page segmentation, but no OSD, or OCR.
3 Fully automatic page segmentation, but no OSD. (Default)
4 Assume a single column of text of variable sizes.
5 Assume a single uniform block of vertically aligned text.
6 Assume a single uniform block of text.
7 Treat the image as a single text line.
8 Treat the image as a single word.
9 Treat the image as a single word in a circle.
10 Treat the image as a single character.
11 Sparse text. Find as much text as possible in no particular order.
12 Sparse text with OSD.
13 Raw line. Treat the image as a single text line,
bypassing hacks that are Tesseract-specific.

istnieje jeszcze jeden ważny argument, OCR engine mode (oem). Tesseract 4 posiada dwa silniki OCR-Legacy Tesseract engine oraz LSTM engine. Istnieją cztery tryby pracy wybrane za pomocą opcji-oem.

0. Tylko silnik Legacy.
1. Sieci neuronowe tylko silnik LSTM.
2. Silniki Legacy + LSTM.
3. Domyślnie, na podstawie tego, co jest dostępne.

OCR z Pytesseract i OpenCV:

Pytesseract jest opakowaniem dla silnika Tesseract-OCR. Jest również przydatny jako samodzielny skrypt wywołujący do tesseract, ponieważ może odczytywać wszystkie typy obrazów obsługiwane przez biblioteki obrazowania Pillow i Leptonica, w tym jpeg, png, gif, BMP, tiff i inne. Więcej informacji o podejściu Pythona przeczytasz tutaj.

wstępne przetwarzanie dla Tesseract:

musimy upewnić się, że obraz jest odpowiednio wstępnie przetworzony. aby zapewnić pewien poziom dokładności.

obejmuje to przeskalowanie, binaryzację, usuwanie szumów, deskowanie itp.

aby wstępnie przetworzyć obraz dla OCR, użyj jednej z poniższych funkcji Pythona lub postępuj zgodnie z dokumentacją OpenCV.

Our input is this image :

Here’s what we get :

Getting boxes around text :

możemy określić informacje o obwiedni za pomocą poniższego kodu.

poniższy skrypt wyświetli informacje o obwiedni dla każdego znaku wykrytego przez tesseract podczas OCR.

Jeśli chcesz ramki wokół słów zamiast znaków, przydatna będzie funkcjaimage_to_data. Możesz użyć funkcjiimage_to_data z typem wyjścia określonym pytesseractOutput.

użyjemy przykładowego obrazu paragonu poniżej jako wejścia do przetestowania tesseract .