ABONAMENTE VIDEO REDACȚIA
RO
EN
NOU
Numărul 142
Numărul 141 Numărul 140 Numărul 139 Numărul 138 Numărul 137 Numărul 136 Numărul 135 Numărul 134 Numărul 133 Numărul 132 Numărul 131 Numărul 130 Numărul 129 Numărul 128 Numărul 127 Numărul 126 Numărul 125 Numărul 124 Numărul 123 Numărul 122 Numărul 121 Numărul 120 Numărul 119 Numărul 118 Numărul 117 Numărul 116 Numărul 115 Numărul 114 Numărul 113 Numărul 112 Numărul 111 Numărul 110 Numărul 109 Numărul 108 Numărul 107 Numărul 106 Numărul 105 Numărul 104 Numărul 103 Numărul 102 Numărul 101 Numărul 100 Numărul 99 Numărul 98 Numărul 97 Numărul 96 Numărul 95 Numărul 94 Numărul 93 Numărul 92 Numărul 91 Numărul 90 Numărul 89 Numărul 88 Numărul 87 Numărul 86 Numărul 85 Numărul 84 Numărul 83 Numărul 82 Numărul 81 Numărul 80 Numărul 79 Numărul 78 Numărul 77 Numărul 76 Numărul 75 Numărul 74 Numărul 73 Numărul 72 Numărul 71 Numărul 70 Numărul 69 Numărul 68 Numărul 67 Numărul 66 Numărul 65 Numărul 64 Numărul 63 Numărul 62 Numărul 61 Numărul 60 Numărul 59 Numărul 58 Numărul 57 Numărul 56 Numărul 55 Numărul 54 Numărul 53 Numărul 52 Numărul 51 Numărul 50 Numărul 49 Numărul 48 Numărul 47 Numărul 46 Numărul 45 Numărul 44 Numărul 43 Numărul 42 Numărul 41 Numărul 40 Numărul 39 Numărul 38 Numărul 37 Numărul 36 Numărul 35 Numărul 34 Numărul 33 Numărul 32 Numărul 31 Numărul 30 Numărul 29 Numărul 28 Numărul 27 Numărul 26 Numărul 25 Numărul 24 Numărul 23 Numărul 22 Numărul 21 Numărul 20 Numărul 19 Numărul 18 Numărul 17 Numărul 16 Numărul 15 Numărul 14 Numărul 13 Numărul 12 Numărul 11 Numărul 10 Numărul 9 Numărul 8 Numărul 7 Numărul 6 Numărul 5 Numărul 4 Numărul 3 Numărul 2 Numărul 1
×
▼ LISTĂ EDIȚII ▼
Numărul 74
Abonament PDF

Recunoașterea persoanelor și a mașinilor folosind OpenCV și Java

Ovidiu Mățan
Fondator @ Today Software Magazine



PROGRAMARE


Dacă sunteți interesați să realizați aplicații în care să procesați imagini sau fluxuri video, OpenCV este platforma care vă va ajuta să le realizați. OpenCV este scrisă în C++ pentru a rula pe un număr mare de platforme: Linux, Windows, Android, iOS, ... Dezvoltarea aplicațiilor se realizează în C++, dar are și suport de Java și Python. În acest articol vom aborda versiunea Java a OpenCV, vom trece prin noțiunile de bază și vom realiza o aplicație care generează o tablă de șah, aplicăm efecte asupra coperții numărului curent al revistei TSM, recunoaștem persoane și mașini.

Exemplul 1: Generarea unei table de șah

public class ChessTable {
public static void main(
 String[] args) {
  int nrRows = 8;
  int squareSize = 20;
  int tableSize = 
    nrRows * squareSize;

  System.loadLibrary(
   Core.NATIVE_LIBRARY_NAME);

  Mat mainTable = new Mat( 
   tableSize, 
   tableSize, 
   CvType.CV_8UC3);

  //set color to white
  mainTable.setTo(
  new Scalar(255, 255, 255));
  for (int j = 0; j < nrRows; j++)

 for (int i = 0; i < nrRows; i++) {
  if ((i%2^j%2)==1){
  //Longer version: i % 2 != 0 &&
  //j%2==0 || i%2==0 && j%2!=0) 

  Mat square = mainTable.submat(
    new Rect(i * squareSize, 
    j*squareSize, squareSize, 
    squareSize));

  square.setTo(
    new Scalar(0, 0, 0));
    }
  }
  imwrite("chessTable.png", 
    mainTable);

  System.out.println(mainTable);
 }
}

Aplicația începe cu încărcarea librăriei native. OpenCV rulează nativ iar accesul la funcțiile de bază din Java se realizează prin JNI. Acesta este de fapt singura modalitate de a avea acces direct la GPU și procesoarele CUDA.

Continuăm cu inițializarea matricei Mat, principalul element OpenCV . Aceasta poate stoca imagini, vectori, histograme și tot ce este nevoie de la o matrice cu N dimensiuni cu unul sau mai multe canale de informație. În cazul de față, fiecare element din matrice conține trei valori de câte 8 biți, unsigned integer, corespunzătoare informațiilor de culoare RGB.

Odată inițializată matricea, îi setăm culoarea alb, corespunzătoare fundalului tablei de șah. În continuare, se adaugă pătratele negre ale tablei de șah prin inițializarea unor submatrici din cea principală.

La final stocăm matricea mainTable într-o imagine png.

Buildul

Pentru rulare puteți să descărcați OpenCV, dacă rulați pe Windows. Dacă sunteți pe Linux va trebui să compilați sursele. Pasul următor este să realizăm un build al proiectului nostru. Vom descărca sursele complete pentru exemplul de mai sus.Acestea se găsesc aici: https://github.com/ovidiumatan/opencv-app.

Pentru compilarea surselor, veți avea nevoie să aveți instalate Maven și Java JDK instalate. Rulăm mvn package din rădăcina proiectului și obținem jarul final: my-opencv-app-1.0-SNAPSHOT-jar-with-dependencies.jar

Rularea exemplului

Pentru a putea rula aplicația noastră, va trebui să definim calea către librăriile native aflate în folderul OpenCV. În funcție de platforma pe care rulăm, calea din java.library.path diferă astfel:

Linux - java -Djava.library.path=/home/pi/Work/OpenCV/opencv-3.4.3/build/lib -jar my-opencv-app-1.0-SNAPSHOT-jar-with-dependencies.jar

Windows - java -Djava.library.path=C:\\Work\\opencv\\build\\java\\x64 -jar my-opencv-app-1.0-SNAPSHOT-jar-with-dependencies.jar

Exemplul 2: Aplicarea efectelor

În acest exemplul vom citi o poză a unei coperți TSM, vom transforma imaginea în alb negru și vom aplica efectul Canny. Acesta este folosit special în detecția contururilor diferitelor obiecte:

public class CannyEffect{

  static String IMG_URL="https://www.todaysoftmag.ro/
   images/covers/cover_n74_ro@2x.jpg";

  public static void main(String[] args) 
    throws IOException {

    System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

    Mat cover = getImageFromURL(IMG_URL);
    Imgcodecs.imwrite("original.png", cover);
    Imgproc.cvtColor(cover,cover,
      Imgproc.COLOR_RGB2GRAY);

    Imgcodecs.imwrite("gray.png", cover);
    Imgproc.Canny(cover,cover,150.0,300.0,5,true);
    Imgcodecs.imwrite("canny.png", cover);
    }

  private static Mat getImageFromURL(
    String image_path) throws IOException {

    URL url=new URL(image_path);
    URLConnection conn=url.openConnection();
    byte[] imgData=conn.getInputStream()
      .readAllBytes();

    return Imgcodecs.imdecode(new MatOfByte(imgData), 
      Imgcodecs.CV_LOAD_IMAGE_UNCHANGED);
    }
}

Citim poza numărului curent a revistei Today Software Magazine unde folosim metoda readAllBytes() pentru transformarea input stream-ului într-un șir de byte. Metoda a apărut doar în Java 9, aveți așadar grijă la versiunea de Java folosită. În continuare, cu ajutorul metodei imdecode() este transformată într-o matrice Mat asupra căreia vom aplica cele două efecte.

Rulăm exemplul astfel:

java -Djava.library.path=C:\\Work\\opencv\\build\\java\\x64 -cp my-opencv-app-1.0-SNAPSHOT-jar-with-dependencies.jar org.tsm.opencv.ex2.CannyEffect

și obținem cele trei imagini de mai jos

Exemplul 3: Recunoașterea persoanelor

public class PeopleRecognition {
  public static int CAMERA_ID = 0;

  public static void main(String[] args) {
    System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

    VideoCapture camera=new VideoCapture(CAMERA_ID);
    CascadeClassifier faceDetector = 
      new CascadeClassifier();

    boolean loaded = faceDetector.load(
      "haarcascade_frontalface_alt.xml");
    System.out.println("+haar... loaded:" + loaded);
    MatOfRect detectedFaces = new MatOfRect();
    boolean faceDetected = false;
    Mat frame = new Mat();
    while (!faceDetected) if (camera.read(frame)) {
      faceDetector.detectMultiScale(frame, 
        detectedFaces);

       Rect faces[] = detectedFaces.toArray();
       if (faces.length > 0) {
         System.out.println("Faces detected");
         for (Rect face : faces) {
           Imgproc.rectangle(frame, 
              new Point(face.x, face.y), 
              new Point(face.x + face.width, 
              face.y + face.height), 
              new Scalar(0, 255, 0), 3);

           Imgcodecs.imwrite("detectedFaceImg" + 
              System.currentTimeMillis() + ".jpg",
                frame);

              }
           faceDetected = true;

       }
       }
    }
}

Recunoașterea persoanelor se bazează pe recunoașterea imaginilor folosind tehnologia de aplicare a detectării în cascadă. Aceasta este o modalitate de optimizare a procesării de imagini. Mai multe detalii puteți vedea în tutorialul de recunoaștere a feței OpenCV folosind Python . Codul sursă complet se găsește în directorul Ex3 al proiectului.

Aplicația din acest exemplul încarcă informațiile necesare rulării clasificatorului, procesează imaginile de la orice cameră web conectată la calculator și salvează prima imagine în care se detectează o față. Există și un clasificator Haar pentru detectarea zâmbetului, din păcate în urma testelor efectuate și a comentariilor găsite pe diverse forumuri se pare că nu funcționează corect.

Rularea aplicației

java -Djava.library.path=C:\\Work\\opencv\\build\\java\\x64 -cp .\\target\\my-opencv-app-1.0-SNAPSHOT.jar;C:\\Work\\opencv\\build\\java\\opencv-342.jar org.tsm.opencv.ex3.PeopleRecognition

unde bineînțeles trebuie ajustată calea către librăria OpenCV.

Exemplul 4: Detectarea mașinilor

Aceasta se poate realiza în mod similar cu recunoașterea oamenilor, tot ce trebuie să facem este să găsim un clasificator Haar generat pentru mașini. L-am găsit pe acesta: https://github.com/andrewssobral/vehicle_detection_haarcascades/blob/master/cars.xml . Codul de mai jos, folosește numele unei poze pe care o încarcă din folderul rădăcină și încearcă să detecteze mașinile.

public class CarRecognition {
  static String CARS_IMG="Cars-on-Busy-Street.jpg";

  public static void main(String[] args) {
    System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

    CascadeClassifier carsClassifier = 
      new CascadeClassifier();

  boolean loaded = carsClassifier.load("cars.xml");
  System.out.println("+haar... loaded:" + loaded);
  Mat frame=Imgcodecs.imread(CARS_IMG);
  MatOfRect detectedCars = new MatOfRect();
  carsClassifier.detectMultiScale(frame, 
    detectedCars);

  Rect cars[] = detectedCars.toArray();
  if (cars.length > 0) {
    System.out.println("Cars detected:"+cars.length);
    for (Rect face : cars) {
      Imgproc.rectangle(frame, 
        new Point(face.x, face.y), 
        new Point(face.x + face.width, 
           face.y + face.height), 
        new Scalar(0, 255, 0), 3);
     }
     Imgcodecs.imwrite("detectedCars" 
       + System.currentTimeMillis() + ".jpg", frame);
     } else {
        System.out.println("no cars detected");
     }
   }
}

Dacă veți folosi diferite poze, veți vedea că detecția nu este 100% sigură, de multe ori apărând erori. Aceasta se datorează în primul rând calității și felului în care datele folosite de clasificator au fost realizate. Vă puteți bineînțeles realiza propriul clasificator Haar dacă doriți.

Rularea aplicației

java -Djava.library.path=C:\\Work\\opencv\\build\\java\\x64 -cp .\\target\\my-opencv-app-1.0-SNAPSHOT.jar;C:\\Work\\opencv\\build\\java\\opencv-342.jar org.tsm.opencv.ex4.CarRecognition

Concluzie

La final, vă invit să explorați și restul clasificatorilor Haar din distribuția standard OpenCV. Acestea se găsesc aici: opencv\build\etc\haarcascades și veți putea determina ochii, diferite părți ale corpului uman chiar și plăcuțele de înmatriculare rusești care pot apărea în imagini.

Referințe

  1. Java Image Processing Recipes: With OpenCV and JVM de Nicolas Modrzyk, Apress 2018

  2. Hands-On GPU-Accelerated Computer Vision with OpenCV and CUDA de Bhaumik Vaidya, Packtpub Publishing

  3. Raspberry Pi 3 Projects for Java Programmers de John Sirach, Pradeeka Seneviratne, Packtpub Publishing

Conferință

NUMĂRUL 142 - Robotics & AI

Sponsori

  • Accenture
  • BT Code Crafters
  • Accesa
  • Bosch
  • Betfair
  • MHP
  • BoatyardX
  • .msg systems
  • Yardi
  • P3 group
  • Ing Hubs
  • Colors in projects

INTERVIURI VIDEO