ABONAMENTE VIDEO REDACȚIA
RO
EN
NOU
Numărul 142
Numărul 141 Numărul 140 Numărul 139 Numărul 138 Numărul 137 Numărul 136 Numărul 135 Numărul 134 Numărul 133 Numărul 132 Numărul 131 Numărul 130 Numărul 129 Numărul 128 Numărul 127 Numărul 126 Numărul 125 Numărul 124 Numărul 123 Numărul 122 Numărul 121 Numărul 120 Numărul 119 Numărul 118 Numărul 117 Numărul 116 Numărul 115 Numărul 114 Numărul 113 Numărul 112 Numărul 111 Numărul 110 Numărul 109 Numărul 108 Numărul 107 Numărul 106 Numărul 105 Numărul 104 Numărul 103 Numărul 102 Numărul 101 Numărul 100 Numărul 99 Numărul 98 Numărul 97 Numărul 96 Numărul 95 Numărul 94 Numărul 93 Numărul 92 Numărul 91 Numărul 90 Numărul 89 Numărul 88 Numărul 87 Numărul 86 Numărul 85 Numărul 84 Numărul 83 Numărul 82 Numărul 81 Numărul 80 Numărul 79 Numărul 78 Numărul 77 Numărul 76 Numărul 75 Numărul 74 Numărul 73 Numărul 72 Numărul 71 Numărul 70 Numărul 69 Numărul 68 Numărul 67 Numărul 66 Numărul 65 Numărul 64 Numărul 63 Numărul 62 Numărul 61 Numărul 60 Numărul 59 Numărul 58 Numărul 57 Numărul 56 Numărul 55 Numărul 54 Numărul 53 Numărul 52 Numărul 51 Numărul 50 Numărul 49 Numărul 48 Numărul 47 Numărul 46 Numărul 45 Numărul 44 Numărul 43 Numărul 42 Numărul 41 Numărul 40 Numărul 39 Numărul 38 Numărul 37 Numărul 36 Numărul 35 Numărul 34 Numărul 33 Numărul 32 Numărul 31 Numărul 30 Numărul 29 Numărul 28 Numărul 27 Numărul 26 Numărul 25 Numărul 24 Numărul 23 Numărul 22 Numărul 21 Numărul 20 Numărul 19 Numărul 18 Numărul 17 Numărul 16 Numărul 15 Numărul 14 Numărul 13 Numărul 12 Numărul 11 Numărul 10 Numărul 9 Numărul 8 Numărul 7 Numărul 6 Numărul 5 Numărul 4 Numărul 3 Numărul 2 Numărul 1
×
▼ LISTĂ EDIȚII ▼
Numărul 85
Abonament PDF

NVidia Isaac framework

Ovidiu Mățan
Fondator @ Today Software Magazine



PROGRAMARE


Isaac SDK este un framework dezvoltat de către Nvidia pentru a rula pe platformele hardware Jetson: Nano, TX2 și AGX Xavier. Conține un framework Isaac Robot Engine care permite scrierea de aplicații modulare și deployul remote direct pe platforma hardware. De asemenea, o parte importantă o reprezintă GEM-urile: o colecție de algoritmi bazați pe accelerarea GPU și care adaugă funcționalitate out of the box de navigare și percepție. Folosind această platformă, cei de la NVidia au creat două aplicații de robotică pentru a demonstra capacitățile de autonomous driving, Carter și Kaya.

Sursa imaginii: https://developer.nvidia.com/isaac-sdk

Filozofia de bază este de a ajuta programatorii, oferindu-le integrarea diferitelor tehnologii existente în Isaac SDK, astfel încât să devină mult mai ușor să scriem aplicații de robotică. Dacă au reușit sau nu, vom descoperi în continuare.

Structura unei aplicații

Vom folosi pentru scrierea aplicației un Ubuntu 18.04, iar ca platformă hardware un Jetson Nano. O descriere completă a configurării mediului de lucru o găsiți pe site-ul celor de la NVidia.

Deși codul se poate scrie în C++ sau Python, noi vom merge de data aceasta pe varianta de C++.

O aplicație Isaac SDK constă din unul sau mai multe noduri care rulează în paralel. Fiecare componentă este definită ca un Codelet ce conține trei metode care pot fi suprascrise: start(), stop() și tick(). Ele sunt apelate la începutul, la finalul aplicației sau periodic; tick().

class Ping: public isaac::alice::Codelet{
  public:
    void start() override;
    void tick() override;
    void stop() override;
    ISAAC_PARAM(std::string
      , msg, "Salut !!!");

    ISAAC_PROTO_TX(PingProto
      , ping);
};
ISAAC_ALICE_REGISTER_CODELET(Ping);

În afară de cele trei metode, mai putem defini macro-uri pentru:

Conținutul clasei Ping este listat mai jos. Se remarcă metoda tick() care va publica mesajul definit în header :

void Ping::start() {
    tickPeriodically();
}

void Ping::tick() {
    auto proto=tx_ping().initProto();
    proto.setMessage(get_msg());
    tx_ping().publish();
}
void Ping::stop() {}

Pentru citirea mesajelor, vom defini o clasă Pong care va avea următorul header:

class Pong : public isaac::alice::Codelet{
    public:
    void start() override;
    void tick() override;

    ISAAC_PROTO_RX(PingProto, trigger);
};
ISAAC_ALICE_REGISTER_CODELET(Pong);

Se evidențiază macro-ul ISAAC_PROTO_RX necesar pentru primirea mesajelor. Conținutul clasei este următorul:

void Pong::start(){
    tickOnMessage(rx_trigger());
}

void Pong::tick(){
    auto proto=rx_trigger().getProto();
    const std::string message=proto.getMessage();
    std::printf("%s:", message.c_str());
}

Rezultatul constă în afișarea mesajului primit.

Odată definit codul sursă, trebuie să mai scriem un fișier de build pentru Bazel:

load("//engine/build:isaac.bzl","isaac_app"
 ,"isaac_cc_module")

isaac_app(
    name="ping",
    modules=["//packages/ping:ping_components"]
)

isaac_cc_module(
    name="ping_components",
    srcs=["Ping.cpp", "Pong.cpp"],
    hdrs=["Ping.hpp", "Pong.hpp"],
)

În mod obligatoriu, trebuie să avem și un fișier de configurare și declarare a nodurilor. În cazul nostru, acesta se va numi ping.app.json:

{
  "name":"pingtest",
  "modules":[
    "pingtest:ping_components"
  ],
    "graph": {
      "nodes": [
        {
          "name":"ping",
          "components":[
            {
              "name":"message_ledger",
              "type":"isaac::alice::MessageLedger"
            },
            {
              "name":"ping",
              "type":"Ping"
            }
          ]
        },
        {
          "name":"pong",
          "components":[
            {
              "name":"message_ledger",
              "type":"isaac::alice::MessageLedger"
            },
            {
              "name":"pong",
              "type":"Pong"
            }
          ]
         }
       ],
       "edges":[
         {
           "source":"ping/ping/ping",
           "target":"pong/pong/trigger"
          }
        ]
      },
      "config":{
        "ping":{
          "ping":{
            "tick_period":"1hz",
            "msg":"From the config3 : Ping !!!"
           }
        }
    }
}

Se poate observa graph, unde am declarat cele două noduri ale aplicației. Fiecare dintre acestea trebuie să declare isaac::alice::MessageLedger pentru distribuirea mesajelor.

Edges definește sursa și targetul mesajelor dintre noduri. De asemenea, în partea de configurare se definește perioada de generare a mesajelor tick. Acestea vor fi generate cu o frecvență de 10 mesaje / secundă.

Acest exemplu va rula direct pe calculatorul gazdă, acolo unde a fost descărcat Isaac SDK:

bazel build pingtest
bazel run pingtest

AprilTags

În continuare, vom crea o nouă componentă care va afișa informații în loguri despre AprilTag-uri. Acestea sunt detectate și marcate într-un exemplu de aplicație oferit de SDK.

April tags sunt coduri 2D care seamănă cu QR codurile, dar mult mai simple. Sunt dezvoltate pentru aplicații de robotică. Dacă se utilizează o cameră, prin aceste coduri se poate determina poziția și dimensiunea tagului.

Un fix rapid pentru camerele Realsense d435i

Una din aplicațiile conținute în Isaac SDK este și aceea de detectare a AprilTag-urilor. Vom folosi o cameră Intel Realsense D435i pentru vizualizare și vom crea o aplicație care primește datele de la detectorul AprilTags și le afișează în loguri.

Înainte de a începe, va trebui însă, să realizăm două fixuri , deoarece Isaac SDK este realizat pentru a rula doar cu camere D435. În cazul nostru, D435i are un senzor în plus, prin care se transmite vectorul de poziție al camerei. Cu toate că nu este folosit în aplicația noastră, trebuie modificate două linii pentru a putea rula acest exemplu.

Înlocuiți:

ASSERT(num_sensors == 2, 
 "Expected number of sensors is 2. Found %d", num_sensors);

for (int s = 0; s < num_sensors; ++s) {

cu

ASSERT(num_sensors == 3, 
"Expected number of sensors is 3. Found %d", num_sensors);
for (int s = 0; s < num_sensors-1; ++s) {

Practic, lăsăm să fie acceptate camerele cu trei senzori, dar iterăm tot peste primele două canale de imagine: RGB și de adâncime.

Componenta de logging

Vom crea un folder nou: /packages/april_logs unde vom crea fișierul de header AprilLogs.hpp

#pragma once
#include "engine/alice/alice.hpp"
#include "messages/messages.hpp"

class AprilLogs: public isaac::alice::Codelet{
    public:
        void start() override;
        void tick() override;

        ISAAC_PROTO_RX(FiducialListProto, proto);
};
ISAAC_ALICE_REGISTER_CODELET(AprilLogs);

Se remarcă canalul de primire mesaje, unde a fost declarat parametrul proto de tip FiducialListProto conform API-ului.

Implementarea, AprilLogs.cpp, folosește o verificare periodică - tickPeriodically() - în loc de verificarea fiecărui mesaj primit - tickOnMessage(rx_proto()). Motivul este optimizarea procesării, în general este suficientă o procesare odată pe secundă a datelor primite. Procesarea real time implica un număr prea mare de mesaje, ceea ce ducea la blocarea fluxul video pe Jetson Nano odată la câteva secunde.

void AprilLogs::start()
{
  tickPeriodically();
}
void AprilLogs::tick()
{
  LOG_INFO("tick");
  if (rx_proto().available())
  {
    auto proto2 = rx_proto().getProto();
    capnp::List::Reader 
      protoList = proto2.getFiducialList();

    if (protoList.size() > 0)
    {
      int i = 0;
      if (protoList[i].hasCameraTTag())
      {
        Pose3dProto::Reader pose3d = protoList[i]
          .getCameraTTag();

        capnp::Text::Reader text = protoList[i]
          .getId();

        LOG_INFO("id=%s", text);
        showKeypoints(protoList, i);
        showTranslation(pose3d);
        showRotation(pose3d);
       }
     }
  }
}

void AprilLogs::showKeypoints(
  const capnp::List::Reader 
  &protoList, int i) const {

  FiducialProto::Type protoType = protoList[i]
    .getType();

    if (protoList[i].hasKeypoints()) {
      capnp::List<::Vector2dProto>::Reader 
        proto2d = protoList[i].getKeypoints();

      for (int j; j < proto2d.size(); j++) {
        LOG_INFO("2D=(%f,%f)", proto2d[j].getX()
          , proto2d[j].getY());
         }
     }
}

void AprilLogs::showRotation(
  const Pose3dProto::Reader &pose3d) const {

  if (pose3d.hasRotation()) {
    SO3dProto::Reader pose3dRotation = 
      pose3d.getRotation();

    if (pose3dRotation.hasQ()) {
      QuaterniondProto::Reader pose3dQ = 
        pose3dRotation.getQ();

      LOG_INFO("Q=(%le,%le,%le,%lf)", pose3dQ.getW()
        , pose3dQ.getX(), pose3dQ.getY()
        , pose3dQ.getZ());
       }
    }
}

void AprilLogs::showTranslation(
  const Pose3dProto::Reader &pose3d) const {

  if (pose3d.hasTranslation()) {
    Vector3dProto::Reader poseVector = pose3d
      .getTranslation();

    LOG_INFO("V=(%f,%f,%f)", poseVector.getX()
      , poseVector.getY(), poseVector.getZ());
     }
}

Implementarea afișează parametrii primiți de fluxul AprilTags astfel:

AprilLogs.cpp@12: tick
AprilLogs.cpp@34: id=tag36h11_0
AprilLogs.cpp@44: 2D=(204.000000,602.000000)
AprilLogs.cpp@44: 2D=(352.000000,603.000000)
AprilLogs.cpp@44: 2D=(373.000000,463.000000)
AprilLogs.cpp@44: 2D=(218.000000,450.000000)
AprilLogs.cpp@52: V=(0.054841,0.020261,0.782107)
AprilLogs.cpp@62: Q=(7.222934e-01,2.367638e-02,-2.079326e-01,0.659163)

Următorul pas în realizarea componentei este scrierea unui fișier de build. Sistemul folosit este Bazel, și în afară de C++ poate fi folosit pentru Java, Android, iOS sau Go. Codul este simplu, declarăm modulul și sursele clasei:

load("//engine/build:isaac.bzl", "isaac_cc_module")
isaac_cc_module(
    name = "april_tags_proc",
    srcs = ["AprilLogs.cpp"],
    hdrs = ["AprilLogs.hpp"],
)

Integrarea cu aplicația AprilTags

Pentru a folosi componenta noastră, o vom integra cu exemplul din SDK care afișează și marchează vizual tagurile. Vom adăuga practic un nou canal de comunicare codului existent.

....

Modificările aduse le menționăm în rândurile de mai jos.

Adăugarea componentei în lista de module:

"//packages/april_logs:april_tags_proc"

Declararea componentei:

{
  "name": "april_logs",
  "components": [
  {
    "name": "isaac.alice.MessageLedger",
    "type": "isaac::alice::MessageLedger"
   },
   {
    "name": "april_tags_proc",
    "type": "AprilLogs"
   }
   ]
  },

Definirea canalului de comunicare:

{
  "source": "april_tags_detection/isaac.perception.AprilTagsDetection/april_tags",
  "target": "april_logs/april_tags_proc/proto"
}

și definirea perioadei de repetare a mesajelor:

"april_logs": {
  "april_tags_proc": {
  "tick_period":"1 hz"
  }
},

Rularea aplicației

Realizați un build și deploy a aplicație pe Jetson Nano

$ ./engine/build/deploy.sh -p //apps/samples/april_tags:april_tags-pkg -d jetpack42 -h  --remote-user 

Într-o consolă nouă, vă conectați la Jetson:

$ ssh @
$ cd deploy//april_tags-pkg/
$ ./apps/samples/april_tags/april_tags

Deschideți acum un browser la adresa http://:3000/. Veți vedea aplicația de detectare a AprilTagurilor iar în loguri informațiile despre acestea.

Ar fi fost interesant să adăugăm un canal vizual pentru afișarea în interfața web a datelor. Din păcate, cei de la NVidia stau destul de rău la partea de documentație pentru acest SDK, mai ales pentru cazul în care dorești să dezvolți pe această platformă folosind componentele și integrările existente.

Concluzie

Nvidia Isaac SDK este un framework cu un bun potențial de dezvoltare a aplicațiilor de robotică. Exemplele existente sunt de mare impact, iar faptul că tot procesul de build și deployment este out of the box este de ajutor. Așa cum spuneam, documentația lasă de dorit, dar sperăm ca pe viitor acest aspect să fie corectat.

Bibliografie

Conferință

NUMĂRUL 142 - Robotics & AI

Sponsori

  • Accenture
  • BT Code Crafters
  • Accesa
  • Bosch
  • Betfair
  • MHP
  • BoatyardX
  • .msg systems
  • Yardi
  • P3 group
  • Ing Hubs
  • Colors in projects

INTERVIURI VIDEO