Migration TF2

created branch 2-migration-tf2 to address this issue

By Narcon Nicolas on 2021-08-23T10:16:43 (imported from GitLab)

By Cresson Remi on 2021-08-23T14:04:46 (imported from GitLab)

J'ai testé OTBTF (tf 2) sur un modèle sauvegardé en mode compat v1. Le mécanisme utilisant bundle.GetSignatures().at("serving_default").inputs() semble fonctionner pas trop mal.

Là j'ai juste une erreur car certains tensors sont en INT16. Par exemple :

-------------------------------------------------
        PrintDebugString --------------------------------
name: "tower_0/s2_tp1:0"
dtype: DT_INT16
tensor_shape {
  dim {
    size: -1
  }
  dim {
    size: 256
  }
  dim {
    size: 256
  }
  dim {
    size: 4
  }
}

Du coup le type INT16 n'est pas géré dans otbTensorflowCopyUtils :

RuntimeError: Exception thrown in otbApplication Application_ExecuteAndWriteOutput: /src/otb/otb/Modules/Remote/otbtf/include/otbTensorflowCopyUtils.cxx:108:
itk::ERROR: TF DataType 17 not currently implemented !

A voir si on cast tout en INT32 ou autre, j'ai pas trop réfléchi là dessus !

By Narcon Nicolas on 2021-08-24T18:03:17 (imported from GitLab)

Il est généré... j'ai l'impression que develop n'est pas du tout à jour avec github (qui a les updates les plus récentes)

Je regarde ça.... ça risque de mettre un peu le bronx par contre: il va falloir que tu re-synchronises ta branchjes sur develop quand je te le dirais

By Cresson Remi on 2021-08-24T18:13:48 (imported from GitLab)

D'acc pas de problème, je me débrouillerai pour merger dans ma branche

By Narcon Nicolas on 2021-08-24T18:13:48 (imported from GitLab)

C'est fait... je vais faire ça avec master aussi.

C'est un peu ça qui est délicat quand tu as un dépôt sur github (qui prend des contribs extérieures) et un dépôt de l'institut!

By Cresson Remi on 2021-08-24T18:15:02 (imported from GitLab)

J'ai 2 problèmes avec les saved_model du dossier test.

En lançant saved_model_cli show --dir models/model2 --all

MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

MetaGraphDef with tag-set: 'train' contains the following SignatureDefs:
signature_def['model']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['x1:0'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, -1, -1, 4)
        name: x1:0
    inputs['x2:0'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, -1, -1, 1)
        name: x2:0
    inputs['y:0'] tensor_info:
        dtype: DT_INT32
        shape: (-1, -1, -1, 1)
        name: y:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['features:0'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 128)
        name: features:0
    outputs['prediction:0'] tensor_info:
        dtype: DT_INT64
        shape: (-1)
        name: prediction:0
  Method name is: tensorflow/serving/predict

1er problème

Le tag-set 'serve' ne contient rien, contrairement à tous les modèles TF2 et TF2 compat v1 (et certainement TF1 je pense). Ce 'serve' est celui qui est utilisé lors du chargement du modèle dans otbTensorflowGraphOperations.cxx

tensorflow::LoadSavedModel(tensorflow::SessionOptions(), runoptions, path, {tensorflow::kSavedModelTagServe}, &bundle);
                                                                                        ~~~~~~~~~^~~~~~~~
                                                                                        ce truc est 'serve' cf tag_constants.h

Solution

On met un argument optional tagserve dans l'appli TensorFlowModelServe ?

TensorFlowModelTrain

Voir s'il faut modifier l'appli pour que le tag-set soit 'serve' lorsqu'on sauvegarde le modèle

2ème problème

J'ai remplacé kSavedModelTagServe en dur par 'train' pour voir si le 1er problème pouvait facilement être réglé. Cela résoud en partie le problème, on arrive bien à accéder aux inputs/outputs mais j'ai une segmentation fault lors du RunSession. Est ce qu'il y a une différence entre le graph 'serve' et le graph 'training' ? Sinon, je remarque que la shape de outputs['prediction:0'] est (-1), c'est normal ?

EDIT: j'avais un bout de code obsolète qui faisait planter, ça semble marcher maintenant ! je vais comparer avec les baselines

By Narcon Nicolas on 2021-08-27T16:24:56 (imported from GitLab)

Tous les modèles de test fonctionnent ! (en mettant en dur 'train' comme tagserve)

Seule (petite) différence, les projections :

OTBTF2 : EPSG:2154 - RGF93 / Lambert-93

baseline : RGF93 / Lambert-93, qui n'a pas de EPSG, on dirait un genre de custom CRS. Ca vient peut être d'une ancienne version d'OTB.

By Narcon Nicolas on 2021-08-27T16:52:37 (imported from GitLab)

Est-ce que tu penses qu'on peut lister ces fameux tags quelque part? Si on y parvient, on pourrait essayer de déterminer quel tag utiliser?

By Cresson Remi on 2021-08-30T10:11:41 (imported from GitLab)

Je vais regarder, c'est vrai que le plus simple pour l'utilisateur serait le mieux !

By Narcon Nicolas on 2021-08-30T09:11:11 (imported from GitLab)

Je ne pense pas que ce soit possible depuis le C++.

Toutes les méthodes Load... demandent une liste de tag-sets. Il y a bien une méthode ReadSavedModel dans tensorflow/cc/saved_model/reader.cc mais ça ne retrouve pas les tags.

D'ailleurs à un endroit dans le code, il y a:

"Could not find meta graph def matching supplied tags: { ",
 absl::StrJoin(tags, " "),
 " }. To inspect available tag-sets in the SavedModel, please "
 "use the SavedModel CLI: `saved_model_cli`"));

Donc je pense qu'on va suivre ce conseil, et permettre optionellement à l'utilisateur de spécifier ses tag-sets (qu'il aura trouvé si besoin en utilisant saved_model_cli)

By Narcon Nicolas on 2021-08-30T18:20:12 (imported from GitLab)

on va suivre ce conseil, et permettre optionnellement à l'utilisateur de spécifier ses tag-sets (qu'il aura trouvé si besoin en utilisant saved_model_cli)

Ok. On documentera cela un peu dans la description du nouveau paramètre optionnel

By Cresson Remi on 2021-08-30T18:20:12 (imported from GitLab)

closed

Migration TF2

TF1

TF2

Designs

Child items ...

Activity

1er problème

Solution

TensorFlowModelTrain

2ème problème