Importer

L’importation de données vous permet d’ajouter rapidement et facilement de gros volumes de données dans votre application.

Vous n’avez pas besoin de saisir manuellement toutes les données de votre application une par une. Si les données dont vous avez besoin sont déjà saisies d’une manière ou d’une autre dans un fichier informatique, vous pouvez probablement les convertir en un fichier CSV (Fichiers de valeurs séparées par des virgules). C’est un format populaire et commun car il est simple et permet à la plupart des applications d’échanger des informations dans un format quelque peu standard.

Le bouton permet d’accéder à la page d’importation pour le type de données que vous visualisez. Vous pouvez également trouver l’accès à cette section par le menu Importer des données dans le menu principal de l’application.

L’importation de données dans Simitless est un processus en 4 étapes

1. Sélectionnez la source de données

Pour importer des données, vous pouvez sélectionner un fichier texte ou coller directement du contenu au format texte dans une zone de texte. Les deux sont traités de la même manière par la suite, copier/coller évite simplement d’avoir à créer un nouveau fichier sur votre ordinateur si vous pouvez simplement copier les données d’une autre source.

Votre fichier CSV peut contenir un titre pour les colonnes. Cela facilite les choses dans les étapes ultérieures, en particulier si le nom des colonnes correspond au nom du champ de données dans votre application. Cependant, cela n’est pas nécessaire et si votre fichier ne contient que des données sans titres de colonnes, la plateforme pourra tout de même le traiter.

Cliquez sur le bouton Étape suivante pour poursuivre la sélection de la destination.

2. Sélectionnez la destination

La partie suivante consiste à sélectionner le type de données de destination pour vos données. Vous ne pouvez n’importer qu’un seul type de données à la fois pour l’instant. Si vous avez accédé à l’outil d’importation via un type de données, celui-ci sera présélectionné. Sinon, vous devez en sélectionner un.

À ce stade, vous pouvez parfaitement sélectionner un sous-type si vous en avez dans l’application. Un enregistrement de données parent doit être sélectionné pour qu’un sous-enregistrement de données soit créé. Il existe un mécanisme à l’étape suivante pour gérer ce cas et sélectionner un ou plusieurs enregistrements parents.

De nouveau, cliquez sur le bouton Étape suivante pour procéder aux réglages de l’importation.

3. Configurer les paramètres d’importation

Estimation du quota

L’ajout de données utilisera une partie out tout le quota de points de données disponible dans vos applications. L’ajout d’un grand nombre de données à la fois peut vous faire dépasser vos quotas. Si les quotas sont atteints lors de l’import, les dernières lignes d’import ne seront pas ajoutées à votre application.

C’est pourquoi l’outil d’importation calcule une estimation du volume d’importation et vous montre comment il se compare à votre quota actuel. De plus, il y a un lien direct vers “Gérer votre plan d’espace de travail” sur cette page. Vous pouvez accéder à la gestion de l’espace de travail et revenir ensuite à l’outil d’importation. Tant que vous n’annulez pas l’importation, ne démarrez pas une autre importation ou ne fermez pas la fenêtre, votre opération d’importation actuelle doit rester dans la mémoire de votre navigateur.

À ce stade, la taille de votre importation n’est qu’une estimation car, en particulier dans le cas d’importations longues, les fichiers d’importation peuvent être très volumineux et longs. Le système d’importation ne prévisualise que quelques lignes de votre ensemble de données et estime le reste. Toutes les données seront traitées au fil de la lecture du fichier, bloc par bloc, afin de minimiser l’impact sur la mémoire de votre ordinateur.

Sélection des champs

Lors de l’ouverture de la page des paramètres d’importation, la plateforme sélectionne automatiquement le champ le plus probable pour chacune des colonnes de votre ensemble de données. Cette sélection est basée sur le nom de la colonne (distance de Levenshtein avec le nom du type de données).

Vous pouvez ensuite modifier la sélection pour sélectionner et désélectionner, et même créer un nouveau type de données.

La deuxième ligne du tableau, juste en dessous de l’en-tête du tableau, est une rangée de boutons. Ceux-ci vous permettent de sélectionner les paramètres d’importation de chaque colonne. Un clic sur le bouton de chaque colonne ouvre le menu de sélection. Là, vous pouvez :

• Décider de ne pas importer : Ne pas importer
• Créer un nouveau type de données : Créer un nouveau type de données
• Choisir un champ existant : Nom du type de données Vous ne pouvez importer qu’une seule colonne dans un type de données. La conversion de données standard s’appliquera. Le contenu au format texte du fichier sera converti vers le type de données que vous avez sélectionné. Le tableau affichera le résultat sous la forme d’une valeur interprétée lorsqu’il est sélectionné ou d’une valeur de texte brut lorsqu’il n’est pas importé.
• Identifiant de l’enregistrement parent : Identifiant de l’enregistrement parent indique que les colonnes contiennent un identifiant d’enregistrement interne pour un enregistrement parent spécifique. Cette fonctionnalité avancée est très puissante mais nécessite un travail en amont dans un logiciel externe à Simitless et une bonne compréhension du fonctionnement interne de la plateforme.

Barre d’outils

En plus de l’aperçu du tableau d’importation, la barre d’outils au dessus du tableau propose 4 boutons d’action :

• Annuler les modifications : réinitialise l’aperçu et les paramètres d’importation aux options automatisées sélectionnées lors de la première ouverture de la page.

• Créer tous les champs manquants : prépare la création de nouveaux champs de texte pour toutes les colonnes non allouées. Les champs réels sont créés lors du traitement de l’importation. Ceci est juste une configuration provisoire informant le processus d’importation.

• Effacer les nouveaux champs : supprime tous les nouveaux champs dont la création a été demandée. Annule les informations du processus d’importation. Aucun champ réel n’est supprimé.

• Sélectionner un seul parent pour tous les enregistrements (importation dans des objets imbriqués uniquement)  : tout les enregistrements de cette importation seront créés sous un seul enregistrement parent. (Option disponible seulement si le type de données dans lequel vous importez est un type de données positionné en tant que sous-objet).

Options avancées

Quelques options avancées donnent plus d’informations à l’analyseur de données d’importation :

• Caractère de citation : indique que le guillemet est utilisé pour délimiter les valeurs lorsque la valeur contient également le caractère séparateur dans la valeur.
• Séparateur de ligne : quel caractère sépare les lignes [auto, \r, \n, \r\n].
• Délimiteur : ce qui sépare les valeurs [vide = auto] Pour saisir une tabulation, nous avons ajouté un petit lien sous le champ de saisie car le caractère de tabulation ne peut pas être saisi facilement à l’aide du clavier dans un navigateur internet.
• Pas d’en-tête : indique si la première ligne est un en-tête de colonne ou s’il s’agit déjà de données. Le nom en-tête doivent être unique pour chaque colonnes.
• Commentaires : Le caractère indiqué dans ce champ indique que les lignes commençant par ce caractère doivent être ignorées par l’analyseur d’importation.
• Encodage : l’analyseur est capable de lire l’encodage des fichiers les plus courants. Dans certains cas, l’analyseur essayera différent encodage, mais l’utilisateur doit au final vérifier le résultat dans l’aperçu pour s’assurer du résultat. Afficher la liste des encodages possibles

  Liste des encodages des spécifications https://encoding.spec.whatwg.org/#utf-8

  • UTF-8
  • IBM866
  • ISO-8859-2 (latin 2)
  • ISO-8859-3 (latin 3)
  • ISO-8859-4 (latin 4)
  • ISO-8859-5 (cyrillic)
  • ISO-8859-6 (arabic)
  • ISO-8859-7 (greek)
  • ISO-8859-8 (hebrew)
  • ISO-8859-8-I (logical)
  • ISO-8859-10 (latin 6)
  • ISO-8859-13
  • ISO-8859-14
  • ISO-8859-15 (l9)
  • ISO-8859-16
  • KOI8-R
  • KOI8-U
  • macintosh
  • windows-874 (iso-8859-11)
  • windows-1250
  • windows-1251
  • windows-1252 (iso-8859-1)
  • windows-1253
  • windows-1254 (iso-8859-9)
  • windows-1255
  • windows-1256
  • windows-1257
  • windows-1258
  • x-mac-cyrillic (x-mac-ukrainian)
  • GBK (Chinese Simplified / iso-ir-58)
  • gb18030 (Chinese Simplified)
  • Big5 (Chinese Traditional)
  • EUC-JP (Japanese)
  • ISO-2022-JP (Japanese)
  • Shift_JIS (Kanji)
  • EUC-KR (Korean)
  • iso-2022-cn (replacement)
  • UTF-16BE
  • UTF-16LE
  • x-user-defined

L’importation de champs de données à partir d’un fichier texte traite toutes les valeurs comme une entrée au format “texte”. Pour correspondre au champ de destination, si le champ n’est pas un champ de texte, les valeurs sont traitées via les convertisseurs de la plateforme. Lorsqu’un champ cible est sélectionné, l’aperçu affiche la valeur de sortie des convertisseurs.

Une fois que vous êtes satisfait de l’aperçu, cliquez sur le bouton Étape suivante pour ouvrir l’écran de confirmation. Si certains paramètres empêchent l’importation, les boutons suivants sont désactivés, par exemple, lorsqu’aucune instruction d’enregistrement parent n’est sélectionnée dans une importation de type de données imbriqué. Le bouton des paramètres d’importation de champ vous permet de sélectionner les options de traitement d’importation. Ceci est particulièrement utile lorsque les valeurs d’importation sont des dates.

De la même manière que pour la bibliothèque interne de gestion des dates momentjs, lors de l’importation d’une date, la plateforme vérifie d’abord si la chaîne correspond à la norme ISO 8601. Elle vérifie ensuite si la chaîne correspond au format de date et heure RFC2822 avant de se replier sur la méthode javascript standard new Date(string) si un format connu n’est pas trouvé.

Le format de représentation de la date utilise des lettres clés pour représenter la position de l’information. Par exemple : “DD MM YYYY hh:mm:ss.

4. Procédez à l’importation

L’écran de confirmation final est simplement un gros bouton pour confirmer l’importation. À ce stade, vous avez toujours la possibilité d’annuler l’importation en utilisant le petit lien en haut à droite de l’écran Annuler l’import .

Le bouton suivant lancera le processus d’importation.

Votre navigateur traite et analyse le fichier, vous devez donc le laisser ouvert tant que la barre de progression n’indique pas la fin ou l’importation ne sera que partielle.

Jusqu’à la fin du processus d’importation, le nombre de lignes et de nouveaux quotas utilisés n’est qu’une estimation car les fichiers importables peuvent être volumineux, les données des fichiers volumineux sont lues au fil de l’eau (streaming) tout au long du processus d’importation. Cela signifie qu’ils ne sont pas lus tous en même temps, mais par petits morceaux, afin de préserver au maximum la mémoire disponible dans votre navigateur.