Principes de base

Interlocuteurs, questions et réponses

Ce wiki est un guide pour l'utilisation de geodienste.ch du point de vue du préparateur de géodonnées et de géoservices (cantons ou services mandatés).

• Pour toute question relative à l’utilisation de geodienste.ch , une foire aux questions (FAQ) est mise en place sous https://www.geodienste.ch/faq .

• Si vous ne parvenez pas à trouver de réponse satisfaisante à la question soulevée par ce biais, vous pouvez vous adresser directement à support@geodienste.kgk-cgc.ch.

Informations complémentaires

• Manuel d'organisation geodienste.ch (interne, en allemand, mise à disposition sur demande)

• Stratégie geodienste.ch

• Bases de mise en œuvre (assistance technique pour la transformation des données en modèle de géodonnées minimal (MGDM), rapports sur les résultats de la première mise en œuvre des offres)

Processus

Aperçu du processus

Open

Conditions préalables

• L'offre est mise en place sur geodienste.ch (première mise en œuvre par la CGC / le canton responsable / les partenaires impliqués)

• Les données sont transformées dans le MGDM implémenté sur geodienste.ch

• Les données (un ou plusieurs fichiers *.xtf ou *.itf) sont disponibles dans un fichier ZIP. En option, un config.toml peut être joint pour des restrictions lors du contrôle de l'importation.

  *.zip 1 à n fichiers *.xtf ou *.itf config.toml

• Les exigences spécifiques à l'offre concernant la désignation des fichiers sont prises en compte, le cas échéant.

Déroulement de la procédure : Mise à disposition d'une nouvelle offre

En principe, deux environnements sont disponibles : le système d'intégration (https://integration.geodienste.ch) et le système de production (https://geodienste.ch).

Plan d’offre

Au terme de l’intégration des thèmes par le centre opérationnel de la CGC, les préparateurs de geodienste.ch sont invités, par un message automatique (E-Mail), à planifier la mise à disposition de l’offre correspondante dans un certain «délai de planification» (il est d’un mois en général).

L’offre est planifiée sur https://geodienste.ch/services/subscribable dans l’outil d‘administration et la mise à disposition doit intervenir dans un laps de temps donné. Le trimestre de mise en service de l’offre doit être indiqué ici. L’utilisateur peut en prendre connaissance dans la vue détaillée de l’offre.

Les règles suivantes s’appliquent:

• si l’offre n’est pas mise à disposition durant le trimestre prévu, un report automatique sur le trimestre suivant est entrepris une fois;

• si l’offre n’est toujours pas mise à disposition à l’issue de ce délai supplémentaire, le centre opérationnel de la CGC contacte le canton concerné pour définir la suite du processus;

• si un canton ne planifie pas la mise à disposition de l’offre durant le délai imparti pour cela, le centre opérationnel de la CGC le contacte pour définir la suite du processus.

Les messages (E-Mail) automatiques suivants sont transmis aux préparateurs:

• invitation à planifier l’offre;

• rappel au début du trimestre au cours duquel l’offre doit être mise à disposition;

• rappel deux semaines avant la fin du trimestre au cours duquel l’offre doit être mise à disposition;

• information en cas de non-respect du plan d’offre (report automatique d’un trimestre ou prise de contact par le centre opérationnel de la CGC).

Le préparateur peut par ailleurs saisir l’adresse E-Mail du service cantonal spécialisé compétent lorsqu’il planifie l’offre. Une copie (cc) des messages automatiques est alors transmise en plus à cette adresse de courrier électronique.

La case «Aucune donnée disponible» doit être cochée en présence d’offres pour lesquelles le canton ne possède aucun objet réel sur son territoire ou pour lesquelles aucune donnée n’est effectivement disponible. L’intégration de données est alors totalement superflue et le statut «Aucune donnée disponible» est indiqué dans les informations détaillées.

Intégration initiale (cantons)

Déroulement : Configuration → Importation des données → Publication → Activation de l'offre

Configuration

Pour l'offre, une configuration de l'intégration des données doit être créée sous https://geodienste.ch/data_agg/configs --> Nouvelle configuration

Il n'est pas nécessaire de créer une configuration pour les données raster.

Les paramètres sont disponibles selon le tableau :

Importation de données

L'importation des données est déclenchée par l'API REST geodienste.ch ou peut être planifiée manuellement via l'outil d'administration. Avant l'importation, geodienste.ch vérifie la conformité du modèle des géodonnées avec le logiciel ilivalidator. Ce logiciel tient compte, le cas échéant, de la tolérance d'erreur configurée en cas de données incomplètes ou erronées selon le fichier de configuration config.toml livré avec le logiciel. Le fichier ZIP peut être transféré sur geodienste.ch soit via le serveur web/ FTP cantonal, soit via l'API REST de geodienste.ch .

Démarrer l'importation de données

Lors de l'utilisation de l'API REST, des fichiers ZIP contenant des données MN95 peuvent être téléchargés via l'URL https://geodienste.ch/data_agg/interlis/import ou importés depuis le serveur Web/FTP configuré et, en option, publiés.

Après le téléchargement, une tâche d'importation est créée et démarrée directement. La tâche d'importation s'affiche notamment dans l'outil d'administration sous https://geodienste.ch/data_agg/import_tasks.

Exemples avec cURL:

• Importation complète de topic planerischer_gewaesserschutz avec publication automatique :
  curl -u [user]:[password] -F topic=planerischer_gewaesserschutz -F lv95_file=@[/path/to/lv95.zip] -F publish=true "https://geodienste.ch/data_agg/interlis/import"

• Importation complète de topic planerischer_gewaesserschutz en utilisant le serveur web/FTP configuré comme source de données, au lieu de télécharger directement le fichier zip, avec publication automatique :curl -u [user]:[password] -F topic=planerischer_gewaesserschutz -F publish=true "https://geodienste.ch/data_agg/interlis/import"

• Importation partielle de topic av avec publication automatique et omission des fichiers erronés :
  curl -u [user]:[password] -F topic=av -F lv95_file=@[/path/to/lv95.zip] --F replace_all=false -F force_import=true -F publish=true "https://geodienste.ch/data_agg/interlis/import"

• Supprimer un ou plusieurs xtf des données existantes : curl -u [user]:[password] -F topic=av -F delete=true -F datasets=example_a.xtf,example_b.xtf "https://geodienste.ch/data_agg/interlis/import"

Réponse (JSON) avec ID de tâche (Import-Task ID) et URL pour l’importation de données :

Demande d'état

Le statut actuel d'une tâche d'importation et de la tâche de publication correspondante peut être interrogé de manière combinée sous forme de JSON (sans login) :

GET https://geodienste.ch/data_agg/import_tasks/:id/status

publish n'est disponible qu'avec la publication automatique. Si l'importation n'est pas encore terminée, l'ID et le statut de la tâche de publication sont chacun null.

Demande d'état staging

Affiche le dernier état importé. Peut être utilisé par exemple dans le cadre de la délégation des droits de mise à disposition.

GET https://www.geodienste.ch/data_agg/import_tasks/staging?topic=naturereigniskataster_v1_0

curl -u user:password "https://geodienste.ch/data_agg/import_tasks/staging?topic=naturereigniskataster_v1_0"

Consultation des fichiers journaux

Les journaux (log) d'une tâche d'importation ou d'une tâche de publication peuvent faire l’objet de requêtes sans connexion sous forme de texte brut (par défaut) ou de JSON.

GET https://geodienste.ch/data_agg/import_tasks/:id/logs

GET https://geodienste.ch/data_agg/import_tasks/:id/logs.json

Publication

Lancer la publication

Si l'option publish=true n'a pas été utilisée lors de l'importation des données, la publication doit encore être déclenchée manuellement via l'URL https://geodienste.ch/data_agg/interlis/publish.

Exemple avec cURL:

curl -u user:password -F topic=planerischer_gewaesserschutz "https://geodienste.ch/data_agg/interlis/publish"

Les requêtes et les réponses de l'API pour le statut et le log se font de la même manière que pour l'importation.

Status: GET https://geodienste.ch/data_agg/publish_tasks/:id/status

Plain-Text Log: GET https://geodienste.ch/data_agg/publish_tasks/:id/logs

JSON Log: GET https://geodienste.ch/data_agg/publish_tasks/:id/logs.json

Activation de l'offre

La distribution du service de représentation (WMS) et des données (p. ex. WFS, INTERLIS, GeoPackage, ESRI Shapefile) s'effectue séparément. Pour chaque offre, les informations d'offre cantonales nécessaires doivent être configurées à cet effet sous ./services/subscribable. Les propriétés suivants sont disponibles :

Mise à jour

L'objectif est que l'état des données publiées entre geodienste.ch et les autres canaux de distribution cantonaux (p. ex. le géoportail cantonal) ne diffère pas de plus de 24 heures. Les fournisseurs sont tenus d'automatiser en conséquence la mise à jour des données sur geodienste.ch et de surveiller leurs processus de données, par exemple au moyen de l'API geodienste.ch .

Distribution

Une statistique d'accès anonymisée est disponible à partir de 2018 sur https://geodienste.ch/distribution/stats et peut être obtenue à tout moment.

Administration des droits d'accès ( uniquement pour les offres avec « autorisation requise » )

Pour les offres de la catégorie d'accès « autorisation requise » , l'administration des droits d'accès est nécessaire.

Si, dans le formulaire de commande d'une offre, l'utilisateur sélectionne un canton avec la catégorie d'accès « autorisation requise », celui-ci est invité à fournir en outre les informations suivantes :

Les préparateurs sont automatiquement prévenus par courriel (transmis à l’adresse définie dans le profil sous «E-Mail admin [abréviation du canton]») en cas d’inscription ou de commande.

Les préparateurs d’offres de la catégorie d’accès «Autorisation requise» doivent attribuer les droits d’accès à l’utilisateur enregistré en cas d’obtention de données / services ou refuser l’inscription.

Si une demande d’inscription n’a pas été traitée, un premier rappel est automatiquement transmis par courriel au préparateur concerné au bout de 8 jours. S’il reste sans effet, un nouveau rappel suit toutes les deux semaines à compter de la date de commande avec copie (CC) à geodienste@kgk-cgc.ch. Un message est par ailleurs envoyé aux clients.

Prolongation : Il est automatiquement rappelé aux utilisateurs, deux semaines avant le terme de la «Période d’utilisation», que leur droit d’accès arrive à expiration. Pour poursuivre l’utilisation, l’utilisateur peut prolonger la commande sous https://geodienste.ch/myservices.

Délégation de droits de préparateur

Il est possible de déléguer les droits de préparateur.

Droits

La délégation des droits s'effectue séparément selon les processus d'intégration des données et de distribution, offre par offre, aux utilisateurs enregistrés sous geodienste.ch. Les droits suivants peuvent être délégués :

• Délégation de l'upload de données : L'utilisateur délégué reçoit du canton le droit d'effectuer l'upload pour l'offre déterminée.

  • Les jeux de données livrés sont attribués à l'utilisateur délégué, validés et stockés en interne.

  • Les uploads peuvent être lancés en parallèle par différents délégués par offre et par canton.

  • Avec l'API uploaded_datasets, les cantons peuvent consulter les datasets livrés (quels datasets ont été livrés par quel délégué et quand ?) et les obtenir sous forme de zip (par exemple pour un traitement ultérieur interne à l’ICDG).

  • Les cantons peuvent importer et publier les datasets livrés directement sur geodienste.ch avec l'API import_uploaded.

  • Les jeux de données livrés qui ne sont pas traités par le canton dans un délai d'un mois sont automatiquement supprimés.

• Délégation de l'importation de données : l'utilisateur délégué reçoit du canton le droit d'effectuer l'upload et l'importation de données pour l'offre déterminée avec l'API.

  • Les datasets livrés sont attribués à l'utilisateur délégué, validés et importés.

  • Pour des raisons techniques, il n'est pas possible que plusieurs délégués importent simultanément des datasets pour un canton dans la même offre.

  • Avec l'option replace_all=true, seuls les propres datasets du délégué ou ceux du canton sont supprimés ou remplacés, mais pas ceux des autres délégués.

  • L'option delete permet de supprimer certains datasets. Seuls les propres datasets du délégué peuvent être supprimés.

  • Les cantons ainsi que tous les délégués peuvent consulter les datasets importés avec l'API imported_datasets (quels datasets de quel utilisateur ont été importés et quand ?).

• Délégation de publication : l'utilisateur délégué reçoit du canton le droit d'effectuer la publication pour l'offre déterminée avec l'API.

  • Les datasets importés sont publiés.

• Délégation de la distribution : l'utilisateur délégué reçoit du canton le droit d'effectuer le contrôle d'accès pour l'offre déterminée.

  • Les droits d'accès pour les offres avec catégorie d'accès ("autorisation requise") peuvent être administrés.

  • Les notifications automatiques concernant les inscriptions sont envoyées au délégué au lieu d'être envoyées au fournisseur.

Principe de base

• La configuration de l'intégration doit avoir été définie au préalable par le fournisseur afin que l'utilisateur délégué puisse utiliser l'API en conséquence.

• Les délégués ne peuvent pas écraser les jeux de données d'autres délégués.

• Les cantons ainsi que tous les délégués peuvent consulter les jeux de données importés avec l'API imported_datasets (quels jeux de données de quels utilisateurs ont été importés et quand ?)

• Les notifications automatiques concernant l'intégration des données sont envoyées au délégué au lieu d'être envoyées au canton/fournisseur.

Aperçu de l'API et des autorisations

voir Swagger UI

Les API pertinentes pour la mise à disposition des données sont les suivantes :

• GET data_agg/delegations: Consultation des autorisations actuelles

• POST /data_agg/interlis/import: Import, Delete ou seulement Upload

• GET /data_agg/import_tasks/uploaded_datasets: liste des datasets de l'upload seulement, possibilité d'obtenir Uploaded.zip

• POST /data_agg/import_tasks/import_uploaded: Importation de jeux de données depuis Upload

• GET /data_agg/import_tasks/imported_datasets: liste des datasets importés

• POST /data_agg/interlis/publish: publication

En outre, des points de terminaison sont disponibles pour la consultation des statuts et des logs.

Open

Change Management des offres

Les modifications des services existants sont planifiées et introduites par l'organisation de l'exploitation de geodienste.ch . Il est toujours vérifié si ces changements ont des effets sur les clients et/ou sur l'application des services. Si nécessaire, les changements prévus sont annoncés à l'avance aux clients enregistrés. Si nécessaire, de nouvelles versions des offres sont introduites et les anciennes versions sont supprimées après une certaine période de temps.

L'introduction de nouvelles versions est essentiellement déterminée par le Change Management des modèles de géodonnées minimaux (MGDM). Lors de l'introduction de nouvelles versions des modèles de géodonnées minimales (MGDM), les cantons sont tenus de convertir leurs offres existantes au nouveau modèle pendant une période transitoire définie.

Si la technique de modélisation le permet, une transformation inverse des données du nouveau vers l'ancien sera mise en place sur geodienste.ch pendant la période de transition. Si cela n'est pas possible, les offres des cantons sont donc disponibles soit dans l'ancienne, soit dans la nouvelle version. Si nécessaire, les interfaces concernées et utilisées (modèle INTERLIS, WMS et/ou WFS) doivent être converties vers geodienste.ch . Si une application utilise les services de plusieurs cantons en même temps, elle doit donc utiliser les deux versions pendant la période de transition.

Le document interne « Change Management der Angebote » ( disponible uniquement en allemand ) décrit ce processus en détail.

Dans l'aperçu des versions sous Versionsübersicht :: geodienste.ch , les versions disponibles de toutes les offres sont listées ainsi que les périodes de transition correspondantes. Des informations détaillées sur les versions existantes sont fournies dans les spécifications des offres, p.ex. : https://geodienste.ch/services/[topic]/info

Instructions pour le changement de version

Si le canton souhaite mettre à jour son offre de l'ancienne version à la nouvelle version, une intégration initiale doit être effectuée pour la nouvelle version. L'étape "Activer l'offre" permet de passer à la nouvelle version. Les actions suivantes sont alors automatiquement effectuées :

1. La configuration de l'intégration des données de l'ancienne version est automatiquement supprimée.

2. Les données publiées de l'ancienne version sont automatiquement supprimées, sauf si une transformation inverse a été configurée.

La nouvelle version est désormais disponible et s'affiche sous les informations détaillées de l'offre pour le canton concerné.

Données tramées (raster)

Les données raster peuvent être intégrées sur geodienste.ch à l'aide d'un script python (https://www.kgk-cgc.ch/download_file/938/224). Contrairement aux données vectorielles, il n'est pas nécessaire de configurer l'intégration des données pour les données raster

Les lignes entre --->>> START : TO BE FILLED OUT BY USER <<<--- et --->>> END : TO BE FILLED OUT BY USER <<<--- du script doivent être remplies par l'utilisateur. Pour l'obtention de la clé d'accès S3 et de la clé secrète S3, veuillez-vous adresser à geodienste@kgk-cgc.ch. Veuillez également contacter l'équipe geodienste.ch si vous utilisez le Flag -r du script. Une fois tous les paramètres remplis, le script peut être exécuté. L'importation et la publication des données tramées sont alors effectuées. De plus amples informations sur le script sont disponibles directement dans le script lui-même. L'appel python3 rasterdata_import.py -h permet d'afficher des informations sur les arguments disponibles.

Exemples d'exécution du script :

python3 rasterdata_import.py -t luftbild -p /path/to/rasterdata -e production --dry_run

python3 rasterdata_import.py -t luftbild -p /path/to/rasterdata -e production

Informations spécifiques aux offres

Thème : Exploitation agricole

Informations supplémentaires qui doivent être prises en compte pour intégrer les données du thème de l’exploitation agricole (ID 151.1, 153.1-153.8) dans geodienste.ch .

La livraison des données a lieu par canton (full extract) et modèle sous forme de fichier XTF. Les modèles de l’exploitation agricole comportent des références dépassant le cadre de ces modèles. En conséquence, les références doivent non seulement être fournies lors de l'importation des données, mais tous les objets référencés dépassant le cadre des modèles doivent également être importés. Il en résulte que certaines données doivent être importées plusieurs fois. Exemple: les unités d’exploitation (ID 153.6) doivent être importées en plus lors de l'importation des surfaces d’utilisation (ID 153.1) et selon les références, les surfaces d’utilisation (ID 153.1) doivent également être importées lors de l'importation des surfaces de promotion de la biodiversité, niveau de qualité II et mises en réseau (ID 153.3) (voir exemples ci-dessous). La désignation des fichiers XTF dans l’ordre alphabétique garantit la séquence d'importation correcte. Lors de l'importation, il faut d'abord importer les objets référencés, puis ensuite les objets qui prennent référence sur eux. Les données de transfert des sept modèles doivent être préparées et nommées conformément aux spécifications de l’OFAG et selon l’ordre alphabétique de l'IA. La structure comprend l’abréviation du canton, une lettre (de a à c) et l'ID du jeu de données. Le nom de fichier doit toujours rester le même.

1. cadastre viticole (ID 151.1):
   BE_151_1.zip
   - BE_a_151_1.xtf

2. surfaces d’utilisation (y c. SPB du niveau de qualité I) (ID 153.1):
   BE_153_1.zip
   - BE_a_153_6.xtf
   - BE_b_153_1.xtf

3. périmètre des vignobles en terrasses (ID 153.2):
   BE_153_2.zip
   - BE_a_153_2.xtf

4. surfaces de promotion de la biodiversité, niveau de qualité II et mises en réseau (ID 153.3):
   BE_153_3.zip
   - BE_c_153_3.xtf

5. périmètre SAU et de la surface d'estivage (ID153.5):
   BE_153_5.zipBE_a_1
   - BE_a_153_5.xtf

6. L’unité d’exploitation (ID 153.6):
   BE_153_6.zip
   - BE_a_153_6.xtf

7. éléments relatifs à la qualité du paysage (ID 153.8):
   BE_153_8.zip
   - BE_a_153_8.xtf

Des informations supplémentaires sur la gestion agricole sont disponibles dans le https://www.kgk-cgc.ch/download_file/1055/0 .

Checklist

La checklist suivante peut être copiée et utilisée pour la mise en œuvre d'une offre.