Grundlagen

Kontakte, Fragen und Antworten

Dieses Wiki ist eine Anleitung zur Bedienung von geodienste.ch aus Sicht des Bereitstellers von Geodaten und -diensten (Kantone oder beauftragte Stellen).

• Bei Fragen zur Bedienung von geodienste.ch wird ein FAQ-Bereich unter
  https://www.geodienste.ch/faq unterhalten.

• Sofern dort die offenen Fragen nicht beantwortet werden, kann eine Anfrage über support@geodienste.kgk-cgc.ch eingereicht werden.

Weiterführende Informationen

• Organisationshandbuch geodienste.ch (intern, Bereitstellung auf Anfrage)

• Strategie geodienste.ch

• Umsetzungsgrundlagen (technische Hilfestellungen zur Datentransformation in minimale Geodatenmodell (MGDM), Ergebnisberichte der Erstumsetzung der Angebote)

Prozesse

Prozessübersicht

Open

Voraussetzungen

• Das Angebot ist auf geodienste.ch eingerichtet (Erstumsetzung durch KGK / federführender Kanton / beteiligte Partner ist erfolgt)

• Die Daten sind in das auf geodienste.ch implementierte MGDM transformiert

• Die Daten (ein oder mehrere *.xtf resp. *.itf Dateien) liegen in einer ZIP-Datei vor. Optional kann ein config.toml für Einschränkungen bei der Import-Prüfung beigelegt werden.

  *.zip 1 bis n *.xtf- resp. *.itf-Dateien config.toml

• Angebotsspezifische Vorgaben zur Dateibezeichnung sind ggf. berücksichtigt

Ablauf: Bereitstellung neues Angebot

Es stehen grundsätzlich zwei Umgebungen bereit, das Integrationssystem (https://integration.geodienste.ch) und das Produktivsystem (https://geodienste.ch).

Angebotsplanung

Sobald ein Angebot eingerichtet ist, werden die Bereitsteller von geodienste.ch mit einer automatischen Benachrichtigung (E-Mail) aufgefordert, innerhalb einer bestimmten «Planungsfrist» (i.d.R. ein Monat) die Bereitstellung des entsprechenden Angebots einzuplanen.

Die Angebotsplanung wird im Administrationstool unter https://geodienste.ch/services/subscribable innerhalb eines vorgegebenen «Planungszeitraumes» festgelegt. Hierfür ist das Quartal anzugeben, bis wann das Angebot aufgeschaltet ist. Sie ist für den Nutzer in der Detailansicht des Angebots sichtbar.

Grundsätzlich gilt:

• Falls das Angebot nicht innerhalb des eingeplanten Quartals bereitgestellt wird, wird die Planung einmalig automatisch auf das Folgequartal verschoben.

• Falls das Angebot nach einer Verzögerung wiederum nicht bereitgestellt wird, kontaktiert die KGK Geschäftsstelle den betroffenen Kanton, um das weitere Vorgehen festzulegen.

• Falls ein Kanton die Bereitstellung des Angebots nicht innerhalb der vorgegebenen Planungsfrist einplant, wird dieser durch die KGK Geschäftsstelle kontaktiert, um das weitere Vorgehen festzulegen.

Die Bereitsteller erhalten folgende automatischen Benachrichtigungen per E-Mail:

• Aufforderung zur Angebotsplanung

• Erinnerung zu Beginn des Quartals, in welchem die Bereitstellung des Angebots eingeplant ist.

• Erinnerung zwei Wochen vor Ablauf des Quartals, in welchem die Bereitstellung des Angebots eingeplant ist.

• Information bei Nicht-Einhaltung der Angebotsplanung. (automatische Verzögerung um ein Quartal oder Kontaktaufnahme durch die KGK Geschäftsstelle)

Der Bereitsteller hat zudem die Möglichkeit, bei der Angebotsplanung die E-Mail-Adresse der zuständigen kantonalen Fachstelle zu erfassen. Die automatischen Benachrichtigungen werden dadurch zusätzlich (im cc) an diese E-Mail-Adresse versandt.

Bei Angeboten, für welche der Kanton auf seinem Gebiet keine realen Objekte besitzt bzw. keine Daten vorhanden sind, muss die Checkbox «keine Daten vorhanden» ausgewählt werden. Dadurch erübrigt sich die gesamte Datenintegration und der Status «keine Daten vorhanden» wird in der Verfügbarkeitskarte des Angebots angezeigt.

Erstintegration

Ablauf: Konfiguration → Datenimport → Veröffentlichung → Aktivierung Angebot

Konfiguration

Für das Angebot ist einmalig eine Konfiguration der Datenintegration unter https://geodienste.ch/data_agg/configs --> Neue Konfiguration zu erstellen.

Für Rasterdaten muss keine Konfiguration erstellt werden.

Es stehen die Parameter gemäss Tabelle zur Verfügung:

Datenimport

Der Datenimport wird mit dem geodienste.ch REST-API ausgelöst oder kann auch manuell über über das Administrationstool eingeplant werden. geodienste.ch prüft vor dem Import die Geodaten bezüglich der Modellkonformität mit der Software ilivalidator. Diese Software berücksichtigt gegebenenfalls die konfigurierte Fehlertoleranz bei unvollständigen oder fehlerhaften Daten gemäss mitglieferter Konfigurationsdatei config.toml. Die ZIP-Datei kann entweder via kantonalem Web-/FTP-Server oder über das geodienste.ch REST-API auf geodienste.ch transferiert werden.

Datenimport starten

Beim Einsatz des geodienste.ch REST-API können über die URL https://geodienste.ch/data_agg/interlis/import ZIP-Dateien mit LV95 Daten hochgeladen werden bzw. vom konfigurierten Web-/FTP-Server importiert und optional publiziert werden.

Nach dem Upload wird ein Import-Task erstellt und direkt gestartet. Der Import-Task wird unter anderem im Administrationstool unter https://geodienste.ch/data_agg/import_tasks angezeigt.

Beispiele mit cURL:

• Vollimport planerischer_gewaesserschutz mit automatischer Veröffentlichung:
  curl -u [user]:[password] -F topic=planerischer_gewaesserschutz -F lv95_file=@[/path/to/lv95.zip] -F publish=true "https://geodienste.ch/data_agg/interlis/import"

• Vollimport planerischer_gewaesserschutz bei Verwendung des konfigurierten Web-/FTP-Servers als Datenquelle, statt die Zip-Datei direkt hochzuladen, mit automatischer Veröffentlichung:
  curl -u [user]:[password] -F topic=planerischer_gewaesserschutz -F publish=true "https://geodienste.ch/data_agg/interlis/import"

• Teilmport av mit automatischer Veröffentlichung und Überspringen von fehlerhaften Dateien:
  curl -u [user]:[password] -F topic=av -F lv95_file=@[/path/to/lv95.zip] -F replace_all=false -F force_import=true -F publish=true "https://geodienste.ch/data_agg/interlis/import"

• Löschen eines oder mehrerer xtf aus den bestehenden Daten: curl -u [user]:[password] -F topic=av -F delete=true -F datasets=example_a.xtf,example_b.xtf "https://geodienste.ch/data_agg/interlis/import"

In der Antwort als JSON wird die Import-Task ID und die URL auf den Datenimport zurückgegeben:

Abfrage Status

Der aktuelle Status eines Import-Tasks und des zugehörenden Publish-Tasks kann kombiniert als JSON abgefragt werden (ohne Login):

GET https://geodienste.ch/data_agg/import_tasks/:id/status

publish ist nur bei automatischer Veröffentlichung (publish=true) vorhanden. Falls der Import noch nicht abgeschlossen ist, sind Publish-Task ID und Status je null.

Abfrage Status staging

Zeigt den letzten Importiert Stand an. Kann zum Beispiel in Zusammenhang mit der Delegation von Bereitstellerrechten verwendet werden.

GET https://www.geodienste.ch/data_agg/import_tasks/staging?topic=naturereigniskataster_v1_0

curl -u user:password "https://geodienste.ch/data_agg/import_tasks/staging?topic=naturereigniskataster_v1_0"

Abfrage Log-Files

Die Logs eines Import-Tasks oder eines Publish-Tasks können ohne Login als Plain-Text (default) oder JSON abgefragt werden:

GET https://geodienste.ch/data_agg/import_tasks/:id/logs

GET https://geodienste.ch/data_agg/import_tasks/:id/logs.json

Publikation

Publikation starten

Falls bei Datenimport nicht die Option publish=true verwendet wurde, muss die Publikation noch manuell angestossen werden über die URL https://geodienste.ch/data_agg/interlis/publish.

Beispiel mit cURL:

curl -u user:password -F topic=planerischer_gewaesserschutz "https://geodienste.ch/data_agg/interlis/publish"

Die Abfragen und Antworten des API für den Status und des Logs erfolgt analog zum Import.

Status: GET https://geodienste.ch/data_agg/publish_tasks/:id/status

Plain-Text Log: GET https://geodienste.ch/data_agg/publish_tasks/:id/logs

JSON Log: GET https://geodienste.ch/data_agg/publish_tasks/:id/logs.json

Aktivierung Angebot

Der Vertrieb des Darstellungsdienstes (WMS) und der Daten (z.B. WFS, INTERLIS, GeoPackage, ESRI Shapefile) erfolgt getrennt. Pro Angebot sind hierzu die erforderlichen kantonalen Angebotsinformation unter ./services/subscribable zu konfigurieren. Folgende Felder stehen zur Verfügung:

Aktualisierung

Es wird angestrebt, dass der Stand der veröffentlichten Daten zwischen geodienste.ch und den weiteren kantonalen Vertriebskanälen (bspw. kantonales Geoportal) nicht mehr als 24 Stunden voneinander abweicht. Die Bereitsteller sind angehalten, die Datenaktualisierung auf geodienste.ch entsprechend zu automatisieren und ihre Datenprozesse beispielsweise mittels API geodienste.ch zu überwachen.

Vertrieb

Eine anonymisierte Zugriffsstatistik steht ab 2018 unter https://geodienste.ch/distribution/stats zur Verfügung und kann jederzeit bezogen werden.

Administration der Zugangsberechtigung (nur für Angebote mit «Freigabe erforderlich»)

Für Angebote der Zugriffskategorie “Freigabe erforderlich” ist die Administration der Zugangsberechtigungen erforderlich.

Wählt der Nutzer im Bestellformular eines Angebots ein Kanton mit Zugriffskategorie «Freigabe erforderlich» aus, wird dieser aufgefordert, zusätzlich folgende Angaben zu machen:

Die Bereitsteller werden bei Anmeldungen bzw. Bestellungen automatisch per E-Mail an die im Profil unter "E-Mail Admin [Kantonskürzel]" definierte E-Mail-Adresse benachrichtigt.

Die Bereitsteller von Angeboten mit Zugriffskategorie «Freigabe erforderlich» müssen bei Daten- / Dienstbezügen die Zugriffsrechte an den registrierten Nutzer vergeben oder die Anmeldung ablehnen.

Falls eine offene Anmeldung nicht bearbeitet wurde, wird der betroffene Bereitsteller erstmals nach 8 Tagen automatisch per E-Mail erinnert. Wenn die Anmeldung danach offen bleibt, wird alle 2 Wochen nach dem Bestelldatum die Erinnerung mit CC an geodienste@kgk-cgc.ch versendet und zusätzlich eine Meldung an den Kunden geschickt.

Verlängerung: Die Nutzer/innen werden automatisch zwei Wochen vor Ablauf des «Zeitraum der Verwendung» erinnert, dass das Zugriffsrecht abläuft. Für die Weiterbenutzung kann der Nutzer die Bestellung unter https://geodienste.ch/myservices verlängern.

Delegierung Bereitsteller-Rechte

Es besteht die Möglichkeit, die Bereitsteller-Rechte zu delegieren.

Berechtigungen

Die Delegierung der Rechte erfolgt getrennt nach den Prozessen der Datenintegration und des Vertriebs angebotsweise an registrierte Nutzer unter geodienste.ch . Dabei können folgende Berechtigungen delegiert werden:

• Delegierung Datenupload: Der delegierte Nutzer erhält vom Kanton das Recht, den Upload für das bestimmte Angebot auszuführen.

  • Gelieferte Datasets werden dem delegierten User zugewiesen, validiert und intern abgelegt.

  • Uploads können von unterschiedlichen Delegierten pro Angebot und Kanton parallel gestartet werden.

  • Die Kantone können mit API uploaded_datasets die angelieferten Datasets abfragen (welche Datasets wurden wann durch welchen Delegierten geliefert?) und als Zip beziehen (beispielsweise zur Weiterverarbeitung KGDI-intern).

  • Die Kantone können mit API import_uploadeddie angelieferten Datasets direkt auf geodienste.ch importieren und publizieren.

  • Gelieferte Datasets, welche nicht innerhalb eines Monats durch den Kanton verarbeitet werden, werden automatisch entfernt.

• Delegierung Datenimport: Der delegierte Nutzer erhält vom Kanton das Recht, den Upload und Datenimport für das bestimmte Angebot mit den API auszuführen.

  • Gelieferte Datasets werden dem delegierten User zugewiesen, validiert und importiert.

  • Aus technischen Gründen ist es nicht möglich, dass mehrere Delegierte Datasets für einen Kanton in denselben Angebot gleichzeitig importieren.

  • Mit Option replace_all=true werden nur die eigenen Datasets des Delegierten oder jene des Kantons entfernt bzw. ersetzt, aber keine anderer Delegierter.

  • Mit Option delete können bestimmte Datasets gelöscht werden. Es können nur eigene Datasets des Delegierten gelöscht werden.

  • Die Kantone sowie alle Delegierten können mit API imported_datasets die importierten Datasets abfragen (welche Datasets von welchen User wurden wann importiert?).

• Delegierung Veröffentlichung: Der delegierte Nutzer erhält vom Kanton das Recht, die Veröffentlichung für das bestimmte Angebot mit dem API auszuführen.

  • Importierte Datasets werden publiziert.

• Delegierung Vertrieb: Der delegierte Nutzer erhält vom Kanton das Recht, die Zugriffskontrolle für das bestimmte Angebot auszuführen.

  • Zugriffsrechte für Angebote mit Zugangskategorie (“Freigabe erforderlich”) können administriert werden.

  • Automatische Benachrichtigungen bezüglich Anmeldungen werden anstatt an den Bereitsteller an den Delegierten versendet.

Grundsätzliches

• Die Konfiguration der Integration muss vorgängig durch den Bereitsteller festgelegt worden sein, damit der delegierte Nutzer das API entsprechend nutzen kann.

• Delegierte können Datensätze von anderen Delegierten nicht überschreiben.

• Die Kantone sowie alle Delegierten können mit API imported_datasets die importierten Datasets abfragen (welche Datasets von welchen User wurden wann importiert?).

• Automatische Benachrichtigungen bezüglich der Datenintegration werden anstatt an den Kanton/Bereitsteller an den Delegierten versandt.

Übersicht API und Berechtigungen

siehe https://geodienste.ch/api-docs/index.html

Die für die Datenbereitstellung relevanten API sind die folgenden:

• GET data_agg/delegations: Abfrage der aktuellen Berechtigungen

• POST /data_agg/interlis/import: Import, Delete oder nur Upload

• GET /data_agg/import_tasks/uploaded_datasets: Liste der Datasets aus nur Upload, Bezugsmöglichkeit Uploaded.zip

• POST /data_agg/import_tasks/import_uploaded: Import Datasets aus nur Upload

• GET /data_agg/import_tasks/imported_datasets: Liste der importierten Datasets

• POST /data_agg/interlis/publish: Veröffentlichung

Zusätzlich stehen Endpunkte zur Abfrage der Status und Logs bereit.

Open

Change Management der Angebote

Änderungen an den bestehenden Angeboten werden durch die Betriebsorganisation geodienste.ch geplant und eingeführt. Dabei wird stets überprüft, ob diese Änderungen Auswirkungen auf die Kunden beziehungsweise auf die Anwendung der Dienste haben. Gegebenenfalls werden geplante Änderungen frühzeitig an die registrierten Kunden vorangekündet. Bei Bedarf werden neue Versionen von Angeboten eingeführt und alte Versionen nach einer bestimmten Zeit stillgelegt.

Ob neue Versionen eingeführt werden, wird im Wesentlichen durch das Change Management der minimalen Geodatenmodelle (MGDM) bestimmt. Wenn neue Versionen von minimalen Geodatenmodellen (MGDM) eingeführt werden, sind die Kantone angehalten, innerhalb einer definierten Übergangsfrist ihre bestehenden Angebote auf das neue Modell umzustellen.

Sofern modelltechnisch möglich, wird auf geodienste.ch während der Übergangsfrist eine Rücktransformation der Daten von neu nach alt eingerichtet. Falls dies nicht möglich ist, stehen somit die Angebote der Kantone entweder in der bisherigen oder in der neuen Version zur Verfügung. Bei Bedarf sind die betroffenen und genutzten Schnittstellen (INTERLIS-Modell, WMS und / oder WFS) zu geodienste.ch umzustellen. Falls eine Anwendung das Angebot von mehreren Kantonen gleichzeitig nutzt, muss diese während der Übergangsfrist folglich beide Versionen unterstützen.

Das interne Dokument «Change Management der Angebote» beschreibt diesen Prozess im Detail.

Unter https://geodienste.ch/versions_overview werden die verfügbaren Versionen von allen Angeboten zusammen mit den jeweiligen Übergangsfristen aufgelistet. Detailinformationen zu den vorhandenen Versionen werden bei den Spezifikationen der jeweiligen Angeboten bereitgestellt, bspw.: https://geodienste.ch/services/[topic]/info

Anleitung Versionswechsel

Will der Kanton sein Angebot von der alten Version auf die neue Version aktualisieren, eine Erstintegration für die neue Version durchgeführt werden. Beim Schritt “Angebot aktivieren” wird auf die neue Version umgestellt. Folgende Aktionen werden dadurch automatisch durchgeführt:

1. Die Konfiguration der Datenintegration der alten Version wird automatisch entfernt.

2. Die publizierten Daten der alten Version werden automatisch gelöscht, sofern keine Rücktransformation eingerichtet wurde.

Die neue Version ist nun erhältlich und wird unter den Detailinformationen des Angebots für den betroffenen Kanton angezeigt.

Rasterdaten

Rasterdaten können mit einem Pythonskript (https://www.kgk-cgc.ch/download_file/938/224) auf geodienste.ch integriert werden. Bei Rasterdaten muss im Gegensatz zu Vektordaten keine Konfiguration der Datenintegration eingerichtet werden.

Beachten Sie die Informationen im Skript. Die Zeilen zwischen --->>> START: TO BE FILLED OUT BY USER <<<--- und --->>> END: TO BE FILLED OUT BY USER <<<--- des Skripts müssen durch den Anwender ausgefüllt werden. Für den Erhalt des S3 Access Key sowie S3 Secret Key wenden Sie sich bitte an geodienste@kgk-cgc.ch. Nachdem alle Parameter ausgefüllt sind, kann das Skript ausgeführt werden. Dabei werden sowohl Import als auch Veröffentlichung der Rasterdaten durchgeführt. Weitere Informationen zum Skript sind direkt im Skript selbst enthalten. Mit dem Aufruf python3 rasterdata_import.py --h können Informationen zu den verfügbaren Argumenten angezeigt werden.

Beispiele Ausführung Skript:

python3 rasterdata_import.py -t luftbild -p /path/to/rasterdata -e production --dry_run

python3 rasterdata_import.py -t luftbild -p /path/to/rasterdata -e production

Angebotsspezifische Vorgaben

Thema: Landwirtschaftliche Bewirtschaftung

Zusätzliche Informationen, welche für die Datenintegration des Themas Landwirtschaftliche Bewirtschaftung (ID 151.1, 153.1 - 153.8) in geodienste.ch zu beachten sind.

Die Datenlieferung erfolgt pro Kanton (full extract) und Modell als XTF-Datei. In den Modellen der landwirtschaftlichen Bewirtschaftung existieren modellübergreifende Referenzen. Entsprechend müssen beim Datenimport nicht nur die Referenzen geliefert werden, sondern jeweils alle referenzierten modellübergreifenden Objekte mitimportiert werden. Dies hat zur Folge, dass gewisse Daten mehrmals importiert werden müssen. Beispielsweise müssen die Bewirtschaftungseinheiten (ID 153.6) zusätzlich beim Import der Nutzungsflächen (ID 153.1) mitimportiert werden. Die alphabetische Namensgebung der XTF-Files garantiert die korrekte Importreihenfolge. Beim Import müssen erst die referenzierten Objekte - danach die darauf referenzierenden Objekte importiert werden. Die Transferdaten der sieben Modelle müssen nach den Namensvorgaben des BLW und der alphabetischen Reihenfolge von geodienste.ch aufbereitet und benannt werden. Die Struktur besteht aus dem Kantonskürzel, dem Buchstaben a-c und der Datensatz-ID. Der Dateiname muss immer gleich bleiben.

1. Rebbaukataster (ID 151.1):
   BE_151_1.zip
   - BE_a_151_1.xtf

2. Nutzungsflächen (inkl. BFF Qualitätsstufe I) (ID 153.1):
   BE_153_1.zip
   - BE_a_153_6.xtf
   - BE_b_153_1.xtf

3. Perimeter Terrassenreben (ID 153.2):
   BE_153_2.zip
   - BE_a_153_2.xtf

4. BFF Q2 und Vernetzung (ID 153.3):
   BE_153_3.zip
   - BE_c_153_3.xtf

5. Perimeter LN- und Sömmerungsflächen (ID153.5):
   BE_153_5.zip
   - BE_a_153_5.xtf

6. Bewirtschaftungseinheit (ID 153.6):
   BE_153_6.zip
   - BE_a_153_6.xtf

7. Elemente mit Landschaftsqualität (ID 153.8):
   BE_153_8.zip
   - BE_a_153_8.xtf

Weitere Informationen zur Landwirtschaftlichen Bewirtschaftung sind im Leitfaden Geodatenaustausch Landwirtschaftliche Bewirtschaftung zu finden.

Checkliste

Folgende Checkliste kann kopiert und verwendet werden für die Umsetzung eines Angebots.