Lobbywatch stellt Daten unserer Datenbank (DB) für eigene Auswertungen zur Verfügung.
Die Daten werden wöchentlich aus unserer Datenbank exportiert.
Die Daten des aktuellen Parlaments werden in folgenden Datenformaten angeboten:
| Format | Archiv | Sprache | Beschreibung |
|---|---|---|---|
| CSV | lobbywatch_export_parlamentarier.csv.zip | de | Archiv mit verschiedenen Exporten ausgehend von Parlamentariern, z.B. für jede Interessenbindung eine Zeile (empfohlen für den Einstieg) |
| CSV | lobbywatch_export_flat.csv.zip | de, fr | Direkter Export jeder SQL-Datenbank-Tabelle als CSV |
| CSV | lobbywatch_export_all.csv.zip | de | Alle CSV-Exporte in einem Archiv |
| CSV | lobbywatch_export_parlamentarier_ |
de | Export aller Transparenzlisten |
| SQL | lobbywatch_export.sql.zip | de, fr | Direkter Export jeder SQL-Datenbank-Tabelle als MySQL Dump |
| GraphML | lobbywatch_export.graphml.zip | de | Export als Graphen im standardisierten XMl-basierten GraphML-Format |
| Neo4J (CSV) | lobbywatch_export_neo4j.csv.zip | de | CSV-Dateien im Neo4j-Format mit Beispiel Importskript (bash) für die Graphen-DB Neo4j |
| OrientDB (JSON) | lobbywatch_export_orientdb.json.zip | de | JSON-Dateien mit Beispiel Importskript (bash) für die Graphen-DB OrientDB |
| ArangoDB (JSONL) | lobbywatch_export_arangodb.jsonl.zip | de | JSONL-Dateien mit Beispiel Importskript (bash) für die Graphen-DB ArangoDB |
| JSON | lobbywatch_export_aggregated.json.zip | de | Parlamentarier aggregiert mit den verknüpften Daten als JSON |
| JSON | lobbywatch_export_all.json.zip | de | Alle JSON-Exporte in einem Archiv |
| JSON | lobbywatch_export_flat.json.zip | de, fr | Direkter Export jeder SQL-Datenbank-Tabelle als JSON |
| JSONL | lobbywatch_export_flat.jsonl.zip | de, fr | Direkter Export jeder SQL-Datenbank-Tabelle als JSONL |
| XML | lobbywatch_export_aggregated.xml.zip | de | Parlamentarier aggregiert mit den verknüpften Daten als XML |
| XML | lobbywatch_export_flat.xml.zip | de, fr | Direkter Export jeder SQL-Datenbank-Tabelle als XML |
| XML | lobbywatch_export_all.xml.zip | de | Alle XML-Exporte in einem Archiv |
| YAML | lobbywatch_export_aggregated.yaml.zip | de | Parlamentarier aggregiert mit den verknüpften Daten als YAML |
| YAML | lobbywatch_export_flat.yaml.zip | de, fr | Direkter Export jeder SQL-Datenbank-Tabelle als YAML |
| YAML | lobbywatch_export_all.yaml.zip | de | Alle YAML-Exporte in einem Archiv |
| Markdown | lobbywatch_export_aggregated.md.zip | de | Parlamentarier aggregiert mit den verknüpften Daten als Markdown |
| Markdown | lobbywatch_export_flat.md.zip | de, fr | Direkter Export jeder SQL-Datenbank-Tabelle als Markdown |
| Markdown | lobbywatch_export_all.md.zip | de | Alle Markdown-Exporte in einem Archiv |
| SPARQL | lod.lobbywatch.ch | de, fr | Linked Open Data (LOD) |
Als Zeichensatz wird immer UTF-8 (Unicode) verwendet.
CSV-Dateien können in Tabellenkalkulationen wie LibreOffice Calc, Excel oder Apple Numbers importiert werden.
Die Felder sind Tabulator getrennt. Anführungszeichen (\") in Texten werden mit einem zweifachem Anführungszeichen "escaped". Die Zeilenende sind im UNIX-Stil (EOL = \n).
MySQL-Dump zum Erstellen einer eigenen, lokalen Lobbywatch-DB. Der SQL-Dump ist mit MySQL 5.7 kompatibel. Der Import wurde nicht mit anderen SQL-Datenbanken wie MariaDB, PostgreSQL, MSSQL oder Oracle getestet. Es könnte funktionieren oder auch nicht. Wir wären um Rückmeldungen zur Kompatibilität froh.
GraphML ist ein weit verbreitetes und standardisiertes XML-basiertes Austauschformat für Graphen.
Example statement for importing the lobbywatch.graphml file into graph DB Neo4j (ref):
CALL apoc.import.graphml('lobbywatch.graphml',{batchSize: 10000, readLabels: true, storeNodeIds: false, defaultRelationshipType:"RELATED"})
Statement to delete a whole Neo4j graph DB:
MATCH (n) DETACH DELETE n
Neo4j ist eine häufig eingesetzte Graphen-DB. Neo4j ist in der Community Edition Open Source.
Siehe Neo4j Import Dokumenation
Neo4j Desktop 3.5.13 was used for development.
Siehe OrientDB Import Dokumenation
Docker-Befehl für den OrientDB-Container
docker run -d --name orientdb -p 127.0.0.1:2424:2424 -p 127.0.0.1:2480:2480 -e ORIENTDB_ROOT_PASSWORD=password -v PATH/TO/DB:/orientdb/databases -v PATH/TO/IMPORT:/import orientdb:3.0.24
Siehe ArangoDB Import Dokumenation
Docker-Befehl für den ArangoDB-Container
docker run -d --name arangodb -p 8529:8529 -e ARANGO_NO_AUTH=1 -e ARANGO_STORAGE_ENGINE=rocksdb -v PATH/TO/DATA:/var/lib/arangodb3 -v PATH/TO/APPS:/var/lib/arangodb3-apps -v PATH/TO/IMPORT:/import arangodb/arangodb:3.5.1
JSON ist ein gängiges Datenaustauschformat.
Der Browser Firefox kann JSON standarmässig in übersichtlicher Form darstellen. Daneben gibt es das JSONView Addon für Firefox oder die JSONView Extension für Chrome.
JSONL ist JSON mit jeweils einem Datensatz auf einer Zeile.
Das Kommandozeilenprogramm jq kann JSON-Dateien umformen und bearbeiten.
XML ist ein gängiges Datenaustauschformat.
YAML ist eine vereinfachte Auszeichnungssprache (englisch markup language) zur Datenserialisierung, angelehnt an XML (ursprünglich) und an die Datenstrukturen in den Sprachen Perl, Python und C.
Markdown ist eine vereinfachte, weit verbreitete Auszeichnungssprache (englisch markup language).
Der Export der Daten in Markdown ist eine technische Spielerei. Aber hey, es ist meine Freizeit.
Für die Lobbywatch-Daten gibt es eine REST-Schnittstelle.
Spezifikation:
Die Spezifikationen sind äquivalent. Sie beschreiben die gleiche Schnittstelle, aber auf unterschiedliche Weise.
Jupyter Notebook erlauben die interaktive Auswertung von Daten.
Das Jupyter Notebook Parlamentarier ohne Arbeitgeber wurde zur Illustration erstellt.
Gewisse Daten von Lobbywatch stehen auch in einer GraphQL-Schnittstelle zur Verfügung.
Die Daten basieren auf der dataIF REST-Schnittstelle.
Basierend auf dem wöchentliche SQL-Export werden Linked Open Data zur Verfügung gestellt. Die Subdomain lod.lobbywatch.ch wird von zazuko unentgeltlich zur Verfügung gestellt. Herzlichen Dank!
Die aktuellen Daten von Lobbywatch sind frei und kostenlos verfügbar. Für ihre Nutzung gelten jedoch gewisse Regeln. Zur Klarheit haben wir ein Merkblatt erstellt.
Die Exporte werden wöchentlich frühen Montagmorgen automatisch aktualisiert.
Die Daten werden in einer relationalen MySQL-Datenbank gespeichert. Das Datenmodell zeigt die Relationen und hilft beim Verständnis der Daten.
Weiterführende Informationen sind auf der Technik-Seite zu finden.
Historisierte Daten (d.h. nicht mehr aktuelle Daten, die in der Datenbank weiterhin vorhanden sind) können bei uns angefragt werden. Die Nutzungsbedingungen für historisierte Daten sind im Merkblatt beschrieben.
Wir betreiben Lobbywatch in unserer Freizeit. Wir setzen alles daran um korrekte Daten zu haben, aber Fehler können passieren. Bitte melden Sie uns Datenfehler. Gerne auch Verbesserungsideen.
Wir freuen uns über Rückmeldungen, wenn sie Auswertungen mit unseren Daten machen, siehe Merkblatt. Wir unterhalten eine Liste mit Projekten zum Thema Lobbying mit unseren Daten.
Die Datenexporte stellen wir "als Service" in verschiedenen Formaten zur Verfügung. Der Datenimport verlangt je nach Datenformat vertiefte Kenntnisse. Aus Kapazitätsgründen können wir keine Hilfeleistungen (Support) für grundlegende Benutzung der jeweiligen Programm bieten. Bitte machen Sie sich im Internet kundig oder konsultieren Sie die Dokumentation der jeweiligen Programme.