ReLucBlog

FOSS4G 2021 began yesterday, Monday September 27 2021, with the first workshops. The presentations will begin tomorrow, Wednesday Septembre 29 2021.

3Liz has 3 presentations plus 1 made by ONF International :

• Lizmap to create a Web Map Application with QGIS Desktop and Server
• How to use OpenStreetMap data in QGIS Desktop
• PgMetadata - A QGIS plugin to store the metadata of PostgreSQL layers inside the database, and use them inside QGIS
• How Open Source solution help to build an scalable and adaptable environmental decision platform tools

This years's schedule is very complete and I find it hard to choose from the long list of presentations. So here is my list of presentations that I would like to attend, but that I will not be able to follow in full:

1. Printing maps in the browser with InkMap
2. OSGeo in the browser: Advances in client-side WebAssembly-based Geospatial Analysis and frontend visualization using jsgeoda and Vis.gl
3. Solving Spatial Problems with PostGIS
4. 3D geo-applications with CesiumJS - data, possible use-cases and specifications
5. Browser-side geoprocessing with Turf.js and Leaflet
6. Watching after your PostGIS herd
7. Geostyler Mapfile Parser
8. A fast web 3D viewer for 11 million buildings
9. Graph algorithms on the database with pgRouting
10. pygeoapi: what's new in the Python OGC API Reference Implementation
11. FOSS4GPU: Faster GIS via GPU and cuSpatial
12. OpenStreetMap and the neglected pedestrian
13. OGC APIs: background, current state, what's next
14. Geospatial analysis using python 101
15. OGC API - Deeper Dive into OGC API Features, Records and EDR
16. QGIS and OGC APIs - how do they work together?
17. Practical Geospatial Data Versioning with Kart
18. Processing Massive-Scale Geospatial Data with Apache Sedona
19. PMTiles: An open, cloud-optimized archive format for serverless map data
20. MapLibre project: community driven Mapbox GL fork
21. Modular OGC API Workflows for Processing and Visualization
22. Cloud optimized formats for rasters and vectors explained
23. Demystifing OGC APIs with GeoServer: introduction and status of implementation
24. Deploying and operating GeoServer: a DevOps perspective
25. QField Features Frenzy
26. Seamless fieldwork thanks to QFieldCloud
27. Deployment of open source vector tile technology with UN Vector Tile Toolkit
28. The Very Best New Features of QGIS 3.x
29. QGIS Plugin Development Is Not Scary: Lessons Learned from Literature Mapper
30. QGIS MetaSearch: lowering the barrier to geospatial data discovery in the desktop
31. Input, Mergin & QGIS: collect data, sync, and collaborate with ease
32. GeoRasterLayer for Leaflet: Truly Server-Free GeoTIFF Visualization
33. Versioning in 2021: when and how you should do it
34. Using point clouds in QGIS
35. GeoHealthCheck - QoS Monitor for Geospatial Web Services
36. Wegue - Webmapping with OpenLayers and Vue.js
37. GeoMapFish und QGIS Server
38. Algorithm Talk: JSON-to-Code Compression
39. Vector tile basemaps for your QGIS project
40. OpenLayers Feature Frenzy
41. Easily publish your QGIS projects on the web with QWC2
42. MapStore, a year in review
43. Deploying QGIS using command line options.
44. Large scale QGIS deployments : feedback and lessons learned
45. Fast, Robust Arithmetics for Geometric Algorithms and Applications to GIS
46. WAPLUGIN: Water Accounting and Productivity Plugin for QGIS
47. FOSS4G software developments for Water Utilities Management in Eastern Africa by using Vector Tiles
48. G3W-SUITE: in OS framework for publishing and managing QGIS projects on the Web
49. Giswater : open source management tool for water networks
50. An implementation of FOSS4G - QGIS, QField and Vector Tiles for rural water supply management in Rwanda
51. Geospatial programming with Rust
52. QGIS, Football, what else ?

Lizmap a près de 10 ans. 10 ans de code, d'ajout de nouvelles fonctionnalités, de rédaction de documentation, de sortie de nombreuses versions. Des montées de versions de librairies, de nombreux contributeurs (31 si j'en crois GitHub) et contributions plus tard, nous avons sorti la version 3.4 fin 2020.

Lors de ce cycle de release entre les differentes versions RC et la version finale, nous nous sommes rendu compte d'un manque dans notre processus de release. Nous n'étions pas sûrs de la qualité de lizmap au moment de cette sortie et nous n'avions pas assez de moyens pour évaluer le risque d'avoir une version qui contiendrait des régressions.

Afin de rendre le produit plus fiable lors de mise-à-jour et de pouvoir être plus serein lors de nos prochaines sorties de version, nous avons mis en place un certain nombre de points afin d'améliorer la qualité.

Le premier est de ne plus accepter de contributions sans tests. Des tests automatiques, c'est bien, mais des procédures manuelles de tests, c'est bien aussi. Nous avons donc maintenant une règle qui dit "pas de patch sans test". Nous préférons les tests automatiques qui seront joués lors de l'intégration continue. Mais nous avons aussi conscience que tout n'est pas testable de manière automatique. Et donc qu'un certain nombre de tests devront se jouer de manière manuelle. Nous maintenons donc une liste de tests à jouer. Ces projets de tests sont présents dans les branches 3.4 et pour la prochaine version 3.5 (aka master).

Le deuxième est de mettre en place un processus de release qui intègre une phase de test. Nous consacrons maintenant un jour ou deux afin de pouvoir jouer tous les tests et de valider qu'aucune régression n'est présente. Pour les versions majeures, nous avons alloué encore plus de temps afin de pouvoir intégrer le retour de nos utilisateurs.

Troisième point dans lequel nous avons investi, la participation communautaire aux tests. Il est désormais très simple d'avoir un Lizmap avec un ou plusieurs projets. Il suffit d'utiliser notre stack docker, d'ajouter votre projet et de voir si tout fonctionne comme prévu. Si un problème survient, il est alors possible d'ouvrir au plus vite un ticket avec le maximum d'information pour que nous puissions le corriger. Nous souhaiterions que plus de personnes participent aux tests de nos Release Candidates (RC), afin de détecter avant les sorties les régressions sur vos projets.

Quatrièmement, nous mettons en place des processus internes pour que notre code soit plus facile à tester (cf la stack docker), mais aussi plus lisible par l'utilisation de linters. Nous avons également ajouté un analyseur de code pour le backend, PHP Static Analyser afin de nous prévenir de possibles erreurs côté PHP.

Cinquièmement, nous venons de passer du temps à mettre à jour la plate-forme de démo https://demo.lizmap.com; les projets ont été dépoussiérés et mis à jour. Ces mises à jour facilitent l'adoption de nos démos comme un référentiel de tests avec de vraies données.

Nous avions pris conscience en juin 2020 d'un déficit dans nos processus qualité. Nous avions donc dirigé un stage afin de refactoriser la librairie Lizmap pour qu'elle soit plus facile à tester de manière automatique. De nombreux tests ont été ajoutés lors de cette refactorisation. Ces changements ont été intégrés dans la future branche 3.5 de Lizmap. C'était trop de travail pour l'intégrer dans les branches 3.3 et 3.4 - elles seront donc légèrement moins bien testées de manière automatique par la CI.

La partie backend PHP étant mieux couverte et mieux testable, nos efforts dans les mois à venir vont se focaliser sur la partie front-end (Javascript, inteface Web...), avec des mises à jour de librairies, de la refactorisation de code et l'ajout de nombreux tests. Une stagiaire en fera le sujet de son stage, on ajoutera grâce à l'outil cypress des tests end2end automatiques.

Les tests backend PHP ainsi que frontend end2end Javascript, ainsi que les linters PHP et Javascript sont lancés sur le dépôt GitHub avec Actions.

Tous ces changements n'ont été possibles qu'en allouant plus de ressources au projet Lizmap au sein de 3liz, par l'arrivée de nouvelles personnes dans l'équipe.

L'année 2020 a été marqué par une croissance de l'équipe de 3Liz (nous sommes maintenant 8) et par la publication de la version 3.4 de Lizmap Web Client (Liste des nouvelles fonctionnalités)

Cette nouvelle version marque un changement dans le fonctionnement de Lizmap Web Client, car certaines fonctionnalités dépendent maintenant de l'installation du extension Lizmap pour QGIS Serveur. Le plugin Lizmap étend l'API standard de QGIS Serveur.

En 2011, quand Michaël imagine Lizmap, il souhaite profiter de QGIS Serveur pour faciliter la création de cartes Web, en proposant une solution qui s'intègre à QGIS afin que le gestionnaire de données géographiques n'ait pas à changer d'outil lorsqu'il souhaite faire une publication Web de son travail.

En 10 ans, Lizmap est devenu un vrai outil de création et de publication d'applications Web cartographiques allant de la simple carte de consultation de données géographiques à l'application de gestion de données géographiques collaboratives (adresses, réseaux d'eau, observations naturalistes, etc) en passant par la création de tableaux de bord avec graphiques ou d'outils d'exploration de données.

Risques de crues à Montpellier

Points d'intérêts dans le bassin versant du lac Léman

Observations faunistiques en Polynésie

Évolution du COVID-19 en France de mars à mai 2020

Suivi des déplacements de chats

En 2021, nous souhaitons continuer à améliorer la qualité et la stabilité de Lizmap (refactorisation du code, ajout de nouveaux tests), publier 2 nouvelles versions de Lizmap Web Client avec une version 3.5 fin mai 2021, et peut-être une nouvelle version majeure en fin d'année.

Toute l'équipe 3Liz vous souhaite donc une très bonne année 2021 avec Lizmap.

Adrien Lagroy de Croutte de l'École 42 a rejoint 3Liz il y a 6 mois dans le cadre d'un stage.

• Sa mission principale a été de faire un refactoring du code PHP de Lizmap, ceci dans le but de pouvoir plus facilement le tester unitairement.

• Sa seconde mission a été d'ajouter plus de 200 tests unitaires. Ceci sont exécutés par nos outils d'intégration continue sur chaque modification du code, nous évitant de possible bugs et régressions.

Grâce à ce travail, nous limitons les régressions sur les prochaines versions de Lizmap en rendant le code plus testable par des outils d'intégration continue.

Merci à toi Adrien ;)

Nous sommes heureux d’annoncer la sortie de Lizmap Web Client 3.4 RC (release candidate). Vous trouverez la liste des nouvelles fonctionnalités ici :

• Changelog Lizmap Web Client 3.4
• Changelog visuel Lizmap Web Client 3.4

Cette nouvelle version de Lizmap Web Client s'accompagne de celle du plugin Lizmap en version 3.3 :

• Changelog plugin Lizmap

Il reste du travail concernant la documentation et la traduction. Toute aide est la bienvenue :)

Depuis le début de Lizmap-Web-Client toute la partie serveur reposait sur du code PHP. Avec Lizmap Web Client 3.4, qui sera publié très prochainement, une partie des fonctionnalités ont été développées au sein du plugin Lizmap pour ajouter des fonctionnalités à QGIS Server.

QGIS Server est une implémentation open source des normes WMS 1.3.0, 1.1.1 et 1.0.0, WFS 1.1.0 et 1.0.0 et WCS 1.0.0 défini par l'Open Geospatial Consortium (OGC). QGIS Server utilise QGIS comme backend pour la logique des couches SIG et le rendu cartographique. Étant donné que QGIS Bureautique et QGIS Server utilisent les mêmes bibliothèques de visualisation, les cartes publiées sur le web ont le même aspect que sous le SIG Bureautique.

Pour en savoir plus sur QGIS Server

Tout comme QGIS Bureautique, QGIS Server est extensible à l'aide de plugins Python. Il est par exemple possible de créer, d'ajouter de nouveaux services à QGIS Server. Documentation

La seconde fonctionnalité QGIS Server que nous avons implémentée dans le plugin Lizmap est un service d'évaluation des expressions QGIS.

• SERVICE=EXPRESSION
  • REQUEST=Evaluate
    • EXPRESSION: a QGIS expression
    • EXPRESSIONS: List of QGIS expressions
    • FEATURE: Option a GeoJSON Feature
    • FEATURES: Option a list of GeoJSON Features
    • FORM_SCOPE: Option boolean to add formScope based on provided features
  • REQUEST=replaceExpressionText
    • STRING: A string with expression between [% and %]
    • STRINGS: A list of strings with expression between [% and %]
    • FEATURE: Option a GeoJSON Feature
    • FEATURES: Option a list of GeoJSON Features
    • FORM_SCOPE: Option boolean to add formScope based on provided features
  • REQUEST=GetFeatureWithFormScope
    • LAYER: a WMS Layer Name to be filtered
    • FILTER: a QGIS expression to filter the layer
    • FORM_FEATURE: a GeoJSON Feature
    • FIELDS: Option a list of fields to return
    • WITH_GEOMETRY: Option boolean to return geometry
  • REQUEST=VirtualFields
    • LAYER: a WMS Layer Name to get virtual fields
    • VIRTUALS: a list of key QGIS expression
    • FILTER: Option a QGIS expression to filter layer
    • FIELDS: Option a list of fields to return
    • WITH_GEOMETRY: Option boolean to return geometry

Ces nouvelles requêtes servent dans Lizmap Web Client 3.4 à exploiter les expressions des formulaires QGIS. Ces expressions peuvent servir à :

• Définir des valeurs par défaut
• Définir des contraintes
• Faire des listes en cascade
• Gérer la visibilité de groupes de champs

Exemple d'utilisation d'expression QGIS comme contrainte de formulaire:

Exemple d'utilisation d'expression QGIS afin de gérer la visibilité des groupes de champs

Dans le cas des listes en cascades dans les formulaires, il est possible d'utiliser la géométrie pour filtrer la liste, par exemple pour sélectionner une commune, une parcelle ou la rue la plus proche. Il est bien sûr possible d'utiliser toutes les autres valeurs en cours de saisie du formulaire.

Enfin nous avons aussi ajouter un service lizmap avec une requête GetServerSettings pour récupérer des informations sur QGIS Server et les services disponibles.

Depuis le début de Lizmap-Web-Client toute la partie serveur reposait sur du code PHP. Avec Lizmap Web Client 3.4, qui sera publié très prochainement, une partie des fonctionnalités ont été développées au sein du plugin Lizmap pour ajouter des fonctionnalités à QGIS Server.

QGIS Server est une implémentation open source des normes WMS 1.3.0, 1.1.1 et 1.0.0, WFS 1.1.0 et 1.0.0 et WCS 1.0.0 défini par l'Open Geospatial Consortium (OGC). QGIS Server utilise QGIS comme backend pour la logique des couches SIG et le rendu cartographique. Étant donné que QGIS Bureautique et QGIS Server utilisent les mêmes bibliothèques de visualisation, les cartes publiées sur le web ont le même aspect que sous le SIG Bureautique.

Pour en savoir plus sur QGIS Server

Tout comme QGIS Bureautique, QGIS Server est extensible à l'aide de plugins Python. Il est par exemple possible d'ajouter un système de contrôle d'accès aux données dans QGIS Server Documentation.

La première fonctionnalité QGIS Server que nous avons implémentée dans le plugin Lizmap est un système de contrôle d'accès.

Nous avons implémenté 3 contrôles d'accès :

• l'accès au projet
• le filtre par utilisateur
• l'accès aux couches du projet

Les 2 premiers contrôles étaient déjà présent. Dans la configuration Lizmap, il est possible de restreindre l'accès à un projet pour une liste de groupes d'utilisateur. Il est aussi possible de définir des règles de filtrage en fonction de l'utilisateur connecté ou non.

Le portage dans QGIS Server du filtre par utilisateur, grâce au plugin Lizmap, permet de filtrer des couches même si elles sont cachées dans un groupe de couche. Dans la version 3.3 de Lizmap Web Client et les précédentes, le filtrage par utilisateur des couches ne fonctionne que si la couche est affichée seule, car Lizmap Web Client ajoute des filtres aux requêtes envoyées à QGIS server. Dans Lizmap, il est possible de transformer un groupe de couche QGIS en une seule couche pour le client web. Il en découle des requêtes où n'apparaissent pas la couche à filtrer. Avec le plugin Lizmap pour Lizmap Web Client 3.4 toutes les couches seront filtrées correctement.

En faisant du plugin Lizmap, un plugin de contrôle d'accès pour QGIS Server, nous avons pu ajouter la possibilité de restreindre l'accès des couches d'un projet pour une liste de groupes d'utilisateur.

La possibilité de restreindre l'accès des couches d'un projet pour une liste de groupes d'utilisateurs permet de diffuser un projet QGIS, une carte Lizmap, avec un contenu qui peut varier en fonction de l'utilisateur.

On March 6, 2020, a Lizmap user identified a regression in QGIS Server 3.10 compared to version 3.4. This regression concerns the print function (GetPrint) for the layer groups configured as a single layer for Lizmap. A group configured as a layer could no longer be printed with QGIS Server 3.10.

To correct this bug, we decided to use Test Driven Developments. We started by creating a new test for QGIS Server highlighting the regression. We then corrected this regression and verified using the test that the patch we proposed corrected the test.

The problem is that once the patch and the new test were integrated into the master branch (development version) and the release-3_12 branch (version 3.12) of QGIS, the Travis-based continuous integration system used by QGIS indicated regularly have a problem with testing the QGIS Server print function. Regression correction was therefore not included in version 3.10 of QGIS which is the long term released version (LTR), and tests of the printing function of QGIS Sever were blacklisted for the continuous integration. In fact the test indicated a Segfault.

It took QGIS Server developers several months, PR 36198, PR 36581, PR 37179, to identify the reason why testing of the QGIS Server print function was failed in continuous integration. The reason was simple: the test was too long, it exceeded 55 seconds fc561d0
on travis in continuous integration.

It is true that the test file started to be too long. The solution to be able to reactivate the tests in continuous integration was to separate the tests of the printing function of QGIS Server in several tests.

Once the tests of the printing function reactivated for the master branch and the release-3_14 branch, the regression patch could be integrated into the release-3_10 branch (version 3.10 of QGIS) and this patch will be available when the release of version 3.10.8 on July 17, 2020.

QGIS Server 3.10.0 est sorti vendredi 25 octobre 2019. Cette version sera la nouvelle version maintenue à long terme (LTR) à partir de février 2020.

Cette nouvelle version introduit de nouvelles fonctionnalités:

• La publication d'objets géographiques via la nouvelle API OGC Features (OAPIF), également appelée WFS3
• Définir des dimensions WMS pour filtrer les résultats GetMap
• Amélioration de la manière d'utiliser les SVGs dans QGIS Server

QGIS Server implémente désormais l’API OGC - Features - Partie 1: Core également appelé WFS3. Il s'agit d'une nouvelle implémentation qui fournit un service basé sur le HTML et le JSON pour vos développements de cartographie Web. Une interface de WebSIG simple est disponible et prête à l'emploi. Elle est facilement personnalisable via un système de modèles HTML.

Vous pouvez consulter la documentation pour plus d'informations.

Un serveur WMS peut prendre en charge plusieurs types de dimensions, telles que la date et l'heure, l'altitude ou d'autres types de dimensions. La dimension doit être définie pour chaque couche vectorielle et peut être utilisée par le client WMS pour filtrer les informations demandées. Le WMS Time est inclue dans les dimensions WMS.

Avant, l'utilisation des SVGs dans QGIS Server n’était pas pleinement fonctionnelle. Nous avons amélioré la manière dont QGIS Server récupère les ressources distantes telles que les SVGs dans le contexte QGIS Server. Il est maintenant possible d'utiliser des SVGs dans vos couches et de les publier en tant que WMS sans problèmes de rendu dans QGIS Server.

Nous sommes heureux d’annoncer la sortie de lizmap Web Client 3.3 - 1 - et lizmap plugin 3.1 - 2 - 3

Ces versions proposent de nouvelles fonctionnalités:

• Ajout de la recherche dans la base de données d'adresses français BAN
• Créer une info-bulle HTML à partir du formulaire par glisser-déposer de QGIS
• Amélioration de l'info-bulle HTML: utilisation de la valeur à afficher
• Ajout de la possibilité de construire un formulaire de filtrage pour les couches PostgreSQL / PostGIS

Mais la fonctionnalité principale est la prise en charge de QGIS Server 3 4.

Pour cela, nous devions adapter le client Web lizmap aux changements apportés à QGIS Server et corriger QGIS Server 3.4 afin de proposer une expérience utilisateur identique :

• Fix regression server print selection pdf
• JPEG output for WMS GetPrint request has gone
• In WMS GetFeatureInfo CRS param not mandatory when FILTER param
• Add unit test for WFS GetFeature with BBOX param without EPSG
• SLD : Support escapeChar attribute of PropertyIsLike
• Null field value in GML has to be empty string
• Use Project selection color in GetPrint
• Unit-test: To avoid regression in Server printing to PDF output format
• Keeps empty parts for not empty styles parameters

Nous avions également besoin de mettre à jour des plugins QGIS Server utiles pour Lizmap :

• Atlas print 5
• WFS output Extension 6

Si vous utilisez déjà Lizmap Web Client, vous pouvez :

• mettre à jour Lizmap Web Client vers la version 3.3
• mettre à jour QGIS Server vers la version 3.4
• mettre à jour les plugins QGIS Server que vous utilisez
• rendez-vous sur le backoffice de Lizmap Web Client pour mettre à jour la version de QGIS Server dans la configuration
• mettez à jour votre plugin Lizmap vers la version 3.1 dans votre QGIS bureautique 3.4
• et mettez à jour vos projets QGIS.

Si vous souhaitez tester lizmap, installez la dernière version avec QGIS Server LTR.

Dernière information, une liste de diffusion pour le projet Lizmap a été créée : https://lists.osgeo.org/mailman/listinfo/lizmap