API Datasets
API Records
Annexes
Concepts généraux
Il existe un certain nombre de concepts au coeur de la plateforme :
Dataset (ou Jeu de données)Un Dataset est un regroupement logique de données (Records): il est comparable plus simplement par exemple à une feuille Excel (dont chaque ligne serait un Record) ou à une table de base de donnée (dont chaque entrée serait un Record). Un Dataset possède également des "metadatas", qui sont des attributs décrivant le Dataset (par exemple sa date de première publication, son créateur, sa description ou ses mots clés).
Un Dataset contient également la liste des Fields (champs) qui constituent les Records qu'il contient.
Record (ou Enregistrement)Un Record est une donnée unitaire, comparable à une ligne d'un tableau Excel. Il est constitué de Fields (champs) avec les valeurs associés (comparable aux colonnes d'un tableau Excel).
DomaineUn Domaine est un espace regroupant des utilisateurs, des données (Datasets), et les services permettant de créer, d'accéder et d'exploiter ces données (par exemple les API de recherche ou l'application Explore).
Un Domaine peut exposer ses services (et ses données) à tous anonymement, ou les restreindre à ses propres utilisateurs. Un Domaine peut également choisir d'inclure dans ses services tous les Datasets publics de la plateforme, ou de se restreindre à ses propres données.
Services sur les Datasets
Recherche (search)
/anfr/api2/datasets/search/
Description
Ce service permet de consommer le catalogue de Datasets par des fonctionnalités de recherche, telle la recherche dite "full-text", ou la navigation par Facettes. Il est ainsi possible de proposer aux utilisateurs des possibilités de recherche à la fois simples et intuitives (recherche textuelle "à la Google", mais également d'affiner facilement et précisément les résultats (facettes).
Dans le cas d'une utilisation sans paramètre de recherche, tous les Datasets sont restituées.
Mode de consommation
Ce service se consomme en GET. Le POST est également supporté mais non recommandé pour des raisons de standards.
Paramètres
qRequête textuelle "full-text". Par défaut, pas de requête, tous les résultats sont renvoyés. Documentation détaillée.
langLangage de la requête utilisateur (paramètre q), permettant l'activation de fonctions linguistiques sur la requête. Le langage est un code ISO 639-1 (code à 2 lettres tel que "fr"). Ce paramètre n'est pas encore supporté.
Active une Facette pour qu'elle soit incluse dans les résultats (voir Annexe pour la liste des Facettes disponibles); ce paramètre peut-être utilisé plusieurs fois pour activer plusieurs Facettes. Par défaut aucune Facette n'est activée. Ce paramètre n'est pas encore supporté.
facet=modified
Limite les résultats à ceux inclus dans le chemin (path) spécifié pour cette Facette; peut-être utilisé plusieurs fois, pour une même Facette ou pour plusieurs Ce paramètre n'est pas encore supporté.
refine.modified=2012/02
Exclut les résultats inclus dans le chemin (path) spécifié pour cette Facette; peut-être utilisé plusieurs fois, pour une même Facette ou pour plusieurs Ce paramètre n'est pas encore supporté.
exclude.modified=2011
Trie les valeurs selon le champ spécifié (voir Annexe pour les champs disponibles au tri); par défaut le tri est descendant, mais si précédé d'un '-', le tri est ascendant.
sort=-issued
Nombre maximum de résultats à retourner. Par défaut, 10 résultats sont retournés. La valeur maximale de ce paramètre est 10 000. Néanmoins, il est recommandé de ne jamais dépasser 100 pour des raisons de performance. Au delà de 100 résultats par page, les requêtes peuvent être limitées par le serveur.
Index du premier résultat à retourner (commence à 0); à combiner avec rows pour implémenter une pagination
Exemples simples
Cas d'utilisation
-->Récupération Unitaire (lookup)
/anfr/api2/datasets/DATASETID/
Description
Ce service permet d'obtenir les informations sur un Dataset donné.
Mode de consommation
Ce service se consomme en GET. Le POST est également supporté mais non recommandé pour des raisons de standards.
Les formats de sortie supportés sont JSON et JSONP (en spécifiant un callback).
Paramètres
datasetidDans l'URL, obligatoire : Identifiant du Dataset, mentionné par exemple dans chaque résultat de Record
http://anfr3.data4citizen.com:5000/ anfr/api2/datasets/DATASETID/id=observatoire-2g-3g-4g&...
Services sur les Records
Recherche (search)
/anfr/api2/records/search/
Description
Ce service permet d'effectuer une recherche sur l'ensemble des données d'un Dataset, à travers l'utilisation de fonctionnalités intuitives de recherche telles que la recherche textuelle et la recherche géographique; il permet également la navigation par Facettes pour offrir à l'utilisateur un moyen d'obtenir facilement et précisément les données souhaitées.
Dans le cas d'une utilisation sans paramètre de recherche, toutes les données du Dataset sont restituées.
Mode de consommation
Ce service se consomme en GET. Le POST est également supporté mais non recommandé pour des raisons de standards.
Les formats de sortie supportés sont JSON (ou JSONP en spécifiant un callback) et GeoJSON (callback également possible).
Paramètres
datasetObligatoire : Identifiant du Dataset (datasetid) où la recherche a lieu.
qRequête textuelle "full-text". Documentation détaillée.
langLangage de la requête utilisateur (paramètre q), permettant l'activation de fonctions linguistiques sur la requête. Le langage est un code ISO 639-1 (code à 2 lettres tel que "fr"). Ce paramètre n'est pas encore supporté.
Restreint les résultats à une distance maximale (en mètres) donnée d'un point WGS84 donné : latitude,longitude,distance Ce paramètre n'est pas encore supporté.
geofilter.distance=48.8520930694,2.34738897685,1000
Restreint les résultats à une zone géographique donnée, déterminée par un polygone constitué de points WGS84 : (lat1,lon1),(lat2,lon2),(lat3,lon3) Ce paramètre n'est pas encore supporté.
geofilter.polygon=(48.883086,2.379072),(48.879022,2.379930),(48.883651,2.386968)
Active une Facette pour qu'elle soit incluse dans les résultats (les Facettes disponibles sont indiquées au niveau de la défition du Dataset); ce paramètre peut-être utilisé plusieurs fois pour activer plusieurs Facettes. Par défaut aucune Facette n'est activée.
facet=ville
Limite les résultats à ceux inclus dans le chemin (path) spécifié pour cette Facette; peut-être utilisé plusieurs fois, pour une même Facette ou pour plusieurs
refine.ville=paris
Exclut les résultats inclus dans le chemin (path) spécifié pour cette Facette; peut-être utilisé plusieurs fois, pour une même Facette ou pour plusieurs. Ce paramètre n'est pas encore supporté.
exclude.creation=2010/12/23
Trie les valeurs selon le champ numérique spécifié (les champs numériques sont indiqués au niveau de la définition du Dataset); par défaut le tri est descendant, mais si précédé d'un '-', le tri est ascendant. Disponible uniquement si la recherche est effectuée sur un seul Dataset.
sort=-largeur
Nombre maximum de résultats à retourner. Par défaut, 10 résultats sont retournés. La valeur maximale de ce paramètre est 10 0000. Il est néanmoins recommandé de ne pas dépasser 100. Au delà, les requêtes peuvent être limitées par le serveur. Pour récupérer un nombre plus important de résultats, vous pouvez découper vos requêtes et utiliser la pagination. Vous avez aussi la possibilité d'utiliser l'API de téléchargement.
A noter également que la valeur cumulée des paramètres start et rows ne peut pas dépasser 10 000. Ainsi, il n'est pas possible avec l'API de recherche de jeux de données d'accéder à un résultat au delà de la position 10 000. Il conviendra pour ce faire d'utiliser l'API de téléchargement.
Index du premier résultat à retourner (commence à 0); à combiner avec rows pour implémenter une pagination
Annexes
Identifier un Jeu de Données (Dataset)
Vous cherchez des données précises pour construire une application mais ne savez pas encore dans quel Dataset les trouver ?
Vous pouvez utiliser l'interface de recherche en choisissant API dans le menu en haut de page, et effectuer une recherche full-text sur l'ensemble des jeux de données et/ou jouer sur les filtres (affinages) tels que la source ou le nuage de mots-clés pour trouver le Dataset qui contient les données qui vous intéressent. Une fois sur la page du Dataset, il vous suffit de déplier les détails pour obtenir l'Identifiant que vous pourrez utiliser dans vos appels à l'API Records.
Toute cette démarche est évidemment faisable intégralement via l'API, en utilisant l'API de recherche Datasets pour récupérer l'attribut "datasetid" du Dataset qui vous intéresse.
Utilisation des Facettes
Une Facette est une catégorie à laquelle une entrée (un Dataset ou un Record) peuvent appartenir avec une certaine valeur. Par exemple, pour une Facette "ville", un Record pourrait appartenir à la valeur "Paris".
Les Facettes sont traditionnellement un outil d'aide à l'affinage de résultat dans les applications de recherche. On peut les utiliser pour rapidement restreindre ses résultats grâce à la vue d'ensemble de la répartition des résultats dans les valeurs des Facettes. Ainsi, pour une Facette "Dernière Modification", on pourra voir qu'il y a 240 résultats modifiés en 2012, 130 en 2011, et affiner ses résultats (affinages) sur 2011.
Récupération et Répartition
Par défaut, que ce soit pour les Datasets ou les Records, aucune Facette n'est activée. Pour cela, il faut activer les Facettes voulues par le paramètre "facet", en spécifiant le nom de la Facette. Dans le cas d'un Dataset, les Facettes sont standard (tous les Datasets ont les mêmes) et sont décrites dans une Annexe. Dans le cas de records, les Facettes disponibles sont définies au sein du Dataset contenant les Records :
... "fields": [ ... { "label": "VARIETE", "type": "text", "name": "variete", "annotations": [ { "name": "facet" } ] }, ...
Les Facettes sont retournées à la fin des résultats retournés par la requête.
A chaque valeur correspond un name, qui est une valeur affichable dans une interface par exemple, et un path, qui permet d'effectuer un affinage ou une exclusion sur cette valeur. Les valeurs de Facettes sont sous forme hiérarchique, par exemple une année contient ses mois et ainsi de suite. Une valeur peut donc contenir d'autres valeurs.
Exemple pour les Facettes à l'intérieur d'une entrée :
"facet_groups": [ { "name": "modified", "facets": [ { "name": "2012", "path": "2012", "facets": [ { "name": "09", "path": "2012/09", "facets": [ { "name": "11", "path": "2012/09/11" } ...Dans le cas de la répartition des Facettes à la fin du résultat, chaque valeur contient également le nombre d'entrées contenues dans cette valeur (count), ainsi que son état (si elle est actuellement utilisée pour un affinage ou pour une exclusion). Le niveau de profondeur de hiérarchie pour une Facette est limité à 1, sauf si un affinage a lieu sur une valeur, auquel cas la profondeur descend jusqu'au niveau au dessous de la valeur filtrée.
"facet_groups": [ { "name": "modified", "count": 45, "facets": [ { "name": "2012", "path": "2012", "count": 24, "state": "displayed" }, ...
Affinage
Il est possible de restreindre ses résultats (y compris pour une requête sans critère) en effectuant un affinage sur une valeur d'une Facette.
/api/datasets/1.0/search/?refine.modified=2011
Dans les résultats obtenus, seuls les Datasets appartenant à la valeur 2011 pour la Facette "modified" sont retournés, c'est à dire les Datasets ayant été modifiés en 2011. En réalité, un Dataset sera dans une valeur correspondant au jour de sa dernière modification (2011 > 12 > 04 par exemple), mais puisque les valeurs sont hiérarchiques, elle appartient également au mois et à l'année.
Puisque l'affinage a eu lieu sur l'année, on observe que dans la répartition des Facettes à la fin des résultats, on récupère le niveau inférieur, le mois; également, l'année est marquée comme dans un état "refined" :
facet_groups: [{ name: "modified", count: 20, facets: [{ name: "2011", path: "2011", count: 20, state: "refined", facets: [{ name: "04", path: "2011/04", count: 7, state: "displayed"Langage de requête (paramètre q=)
Description
Le langage de requête peut être utilisé avec tous les points d'entrées d'API qui acceptent le paramètre q.
Il permet d'affiner la recherche de base et peut être utilisé en complément des facets.
Recherche "plein texte"Permet de restreindre le résultat de la recherche sur les élément contenant les mots passés en paramètre
Si la chaine de caractères est entre guillemets alors la recherche ne retourne que les résultats exacts
q=film retourne les entrées contenant film, films, filmographie ...
q="film" retourne les entrées contenant seulement film
Le langage de requête supporte les opérateurs booléens : "AND", "OR" et "NOT"
Les espaces dans les requêtes sont considérés comme des opérateurs “AND"
L'utilisation des parenthèses permet de grouper les opérations
Exemples :
q=film OR arbres
q=(film OR arbres) AND paris
Le langage de requête permet de réaliser une requête sur un champ précis d'un jeu de données
Les champs disponibles pour l'API Dataset sont définis plus haut.
Les champs pour l'API Records dépendent du schéma du dataset que l'on souhaite interroger. La liste de ces champs peut être obtenue avec l'API Dataset
Par exemple : q=titre_film:lord
Plusieurs types d'opérateurs peuvent être utilisés entre le nom du champ et la requête :
":", "=" ou "==": Retourne les résultats pour lesquels le champ correspond exactement à la valeur passée (fonctionne avec les champs de type texte ou numérique)">", "<", ">=", "<=": Réalise une requête respectivement supérieure, inférieure, supérieure ou égale, ou inférieure ou égale à la valeur passée (fonctionne sur les types numériques ou date)[date_debut TO date_fin]: Réalise une requête sur un intervalle de date de date_debut à date_fin
Le format de date peut être renseigné avec différent formats : simple (YYYY[[/mm]/dd]) ou ISO 8601 (YYYY-mm-DDTHH:MM:SS)
Exemples :
q=date_film >= 2002
q=date_film >= 2013/02/11
q=date_film: [1950 TO 2000]
q=film_box_office > 10000 AND date_film < 1965
Il est possible d'utiliser des fonctions dans le langage de requête.
Il faut pour cela préfixer le nom de la fonction avec #
Liste des fonctions disponibles :
-
nowLa fonction now permet de réaliser une recherche à partir de la date actuelle
Cette fonction peut être appelée comme valeur de requête sur un champ
Si elle est appelée sans argument, alors la recherche se portera sur le moment actuel
q=anniversaires >= #now()retourne tous les enregistrements qui contiennent une date anniversaire postérieure à la date actuellela fonction now peut aussi prendre des paramètres :
years, months, weeks, days, hours, minutes, seconds, microseconds: Ces paramètres permettent d'ajouter ou de soustraire du temps par rapport à la date actuellePar exemple :
#now(years=-1, hours=-1)Retournera la date actuelle moins un an, moins une heureyear, month, day, hour, minute, second, microsecond: Permet de spécifier une date absoluePar exemple :
#now(year=2001)retournera la date courante mais en 2001 (même mois, jour, heure que la date actuelle)weekday: Permet de spécifier un jour de la semaine.Le paramètre prend soit un entier entre 0 et 6 (où 0 est lundi et 6 est dimanche). Soit les deux premières lettres du jour de la semaine en anglais suivi entre parenthèse de la Nième semaine à partir de laquelle commencer la requête (positive ou négative)
#now(weeks=-2, weekday=1)Retourne le mardi, deux semaines précédant la date actuelle#now(weekday=MO(2))Retourne le lundi, deux semaines après la date actuelle