Guide pratique du code M

Présentation générale du code M

Le code M est un langage fonctionnel, c’est-à-dire qu’il se compose d’un ensemble de fonctions, la librairie, utilisées dans le cadre d’étapes de transformations, dans lesquelles chaque fonction attend un certain type de paramètre, des types dits « primitifs » (date, nombre, etc.) et des types dits « complexes » (des listes, des enregistrements, des tables ou des fonctions).

Bien comprendre le type de paramètre qu’une fonction attend est la base du code M.

Réutiliser le code M entre plusieurs requêtes ou documents

L’intérêt du code M, c’est qu’il peut être copié et collé, et être donc réutilisé dans une autre requête, voire dans un autre document. La représentation graphique des étapes qui apparaissent dans le volet à la droite de votre fenêtre Power Query ne peut pas, elle, être portée ailleurs.

Mais paradoxalement, il n’existe pas de fonctionnalité toute prête pour faciliter cet export du code. Reste donc le très rudimentaire, mais efficace, copier-coller.

Encore faut-il garder en tête les règles de base. Dupliquer une ou plusieurs lignes suppose de modifier et de vérifier un ensemble de points :

Créer et utiliser une fonction personnalisée

Lorsque vous appliquez des transformations à une table ou une colonne, ces opérations sont directement associées à cette table ou cette colonne. Créer une fonction personnalisée consiste à nommer l’ensemble de ces opérations pour être en mesure de les appliquer rapidement à d’autres tables ou d’autres colonnes.

Ce sont donc généralement des opérations fréquentes, ou du moins courantes, ou encore un enchaînement complexe de nombreuses opérations.

Travailler avec les tables

Les tables sont la structure la plus courante dans le code M. Voyons d’abord quelques règles courantes de manipulation des tables, puis un ensemble d’exemples basés sur des tables.

= table[colonne] 

= table{ligne} 

= table[colonne1]{0} 

= #table 
( 
    {"ID", "Name", "City"},  
    { 
      {123, "Alice", "Wonderland"}, 
      {234, "Bob", "Wonderland"} 
    } 
) 

Travailler avec les listes

= {1..100} 

= {1..100, 200..250} 

= List.Dates(#date(2020, 1, 1), 366, #duration(1, 0, 0, 0)) 

ensemble = majuscules & minuscules & accents & signes 

= {"A", "B", "C"}{2} 

Travailler avec les enregistrements (records)

Si les listes peuvent être considérées comme des colonnes de données, les enregistrements sont eux des lignes de données. Ils sont toujours définis par une paire nom du champ et valeur du champ.

Manipulations courantes avec les enregistrements

Ainsi la syntaxe suivante (notez les crochets) crée une ligne de données sous forme de liste. Deux colonnes sont définies, et leur contenu indiqué :

Pour créer plusieurs enregistrements, ajoutez des accolades au début et à la fin, et séparez les enregistrements par une virgule :

Power Query retourne alors une liste d’enregistrements Record qui contiennent chacun les données.

Enfin, il est parfois utile de retrouver un enregistrement dont vous ne connaissez que l’identifiant (ici, le symbole). Attention, cette recherche est effectuée sur une table (et pas une liste) :

L’expression each

Le mot-clé each n’est pas le plus simple à comprendre. Il s’agit en l’occurrence d’un raccourci de syntaxe, permettant de définir une fonction simple.

Ou pour citer l’éditeur, « each-expression est un raccourci syntaxique pour déclarer des fonctions non typées qui prennent un paramètre formel unique nommé _ . Les déclarations simplifiées sont couramment utilisées pour améliorer la lisibilité de l’appel de fonction d’ordre supérieur».

Je reprends ici l’explication claire qu’en donne Gil Raviv dans son ouvrage.

Une fonction est déclarée à l’aide du symbole =>. Ainsi, l’expression suivante définit-elle une fonction qui reçoit un nombre (x) et retourne x+1 :

(X) => X + 1 

La même expression peut être écrite à l’aide du tiret bas :

(_) => _ + 1 

each permet de simplifier cette écriture, pour un résultat équivalent :

each _ + 1 

Dans certaines situations, le tiret bas peut être omis, notamment lorsque l’expression fait référence à une colonne ou à une table.

Prenons un exemple. Lorsque vous filtrez les valeurs d’une colonne, Power Query génère le code suivant :

Table.SelectRows( Source, each [Prix]...

Comprendre l’actualisation incrémentielle

Lors de l’actualisation d’un rapport, l’intégralité des données présentes dans le rapport (E) est effacée, et remplacée par l’intégralité des données présentes dans la source, c’est-à-dire l’ensemble E (dont certains enregistrements ont pu être modifiés) plus les nouveaux enregistrements (apparus depuis la précédente actualisation).

C’est ce remplacement complet du jeu de données qui peut, à mesure qu’augmente le nombre d’enregistrements dans la source, allonger la durée d’actualisation du rapport.

Il est possible de mettre en place des stratégies d’actualisation pour agir sur ce point : découper une grande table en plusieurs sections et n’actualiser que la dernière section, en prenant en compte la possibilité que les anciens enregistrements puissent être modifiés. Imaginez par exemple une très grande table dans laquelle sont stockés les passages en caisse pour un hypermarché. Les transactions, une fois enregistrées, ne changent pas, à moins qu’un client ne ramène un produit. Si la politique de retour est limitée à 7 jours, il est possible, moyennant quelques contorsions de la requête, de ne récupérer qu’une partie des enregistrements (après le 7 de chaque mois, uniquement ceux du mois en cours ; avant...

Extraire les données sur plusieurs pages d’un site avec le code M

Cette section aurait pu trouver sa place dans le chapitre Exploiter la puissance de Power Query : je l’intègre dans celui-ci, consacré au code M, dans la mesure où nous allons y combiner des éléments de transformations avancés (où nous allons modifier le code M dans l’éditeur), la création d’une fonction, et la création d’une liste, soit une bonne partie des éléments que nous venons d’évoquer.

L’exemple que je vous propose est le suivant : extraire la liste des billets d’un blog et en créer une sorte de table des matières. En l’occurrence, nous allons extraire cette liste du blog que je consacre à Power BI, www.daxone.fr.

La première difficulté ici, c’est l’absence de tableau explicite en HTML, mais nous avons vu que Power Query est capable de suggérer des tables ou de comprendre à partir d’exemples le besoin. Ceci devrait donc être un obstacle mineur.

La deuxième difficulté, c’est que les billets du blog (de même, par exemple, que les résultats d’une recherche), s’étalent sur plusieurs pages du site : il va donc falloir trouver un moyen pour que la requête soit exécutée sur toutes les pages. Et avant même cela, il va falloir comprendre comment est libellée l’adresse de chaque page.

Lorsque vous saisissez l’adresse du blog dans un navigateur, vous arrivez sur une liste de billets, le plus récent en haut de page. Il y a 10 billets sur la première page, dont le lien, récupéré dans la barre d’adresse, est https://daxone.fr/. En bas de cette page, un lien permet d’accéder aux entrées précédentes, et par clic-droit > copier l’adresse...