Étendez Pandoc avec Lua

Magazine
Marque
GNU/Linux Magazine
Numéro
199
Mois de parution
décembre 2016
Spécialité(s)


Résumé
Il est parfois nécessaire de convertir un fichier d'un langage de balisage vers un autre : de Markdown vers du HTML, d'Org-mode vers LaTeX, etc. Pandoc est un outil permettant ce type de conversion, et il est capable de gérer un nombre impressionnant de formats différents. Que faire si l'on souhaite utiliser un format ésotérique inconnu de Pandoc ? Il est possible de l'étendre en Lua !

Body


L'objectif

L'architecture de Pandoc peut être comparée à celle d'un compilateur : un lecteur lit le fichier d'origine et crée une représentation intermédiaire ; cette représentation est ensuite convertie vers le format d'arrivée par un écrivain.

Implémenter le support complet d'un nouveau format dans Pandoc consiste donc simplement à écrire un lecteur et un écrivain. Cela semble toutefois fastidieux si le format à implémenter et à maintenir est destiné à rester relativement confidentiel, cantonné à un usage personnel. Il est alors beaucoup plus judicieux d'étendre Pandoc en utilisant le mécanisme prévu à cet effet.

Dans cet article, nous montrerons comment convertir une recette de cuisine écrite en Org-mode en un fichier LaTeX utilisant la classe recipe, et ce afin de générer un joli PDF. Le code complet est disponible à l'adresse suivante : https://framagit.org/Steap/GLMF-articles/tree/master/pandoc-lua-extension.

Les outils

- pandoc (1.17.0.3 dans cet article)

- pdflatex (paquet texlive-latex-base dans Debian)

- la classe LaTeX recipe (paquet texlive-latex-extra dans Debian)

- Lua n'est pas nécessaire

- un éditeur de texte

Pourquoi une extension ?

Nous voulons générer notre recette de cuisine depuis le fichier pizza.org écrit dans le format explicite suivant :

# -*- mode: org -*-

#+TITLE: Pizza/bière façon geek

#+AUTHOR: Cyril Roelandt

#+OPTIONS: toc:nil

#+PERSONNES: 6

* Ingrédients

+ 42 bières

+ 1 téléphone

* Préparation

+ Ouvrir une bière (par personne)

+ Se saisir de son téléphone (un seul pour tout le groupe)

+ Appeler son livreur de pizza préféré

+ Commander poliment ses pizzas

+ Attendre le livreur en buvant une autre bière (par personne)

+ Ouvrir au livreur, échanger les pizzas contre des bitcoins

+ Déguster les pizzas en finissant les bières

Voici le fichier pizza.tex que nous souhaiterions obtenir :

\documentclass[a4paper]{recipe}

\usepackage[T1]{fontenc}

\usepackage[utf8]{inputenc}

\usepackage[french]{babel}

\usepackage{enumitem}

\usepackage{amssymb}

\pagenumbering{gobble} % Disable page numbering

\newcommand{\bsi}[2]{%

  \fontencoding{T1}\fontfamily{pbs}\fontseries{xl}\fontshape{n}%

  \fontsize{#1}{#2}\selectfont}

\renewcommand{\inghead}{\textbf{Ingrédients (pour 6 personnes)}:\ }

\renewcommand{\rechead}{\centering\bsi{24pt}{30pt}}

\makeatletter

\renewcommand*\l@subsubsection{\@dottedtocline{3}{3em}{0em}}

\makeatother

\setlength\parskip{2ex plus 0.5ex}

\begin{document}

\recipe{Pizza/bière façon geek}

\ingred{42 bières ; 1 téléphone ; }

\begin{enumerate}[label=$\blacktriangleright$]

\item Ouvrir une bière (par personne)

\item Se saisir de son téléphone (un seul pour tout le groupe)

\item Appeler son livreur de pizza préféré

\item Commander poliment ses pizzas

\item Attendre le livreur en buvant une autre bière (par personne)

\item Ouvrir au livreur, échanger les pizzas contre des bitcoins

\item Déguster les pizzas en finissant les bières

\end{enumerate}

\begin{flushright}

Une recette de Cyril Roelandt.

\end{flushright}

\end{document}

Il existe déjà dans pandoc un lecteur capable de transformer le fichier Org-mode en une représentation interne. Pandoc fournit également un écrivain capable de générer du LaTeX, mais le code généré n'utilise évidemment pas la classe recipe : nous n'aurons donc pas le rendu voulu. Intégrer et maintenir un nouvel écrivain dans pandoc serait pénible et sans doute inutile pour la plupart des utilisateurs; il est donc tout à fait logique de préférer écrire une extension.

Phase 1 - Vue d'ensemble

Notre extension nécessite deux fichiers :

- un modèle (recipe.template) qui contiendra la structure de notre document LaTeX à générer ;

- un fichier Lua (recipe.lua) qui convertira le contenu de notre fichier Org-mode.

etendez_pandoc_avec_lua_figure_01

Comme on peut le voir sur la figure 1, pandoc, grâce à notre extension, convertira notre fichier source pizza.org en un fichier LaTeX structuré comme nous le souhaitons (pizza.tex) que nous pourrons ensuite convertir en PDF grâce à pdflatex.

Phase 2 - Écriture du modèle

Voici le modèle (recipe.template) que nous allons utiliser :

\documentclass[a4paper]{recipe}

\usepackage[T1]{fontenc}

\usepackage[utf8]{inputenc}

\usepackage[french]{babel}

\usepackage{enumitem}

\usepackage{amssymb}

% D'autres commandes LaTeX vues plus haut, non reprises ici par souci de

% lisibilité.

\begin{document}

\recipe{$title$}

$body$

$if(author)$

\begin{flushright}

Une recette de $author$.

\end{flushright}

$endif$

\end{document}

Il est facilement compréhensible : il contient la structure de notre fichier LaTeX. La partie réellement intéressante est l'utilisation des variables personnes, title et author, qui correspondent aux pragmas utilisés au début de pizza.org. Il est possible de spécifier autant de variables que nécessaire. La valeur d'une variable peut même être définie dynamiquement en lançant pandoc avec l'option -V :

$ pandoc -Vfoo=bar ...

Phase 3 - Code minimal de l'extension

La commande suivante nous permet de générer le code Lua d'une extension implémentant un écrivain HTML :

pandoc --print-default-data-file sample.lua > recipe.lua

Le fichier recipe.lua ainsi généré contient un grand nombre de fonctions Lua permettant de traiter chaque type de nœud (titre, texte, gras, etc.). Chacune de ces fonctions doit retourner une chaîne de caractères.

Nous conservons une implémentation pour les fonctions suivantes :

function Doc(body, metadata, variables)

  return body

end

function Str(s)

  return s

end

function Space()

  return " "

end

La première nous permettra de retourner le contenu du document (cf. la variable body du modèle). Les deux autres nous permettront respectivement de retourner les chaînes de caractères inchangées, et de conserver les espaces.

Nous pouvons « vider » sans risque le contenu des autres fonctions en leur faisant retourner une chaîne de caractères vide ; nous pourrions tout simplement les supprimer, mais il est pratique de les conserver s'il devient nécessaire de les implémenter par la suite :

-- Le même corps pour toutes les autres fonctions.

function Span(s)

  return ""

end

Phase 4 - Makefile

Nous devrions désormais être capables de générer un fichier PDF depuis notre fichier source. Utilisons le Makefile suivant :

%.pdf: %.tex

 pdflatex $<

%.tex: %.org recipe.lua recipe.template

 pandoc -f org -t recipe.lua --template=recipe.template -o $@ $<

clean:

 rm -f *.log *.aux *.pdf *.tex

Il est notamment possible de déverminer notre extension en lisant le fichier pizza.tex produit. Générons maintenant notre PDF :

$ make pizza.pdf

Le fichier produit est valide, mais un peu vide. C'est normal : il nous reste quelques fonctions à réellement implémenter.

Phase 5 - Le code de l'extension

Notre fichier pizza.org est composé de deux listes : une liste d'ingrédients, et une liste d'opérations à effectuer. En regardant le fichier pizza.tex présenté en début d'article, on voit qu'il faudra convertir la première en une commande \ingred, et la deuxième en une liste LaTeX classique. Implémentons donc la fonction Lua BulletList dans recipe.lua :

function BulletList(items)

  if current_section == 'Ingrédients' then

    ret = "\\ingred{"

    for _, item in pairs(items) do

      ret = ret .. item .. " ; "

    end

    ret = ret .. "}\n"

  elseif current_section == 'Préparation' then

    ret = "\\begin{enumerate}[label=$\\blacktriangleright$]\n"

    for _, item in pairs(items) do

      ret = ret .. "\\item " .. item .. "\n"

    end

    ret = ret .. "\\end{enumerate}"

  end

  return ret

end

Nous retenons dans quelle section nous nous trouvons grâce à la variable current_section déclarée en début de fichier et mise à jour à chaque fois que nous rencontrons un titre :

local current_section = ""

...

function Header(lev, s, attr)

  current_section = s

  return ""

end

Trucs et astuces

Quelle que soit l'extension, la méthodologie reste la même que celle présentée ici :

1) Déterminer la «chaîne de compilation» : suffit-il de lancer pandoc, ou d'autres étapes (comme le lancement d'une commande externe) seront-elles nécessaires ?

2) Construire l'extension minimale permettant de lancer toute cette chaîne sans erreur, même si le résultat ne correspond pas à nos attentes.

3) Implémenter les fonctions Lua nécessaires une par une jusqu'à avoir un résultat satisfaisant.

Il est également utile de pouvoir visualiser l'arbre syntaxique généré par le lecteur afin de déverminer une extension. Pandoc fournit cette fonctionnalité et peut afficher l'arbre en JSON :

$ pandoc -f org -t json pizza.org | json_pp

Conclusion

Nous avons vu comment développer une extension Lua implémentant un écrivain simple pour pandoc. La méthode reste la même pour des écrivains plus complexes : cet article a été rédigé en Org-mode puis converti vers le format ODT grâce à une extension pandoc au code un peu plus volumineux.




Article rédigé par

Par le(s) même(s) auteur(s)

Faut s’démener au FOSDEM !

Magazine
Marque
GNU/Linux Magazine
Numéro
213
Mois de parution
mars 2018
Résumé
Le FOSDEM (Free and OpenSource Developers European Meeting) est tellement incontournable qu’une part non négligeable des auteurs de GLMF s’y rend chaque année. De nombreuses mains et points de vue ont donc participé à ce compte-rendu, pour vous faire part du foisonnement de ce week-end intense.

Les derniers articles Premiums

Les derniers articles Premium

Sécurisez vos applications web : comment Symfony vous protège des menaces courantes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les frameworks tels que Symfony ont bouleversé le développement web en apportant une structure solide et des outils performants. Malgré ces qualités, nous pouvons découvrir d’innombrables vulnérabilités. Cet article met le doigt sur les failles de sécurité les plus fréquentes qui affectent même les environnements les plus robustes. De l’injection de requêtes à distance à l’exécution de scripts malveillants, découvrez comment ces failles peuvent mettre en péril vos applications et, surtout, comment vous en prémunir.

Bash des temps modernes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les scripts Shell, et Bash spécifiquement, demeurent un standard, de facto, de notre industrie. Ils forment un composant primordial de toute distribution Linux, mais c’est aussi un outil de prédilection pour implémenter de nombreuses tâches d’automatisation, en particulier dans le « Cloud », par eux-mêmes ou conjointement à des solutions telles que Ansible. Pour toutes ces raisons et bien d’autres encore, savoir les concevoir de manière robuste et idempotente est crucial.

Présentation de Kafka Connect

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Un cluster Apache Kafka est déjà, à lui seul, une puissante infrastructure pour faire de l’event streaming… Et si nous pouvions, d’un coup de baguette magique, lui permettre de consommer des informations issues de systèmes de données plus traditionnels, tels que les bases de données ? C’est là qu’intervient Kafka Connect, un autre composant de l’écosystème du projet.

Le combo gagnant de la virtualisation : QEMU et KVM

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

C’est un fait : la virtualisation est partout ! Que ce soit pour la flexibilité des systèmes ou bien leur sécurité, l’adoption de la virtualisation augmente dans toutes les organisations depuis des années. Dans cet article, nous allons nous focaliser sur deux technologies : QEMU et KVM. En combinant les deux, il est possible de créer des environnements de virtualisation très robustes.

Les listes de lecture

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.
11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.
10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Voir les 65 listes de lecture

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous