et vous ne perdez pas de temps …

Un des principes FAIR

Spectre de la reproctibilité

• Ne pas avoir peur d’avancer à petit pas, marche après marche
• Processus itératif et progressif

Contrôle des versions (git)

Ça marche avec des scripts et des codes, des protocoles & de la documentation, des rapports, n’importe quel document !

Comment ça marche ?

Cycle de vie de la donnée & PGD

Open Data 5★

Comment on fait ?

Constat

Problématique

Si un script ne fonctionne que sur l’ordi où il a été développé, il mourra avec cet ordi

renv

• renv permet une gestion fine des versions des packages au sein de chaque projet
• Pas d’effet de la mise à jour d’un package sur les autres projets
• Les versions des packages tracées dans un fichier renv.lock
• Particulièrement adapté à une utilisation avec git

renv - workflow

Docker

Allez plus loin, partagez votre ordinateur

Docker - workflow

dockerfile

FROM rocker/verse:4.3.1
LABEL "AUTHOR" "cedric.midoux@inrae.fr"
LABEL "VERSION" "PEPI2023"

CMD echo "Hello, PEPI !!"

Data Science

targets

Ce package permet de structurer un pipeline d’analyses sous une forme bien précise composé d’étapes écrit dans un schéma global (workflow). On pourrait le comparer à un petit snakemake ou nextflow sous R.

Facilite la parallélisation.

Structure du projet

├── _targets.R : le script d'execution principal
├── data/
│   ├── robject.RData : un objet R
│   ├── data.csv : les données
├── R/
│   ├── functionsMain.R : les fonctions principales utilisées pour réaliser des analyses
│   ├── functionsPlots.R : les fonctions utilisées pour réaliser les graphiques
│   ├── functionsTests.R : les fonctions secondaires
├── _output/
│   ├── output.csv : fichiers de sortie 
├── _targets/
│   ├── meta/
│   ├── objects/
│   ├── user/
│   ├── workspaces/

library(targets)
tar_source()
tar_option_set(packages = c("readr", "dplyr", "ggplot2"))
list(
  tar_target(file, "data.csv", format = "file"), # chaque nom de cible doit être unique
  tar_target(data, get_data(file)),
  tar_target(model, fit_model(data)),
  tar_target(plot, plot_model(model, data))
)

Execution du pipeline

La fonction tar_make() exécute le pipeline dans son ensemble en respectant l’ordre des étapes écrites dans le fichier _targets.R.

Ré-execution du pipeline

Quand on exécutera à nouveau le pipeline seules les étapes ayant été modifiées seront de nouveau exécutées.

Visualisation du pipeline

La fonction tar_visnetwork() affiche un DAG du pipeline au temps t, mettant en évidence l’état des étapes (done, waiting, error).

Visualisation des objets de sortie

Contrairement à une utilisation classique de R, les objets ne sont pas stockés dans l’environnent global mais dans les dossiers _targets > objects. Il s’agit de fichiers compilés lisibles uniquement par targets via la commande tar_read(object):

tar_read(plot)

Résultats

Appeler les objets de sortie de targets dans les chunks d’un fichier qmd:

summary(tar_read(model))

ou

tar_load(plot)

Intégrer quarto au pipeline

Il est possible de générer un document quarto avec la fonction quarto_render du package quarto.

• générer un rapport lors d’une étape du pipeline avec :

tar_target(report, quarto_render("Report.qmd", output_format = "html"))

RMarkdown

quarto

Quarto - exemples

---
title: "Quarto Computations"
---

This dataset contains a subset of the fuel economy data from the EPA.
Specifically, we use the `mpg` dataset from the **ggplot2** package.

```{r}
#| label: load-packages
#| echo: false

library(ggplot2)
```

The visualization below shows a positive, strong, and linear relationship between the city and highway mileage of these cars.
Additionally, mileage is higher for cars with fewer cylinders.

```{r}
#| label: scatterplot

ggplot(mpg, aes(x = hwy, y = cty, color = cyl)) +
  geom_point(alpha = 0.5, size = 2) +
  scale_color_viridis_c() +
  theme_minimal()
```

Quarto facilite le passage d’un format à l’autre

title: "Lesson 1"
format: html

title: "Lesson 1"
format: pdf

title: "Lesson 1"
format: revealjs

project:
  type: book
  output-dir: _book

project:
  type: website
website: 
  navbar: 
    left:
      - lesson-1.qmd

Les nouveautés de quarto (HTML)

RMarkdown

```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = TRUE)
library(tidyverse)
library(DT)
```

Quarto

```{r}
#| label: "setup"
#| include: false
knitr::opts_chunk$set(echo = TRUE)
library(tidyverse)
library(DT)
```

Les options sont déplacées au sein du chunk avec #| (hash-pipe) pour chaque ligne. Transition facilitée avec knitr::convert_chunk_header()

Code highlighting

```{r}
#| label: my_plot
#| code-line-numbers: "|10"
#| output-location: column
library(ggplot2)
ggplot(
  mtcars,
  aes(hp, mpg)
) +
  geom_point(aes(color = am)) +
  geom_smooth(formula = y ~ x, method = "loess")
```

Widgets

```{r}
#| output-location: column-fragment
library(leaflet)
leaflet(width = "480px") %>%
  addTiles() %>%
  addMarkers(
    lat=48.829510, 
    lng=2.364861, 
    popup="Vous êtes ici !"
  )
```

Interactivité

viewof bill_length_min = Inputs.range(
  [32, 50], 
  {value: 35, step: 1, label: "Bill length (min):"}
)
viewof islands = Inputs.checkbox(
  ["Torgersen", "Biscoe", "Dream"], 
  { value: ["Torgersen", "Biscoe"], 
    label: "Islands:"
  }
)

filtered = transpose(data).filter(function(penguin) {
  return bill_length_min < penguin.bill_length_mm &&
         islands.includes(penguin.island);
})

Plot.rectY(filtered, 
  Plot.binX(
    {y: "count"}, 
    {x: "body_mass_g", fill: "species", thresholds: 20}
  ))
  .plot({
    facet: {
      data: filtered,
      x: "sex",
      y: "species",
      marginRight: 80
    },
    marks: [
      Plot.frame(),
    ]
  }
)

Diffusion en CI/CD : GitLab Pages

project:
  type: website
  output-dir: public

# The Docker image that will be used to build your app
image: rocker/verse:4.2

# Functions that should be executed before the build script is run
before_script:
  - quarto install extension davidcarayon/quarto-inrae-extension --no-prompt

pages:
  script:
    - quarto render
  artifacts:
    paths:
      # The folder that contains the files to be exposed at the Page URL
      - public
  rules:
    # This ensures that only pushes to the default branch will trigger
    # a pages deploy
    - if: $CI_COMMIT_REF_NAME == $CI_DEFAULT_BRANCH

Github Actions for Quarto

1. quarto-dev/quarto-actions/setup - Install Quarto
2. quarto-dev/quarto-actions/render - Render project
3. quarto-dev/quarto-actions/publish - Publish project