Spring Batch

Introduction

Dans le monde de l’informatique, nous séparons souvent les traitements en trois grandes familles :

Les programmes de traitement par lots actuels découlent souvent de la migration et de la modernisation de systèmes plus anciens. Ils restent pertinents pour les opérations de traitement de données en masse classiques, et trouvent également leur utilité dans les contextes de Big Data des applications contemporaines. Néanmoins, l’approche moderne tend à délaisser les traitements par lots classiques au profit du traitement des données en temps réel ou via des mini-batchs, souvent orchestrés avec des fonctionnalités telles que @Scheduled de Spring.

Cependant, dans certaines situations, l’usage des batchs reste indispensable. Les traitements batchs traditionnels nécessitent généralement un accès complet et exclusif aux bases de données, ce qui peut entraîner une interruption des opérations impliquant des interfaces utilisateur. Dans un contexte de mondialisation et de besoins d’accès continu aux applications, cette exigence d’exclusivité des bases de données pendant les périodes de traitement par lots devient un défi de plus en plus difficile à gérer.

Dans le paysage actuel des applications, l’utilisation des batchs se concentre principalement sur le chargement ou l’exportation de données. En matière de Big Data, ces traitements...

Description des éléments Spring Batch

Exemple Spring Batch version 5

Nous codons maintenant un exemple de petit batch pour illustrer le fonctionnement de Spring Batch à travers un chargeur de fichier CSV dans une base H2.

<dependencies> 
   <dependency> 
       <groupId>org.springframework.batch</groupId> 
       <artifactId>spring-batch-core</artifactId> 
       <version>5.1.0</version> 
   </dependency> 
  <dependency> 
    <groupId>org.springframework.boot</groupId> 
    <artifactId>spring-boot-starter-batch</artifactId> 
  </dependency> 
</dependencies> 

// Annotation qui dénote une application Spring Boot. 
@SpringBootApplication 
public class LanceurExempleBatch { 
 
  // Point d'entrée principal de l'application Java. 
  public static void main(String[] args) throws Exception { 
    // Lance l'application Spring Boot, en utilisant 
    // LanceurExempleBatch comme classe de configuration. 
    SpringApplication.run(LanceurExempleBatch.class, args); 
  } 
} 

// Déclaration de la classe de configuration pour Spring Batch 
@Configuration 
public class BatchConfiguration { 
 
  // Injection de la source de données configurée dans Spring 
  @Autowired 
  public DataSource dataSource; 
 
  // Définition d'un bean pour lire les données depuis un fichier 
  // plat (CSV) 
  @Bean 
  public FlatFileItemReader<Departement> reader() { 
    // Création d'un lecteur pour un fichier CSV nommé 
    //...

Données traitées

Spring Batch est un framework flexible qui peut gérer une grande variété de formats de données, souvent déterminés par les types d’ItemReader et ItemWriter utilisés dans un job. Voici quelques exemples de types de messages ou de formats de données que Spring Batch peut traiter :

Batchs fictifs

Dans le cadre de nouveaux développements, la tendance est d’éviter autant que possible les batchs traditionnels. Au lieu de cela, une approche plus moderne et flexible est privilégiée, celle d’utiliser des tâches planifiées (scheduled tasks) gérées par Spring. Ces tâches programmées offrent plusieurs avantages par rapport aux batchs classiques :

Évolutions des batchs

Nous ne nous attarderons pas sur les détails techniques, mais il est important de noter que le domaine du traitement par lots se dirige vers une approche axée sur la gestion de processus externes. Cette évolution est motivée par le désir d’exploiter les avantages offerts par le cloud computing, étant donné que Spring Batch est traditionnellement conçu pour fonctionner sur une machine unique.

Dans ce contexte, nous allons nous tourner vers l’utilisation de Spring Cloud Data Flow, en conjonction avec Spring Boot Task et Spring Cloud Function. Spring Cloud Function offre la possibilité d’exécuter des fonctions à la demande, similaires aux lambdas d’AWS, permettant ainsi une grande flexibilité et une scalabilité. Spring Boot Task, quant à lui, facilite la gestion et l’ordonnancement de tâches individuelles.

L’intégration avec Spring Cloud Data Flow apporte une dimension supplémentaire à cette configuration. En incorporant la notion de flux, Spring Cloud Data Flow permet de créer un système d’ordonnancement beaucoup plus vaste et complexe. Ce niveau d’abstraction supplémentaire rend possibles la gestion et l’orchestration de processus de traitement par lots à une échelle beaucoup plus large, tirant parti de l’élasticité...