Gérer des fichiers binaires avec GridFS

Principe de fonctionnement

Le mode opératoire de GridFS consiste à éclater un fichier de très grande taille en plusieurs morceaux (chunks en anglais) qui sont en fait des documents dont la taille par défaut est fixée à 255 kilooctets. GridFS est en quelque sorte une couche de gestion de fichiers qui vient se superposer à MongoDB, qui lui ne fonctionne qu’avec des documents.

Si GridFS a pour raison d’être d’aider à stocker des fichiers volumineux comme des fichiers audio ou vidéo, rien ne vous empêche cependant de l’utiliser avec des fichiers de toute taille ou nature (texte pur par exemple), y compris inférieure aux 255 kilo-octets qui constituent la taille par défaut d’un chunk. Évidemment, cette utilisation ne présente pour ainsi dire aucun intérêt, car GridFS reste dimensionné pour les fichiers dont le poids est supérieur à 16 mégaoctets, mais elle peut être envisagée et nous le verrons dans l’exemple d’utilisation qui suit, pour des raisons de pratiques. Si le fichier que vous souhaitez stocker a un poids inférieur à 16 mégaoctets, tournez-vous plutôt vers le type BinData qui stocke l’information sous forme des chaînes de caractères binaires codées en base64.

GridFS peut avoir des avantages si on le compare à...

Les collections chunks et files

GridFS s’appuie sur deux collections pour gérer ces gros fichiers : la première, nommée chunks, héberge les documents qui constituent le fichier tandis que la seconde, nommée files, contient les métadonnées associées au fichier. Dans chunks, nous trouverons notamment le numéro de séquence du morceau de fichier et son contenu sous forme binaire (BSON, qui d’autre ?) et dans files, des informations telles que la date de téléchargement, la taille de chaque morceau de fichier ou le nom du fichier éclaté en plusieurs chunks.

Ces collections doivent être indexées et ces index sont créés automatiquement par les pilotes si vous utilisez MongoDB depuis votre langage de développement favori. Toutefois, si vous opérez comme nous le faisons à partir du shell, il se peut que vous ayez à les créer vous-mêmes à l’aide des commandes suivantes :

db.fs.chunks.createIndex( { files_id: 1, n: 1 }, { unique: true } ) 
db.fs.files.createIndex( { filename: 1, uploadDate: 1 } ) 

Ces deux collections peuvent être shardées si vous le souhaitez : pour chunks la clé de sharding pourra être constituée du champ files_id éventuellement couplé à un autre tandis que pour files la clé...

Utiliser mongofiles

Le programme mongofiles, fourni d’office avec toute distribution de MongoDB, et autonome car ne s’utilisant pas depuis le shell, vous permet d’interagir en toute simplicité avec la base de données. Vous trouverez cet exécutable dans le répertoire de votre installation.

mongofiles put < chemin vers le fichier > 

echo "Test Mongofiles" > /tmp/petitfichier.txt 
mongofiles put /tmp/petitfichier.txt 
connected to: mongodb://localhost/ 
adding gridFile: /tmp/petitfichier.txt 
added gridFile: /tmp/petitfichier.txt 

db.fs.chunks.find() 
[ 
  { 
    _id: ObjectId("65d481d5fed024efe9bf1ba5"), 
    files_id: ObjectId("65d481d5fed024efe9bf1ba4"), 
    n: 0, 
    data: Binary(Buffer.from("54657374204d6f6e676f66696c65730a", 
"hex"), 0) 
  } 
]