Systèmes de fichiers distribués du futur – Huawei BLOG

Alors que le big data et l’intelligence artificielle deviennent la norme, les méthodes de stockage dans le centre de données occupent à nouveau le devant de la scène. Dans le domaine du calcul, des architectures multi-nœuds pour les simulations, les analyses et les prévisions se sont établies. Les réseaux informatiques constitués de centaines, voire de milliers de serveurs nécessitent des performances toujours plus élevées dans l’environnement de stockage. En fin de compte, les processeurs veulent être alimentés. Quoi de plus évident que de transférer le scale-out du calcul vers le stockage ?

Cela pose de nouveaux défis pour les systèmes de fichiers distribués.

Deux options

Essentiellement, il existe deux options pour rendre les systèmes informatiques plus puissants. La première consiste à continuer à mettre à niveau le nœud individuel, c’est-à-dire à ajouter ou à remplacer des processeurs, des capacités de stockage et d’E / S – un processus appelé Augmenter. Et la seconde est scale-out. Dans ce cas, plus de nœuds sont ajoutés « simplement ». Pour diverses raisons, notamment le coût, la flexibilité et les capacités techniques, les gens se tournent de plus en plus vers le scale-out aujourd’hui. Du côté logiciel, les interfaces de passage de messages (MPI) sont utilisées pour faire du réseau informatique un système complet. Les systèmes de fichiers distribués en sont responsables dans la zone de stockage. Leur tâche principale est de fournir les performances des nœuds de stockage individuels agrégés aux processus informatiques.

Tout cela semble simple, mais peut s’avérer difficile à mettre en œuvre. Si vous écrivez un fichier volumineux, par exemple, vous pouvez le diviser en blocs individuels et l’envoyer en même temps à plusieurs nœuds de stockage. Mais ce n’est pas la bonne solution si vous avez beaucoup de petits fichiers.

À quoi pourrait ressembler un système de fichiers distribué de manière optimale ?

Comme vous le savez, un système de fichiers est une hiérarchie de dossiers (répertoires) et de fichiers. C’est là que nous avons la première opportunité de répartir les charges de travail. Différents nœuds de stockage sont responsables de différents répertoires/fichiers. Maintenant, vous avez juste besoin de quelqu’un pour en garder une trace, et dans les systèmes de fichiers distribués, cela s’appelle le service de métadonnées (MDS). Entre autres choses, il gère la hiérarchie et sait où sont stockées les données. Les périphériques de stockage (objet) (OSD) sont responsables du stockage des données. Ils sont responsables du stockage des données sur les SSD ou HDD.

Passant au niveau des fichiers, les fichiers volumineux doivent être répartis sur plusieurs systèmes de stockage. Les petits fichiers sont transmis directement aux différents OSD.

Maintenant, nous voyons que le MDS a non seulement beaucoup de travail à faire, mais aussi une grande responsabilité. Sans MDS, on ne sait plus où se trouvent les données archivées et comment elles sont composées. Vous pouvez répondre à ces deux exigences en exécutant un MDS synchronisé sur chaque nœud de stockage. Si un nœud tombe en panne, l’autre peut prendre en charge les tâches. Cela nous donne beaucoup de MDS, mais nous ne savons pas encore à qui les clients doivent s’adresser.

Pour ce faire, nous répartissons les clients via l’équilibrage de charge sur différents nœuds de stockage. Un mécanisme de verrouillage distribué empêche tous les clients de modifier les mêmes données en même temps. Cela garantit la sérialisation des exigences d’écriture.

Et il y a une autre option pour HPC. Un pilote spécifique est capable d’adresser directement les OSD particuliers. Il assume les tâches du MDS directement sur le nœud de calcul et peut donc utiliser les performances de l’ensemble du réseau de stockage.

Nous avons déjà exploré la disponibilité du MDS, mais qu’en est-il de la disponibilité des données ?

Il y a deux options ici. Certains systèmes de fichiers distribués dépendent de la disponibilité du matériel particulier. En d’autres termes, ils utilisent RAID. Des solutions plus modernes utilisent un code d’effacement. Cela fournit non seulement une disponibilité via de nombreux disques, mais également via de nombreux nœuds. Dans un tel système, non seulement des disques durs ou des SDD individuels peuvent tomber en panne, mais également plusieurs systèmes de stockage, et tout cela tout en maintenant une efficacité immanente au code d’effacement.

Si vous regroupez maintenant tout cela dans du matériel de pointe, dans de nombreux protocoles d’accès (NFS, SMB, S3, HDFS et POSIX/MPI-IO) et ajoutez une interface de gestion très simple, vous avez la base pour le Huawei OceanStor Pacifique. De plus, il existe de nombreux autres services, tels que la QoS, les instantanés, la réplication, la gestion des autorisations, etc., chacun valant son propre article.

Enfin, une prévision très personnelle. Si quelqu’un me demandait à quoi ressemblerait le stockage dans le centre de données du futur, il ressemblerait exactement à OceanStor Pacific ! Totalement flexible, capable de gérer n’importe quelle charge de travail, facile à utiliser, sans migration et évolutif jusqu’à la plage d’exaoctets, et, si nécessaire, de nouveau vers le bas.

---

Clause de non-responsabilité : tous les points de vue et/ou opinions exprimés dans cet article par des auteurs ou contributeurs individuels sont leurs points de vue et/ou opinions personnels et ne reflètent pas nécessairement les points de vue et/ou opinions de Huawei Technologies.