Thèse Année : 2024

Distributed Multi-Consensus : aggregation and revocability

Multi-Consensus distribué : agrégation et révocabilité

Célia Mahamdi

Résumé

This thesis presents two contributions to the field of distributed systems: OMAHA and the f-Revoke Consensus.OMAHA (Opportunistic Message Aggregation for pHase-based Algorithms) is a message aggregation mechanism designed for phase-based algorithms. In cloud environments, multiple applications share the same infrastructure, making bandwidth a critical resource. A significant portion of traffic in data centers consists of small messages. Each message includes a header, leading to substantial bandwidth consumption. Several mechanisms have been proposed to address this issue, but few consider application-specific characteristics. Most rely on aggregation at the network layer. OMAHA leverages the features of phase-based algorithms to intelligently and opportunistically aggregate messages. Many applications, such as Google Spanner and Zookeeper, depend on phase-based algorithms. They are often message-intensive but offer a key advantage: predictable communications. By anticipating future communications, OMAHA delays messages and groups them with others intended for the same process. This approach reduces the number of messages sent over the network, resulting in bandwidth savings. Our experiments show bandwidth saving of up to 30%, while limiting latency degradation to 5% for the well-known Paxos algorithm. In distributed systems, achieving consensus on an action or value is complex, especially when processes face constraints. Many systems, including multi-agent systems (like autonomous vehicles and robotics) and resource allocation systems, need to respect these constraints while working towards a common goal. Unfortunately, traditional consensus algorithms often overlook these constraints, focusing only on the values proposed by the processes. A straightforward solution would be to gather all constraints, but due to asynchrony and potential failures, this is impossible. To handle failures, some algorithms set a limit on the number of faults they can tolerate. This allows them to move forward without waiting for responses from every process. As a result, the final decision is made by a subset of processes known as the majority. This leads to the exclusion of constraints from the minority. To tackle this problem, we introduced the f-Revoke Consensus. This new approach enables the selection of a value that considers processes' constraints. It also allows for the revocation of a majority decision if it violates the constraints of a minority process. Importantly, convergence is ensured because the number of revocations is limited by the size of the minority. We developed two adaptations of the Paxos algorithm to implement this new consensus.
Cette thèse présente deux contributions dans le domaine des systèmes distribués : OMAHA et le Consensus f-Révocable. OMAHA (Opportunistic Message Aggregation for pHase-based Algorithms) est un mécanisme d'agrégation de messages conçu pour les algorithmes à phases. Dans les environnements Cloud, où plusieurs applications partagent la même infrastructure, la bande passante est une ressource critique. Dans les datacenters, une partie importante du trafic est consacrée aux petits messages. Chaque message possède un en-tête, ainsi, l'accumulation de ces petits messages pose un véritable problème et entraîne une consommation non négligeable de bande passante. Plusieurs mécanismes ont été proposés pour adresser ce défi, mais peu d'entre eux prennent en compte les caractéristiques applicatives. Ils reposent principalement sur une agrégation des messages au niveau de la couche réseau. OMAHA exploite les spécificités des algorithmes à phases pour agréger intelligemment et de manière opportuniste les messages. Bien que gourmands en messages, de très nombreuses applications reposent sur des algorithmes à phases (Google Spanner, Zookeeper, etc.). Cependant, ils possèdent un avantage majeur : des communications prévisibles. En anticipant les futures communications, OMAHA retarde les messages en les regroupant avec d'autres destinés au même processus. Cela permet de réduire le nombre de messages envoyés sur le réseau et donc une économie de bande passante. Nos expériences montrent des économies de bande passante allant jusqu'à 30%, tout en limitant la dégradation de la latence à 5% pour le célèbre algorithme de Paxos. Dans les systèmes distribués, atteindre un consensus sur une action ou une valeur est un défi complexe, surtout lorsque les processus sont soumis à des contraintes. De nombreux systèmes, tels que les systèmes multi-agents (véhicules autonomes, gestion d'agenda, robotique, etc.) ou encore les systèmes d'allocation de ressources, doivent respecter des contraintes tout en atteignant un objectif global commun. Cependant, les algorithmes de consensus traditionnels ne prennent pas en compte ces contraintes, la décision se basant uniquement sur les valeurs proposées par les processus. Une solution triviale consisterait à recueillir toutes les contraintes, mais en raison de l'asynchronisme et des pannes, cela est impossible. Pour tolérer les pannes, certains algorithmes définissent un nombre maximal de fautes qu'ils peuvent supporter. Cela permet à l'algorithme de progresser sans attendre la réponse de tous les processus. En conséquence, la valeur décidée est souvent imposée par un sous-ensemble de processus, la majorité. Les contraintes de la minorité sont ainsi ignorées. Pour répondre à ce problème, nous avons introduit le Consensus f-Révocable. Ce consensus revisité permet de choisir une valeur qui respecte les contraintes des processus tout en offrant la possibilité de révoquer une décision prise par la majorité si celle-ci viole les contraintes d'un processus de la minorité. La convergence est assurée car le nombre de révocations est borné par le nombre de processus appartenant à la minorité. Nous avons développé deux adaptations de l'algorithme Paxos pour mettre en pratique ce nouveau consensus.
Fichier principal
Vignette du fichier
141463_MAHAMDI_2024_archivage.pdf (5.25 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04919363 , version 1 (29-01-2025)

Identifiants

  • HAL Id : tel-04919363 , version 1

Citer

Célia Mahamdi. Multi-Consensus distribué : agrégation et révocabilité. Réseaux et télécommunications [cs.NI]. Sorbonne Université, 2024. Français. ⟨NNT : 2024SORUS426⟩. ⟨tel-04919363⟩
0 Consultations
0 Téléchargements

Partager

More