14

proxmox: mise en place d’un cluster entre deux serveurs

Posted on by fred

Un petit mémo sur comment mettre en place un cluster entre deux serveurs Proxmox.

Cet article fait suite aux deux précédents articles: [Virtualisation]Promox 3 et Création d’une machine virtuelle avec Proxmox 3.

Pour la mise en place du cluster, il faut utiliser la commande: pvecm

Situation de départ

  • Serveur 1:

    • nom: server1
    adresse IP: 192.168.0.10

  • Serveur 2:

    • nom: server2
    adresse IP: 192.168.0.11

  • Nom Cluster: Kluster

Mise en place du cluster

  • Intervention sur server1

    • Création du cluster:

    pvecm create kluster

    Restarting pve cluster filesystem: pve-cluster[dcdb] notice: wrote new cluster config '/etc/cluster/cluster.conf'

Starting cluster: 
   Checking if cluster has been disabled at boot... [  OK  ]
   Checking Network Manager... [  OK  ]
   Global setup... [  OK  ]
   Loading kernel modules... [  OK  ]
   Mounting configfs... [  OK  ]
   Starting cman... [  OK  ]
   Waiting for quorum... [  OK  ]
   Starting fenced... [  OK  ]
   Starting dlm_controld... [  OK  ]
   Tuning DLM kernel config... [  OK  ]
   Unfencing self... [  OK  ]

    Vérification du statut:

    pvecm status

    Version: 6.2.0
Config Version: 1
Cluster Name: kluster
Cluster Id: 13876
Cluster Member: Yes
Cluster Generation: 4
Membership state: Cluster-Member
Nodes: 1
Expected votes: 1
Total votes: 1
Node votes: 1
Quorum: 1  
Active subsystems: 5
Flags: 
Ports Bound: 0  
Node name: proxmox
Node ID: 1
Multicast addresses: 239.192.54.106 
Node addresses: 192.160.0.10
  • Intervention sur server2

    • Joindre server2 sur server1:

    pvecm add 192.160.0.10

    server2 va se connecter sur server1

    The authenticity of host '192.160.0.10 (192.160.0.10)' can't be established.
ECDSA key fingerprint is 39:62:26:8e:0f:3b:69:f7:3a:d5:85:2f:c0:d1:92:c2.
Are you sure you want to continue connecting (yes/no)? yes
root@192.160.0.10's password:
copy corosync auth key
stopping pve-cluster service
Stopping pve cluster filesystem: pve-cluster.
backup old database
Starting pve cluster filesystem : pve-clustercan't create shared ssh key database '/etc/pve/priv/authorized_keys'
Starting cluster: 
   Checking if cluster has been disabled at boot... [  OK  ]
   Checking Network Manager... [  OK  ]
   Global setup... [  OK  ]
   Loading kernel modules... [  OK  ]
   Mounting configfs... [  OK  ]
   Starting cman... [  OK  ]
   Waiting for quorum... [  OK  ]
   Starting fenced... [  OK  ]
   Starting dlm_controld... [  OK  ]
   Tuning DLM kernel config... [  OK  ]
   Unfencing self... [  OK  ]
generating node certificates
merge known_hosts file
restart services
Restarting PVE Daemon: pvedaemon.
Restarting PVE API Proxy Server: pveproxy.
successfully added node 'server2' to cluster.

Vérification de la mise en place du cluster

Sur le serveur1:

pvecm nodes
Node  Sts   Inc   Joined               Name
   1   M      4   2013-07-10 15:15:36  server1
   2   M      8   2013-07-10 15:17:22  server2

Partager l'article :





fred

"Dire que l'on s'en fiche du droit à la vie privée sous prétexte qu'on a rien à cacher, c'est comme déclarer que l'on se fiche du droit à la liberté d'expression sous prétexte qu'on a rien à dire." Edward Snowden

14 commentaires

  1. Bonjour,
    J’ai suivi votre série de tuto, très clairs, sur 2 machines chez OVH et proxmox 3.
    Le problème, c’est qu’au moment de joindre le 1er proxmox :
    pvecm add xxx.xxx.xxx.xxx
    La machine se bloque à la ligne « Waiting for quorum… « , puis me donne un « Waiting for quorum… [ FAILED ] ».
    J’ai lu et essayé diverses choses à ce sujet (de type installer une troisième machine pour obtenir le quorum » mais rien qui ne m’aide.
    Il y a t-il une astuce que vous n’auriez écrite dans le tuto ?
    Merci d’avance,
    Sam

  2. Salut Sam,
    sans être devant la machine, c’est un peu dur de résoudre les problèmes… mais on va essayé :-)

    Dans mon cas les deux noeuds sont sur le même réseau.
    Si je comprends bien ta situation, tu as deux machines distinctes chez OVH avec deux adresses IP public?

  3. Re bonjour,
    Merci de vous intéresser à mon cas !
    Oui, deux machines (gamme host 2014) commandées en même temps la semaine dernière, par hasard dans la même baie :-)
    1 adresse IP publique chacun.
    J’ai installé Promox 3.1 (distribution OVH) sur les deux.
    Je commence donc le tuto avec une installation propre.
    Voici la liste de mes essais pour m’en sortir :
    – Dans un autre tuto j’ai trouvé une manip préalable qui consiste à ajouter les 2 machines respectivement dans le fichier /etc/hosts, => ras
    – J’ai essayé de forcer le quorum (pvecm e 1), sans succès.
    – J’ai essayé dans l’autre sens au cas où (cluster sur machine 2) => ras
    – J’ai essayé de passer en unicast )> ras
    A la fin de la manip, la machine 1 voit bien le noeud de la machine 2, mais avec un icone rouge, comme si par un jeu de quorum la machine 2 refuse de partir tant que la machine 1 fonctionne…
    Ce sont mes premiers essais de virtualisation, je rate peut être une marche. Je ne veux pas de HA mais juste pouvoir migrer facilement un conteneur d’une machine à une autre.
    Sam

  4. et que donne: [code lang= »shell »]pvecm status[/code] et [code lang= »shell »]pvecm add XX.XX.XX.XX –force[/code] ?

  5. Sur le serveur 1 nickel, pvecm status donne la même chose que dans le tuto pour le status. Un pvecm nodes montre les 2 noeuds, avec le noeud du serveur 2 en status « x ».
    Sur le serveur 2, il indique ce problème de quorum :
    Quorum: 2 Activity blocked
    Je débloque avec un « pvecm e 1 », mais :
    – Je ne peux plus accéder à l’interface web du serveur 2 (mais c’est peut être normal une fois l’ajout du nœud fait)
    – Le serveur 2 indique un statut « X » du noeud du serveur 1
    – Si je clique depuis l’interface du serveur 1 sur le « local » du serveur 2, j’ai « broken pipe » à l’écran.
    Y-aurait il un simple problème de communication entre les serveurs nécessitant openvpn entre les deux par exemple ? Ca serait lourd, mais si cela peut provenir de là…
    Sam

  7. Effectivement j’avais vu ces 2 articles, mais je partais du principe qu’il n’y avait pas de problème de multicast.
    Je vais donc essayer ça dans les prochains jours. Je vous tiens au courant.
    Merci en tout cas,
    Sam

  8. Comme promis je reviens après tests. C’est bien chez OVH que les manipulations sont bloquées, dans la nouvelle gamme « hosting ». Dans cette gamme Il n’est pas possible (sauf à ajouter un open vpn, mais non recommandé par le support) de faire du cluster entre 2 serveurs.
    Bonne fêtes,
    Sam

  10. Salut Sam,
    c’est bien ce qu’on pensait, ce n’est pas possible de faire du cluster chez OVH… dommage.

    Bonnes fêtes également! :-)

  11. Impossible dans la gamme hosting, mais (a priori !) la gamme infrastructure le permet…mais je n’ai pas poursuivi les investigations.
    Sam

  12. Il faut le vrack (c’est pourquoi ovh à parlé de la gamme infra qui l’a), qui lui autorise le multicast.

    Sinon c’est openvpn (casse gueule moche et peu performant..)

  13. Je trouve que OVH pousse à la consommation avec leurs restrictions réseaux.
    Tu paye un serveur et tu te retrouve avec un vice cacher c’est moche.

    A par openvpn il y a aussi GRE et les autres mais bon faut les perf qui suivent

  14. j’ai 3 serveurs qui me fait au total 96 cores, 256 RAM relier sous le proxmox.
    Les machines sont stocker ya un SAN 10gb/s en ISCSI pour KVM et NFS pour OpenVZ et sa rox comme l’eclaire :D

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.