Proxmox cluster HA avec une baie de disque ISCSI

Un petit mémo sur la présentation d’une maquette d’un cluster de 3 noeuds Proxmox configuré en haute disponibilté et rattaché à une baie de disques via le protocole réseau iSCI.

Dans cet article, seule la partie ajout du stockage iSCSi dans Proxmox sera vue. La partie redondance des éléments actifs du réseau ne sera pas traitée ainsi que la baie. En production, faudra configurer et brancher au minimum 2 ports réseaux de la baie (une par module) sur la pile de switchs.

Proxmox : présentation du cluster HA avec une baie ISCSI

• Schéma de principe du cluster Proxmox HA avec une baie de disque iSCSI :



• Partie réseau :
  • PVE01 :
    • Réseau admin vmbr0 : 10.x.x.10/24
    • Réseau VM/LXC vmbr1 : 10.x.y.100/22
    • Réseau privé corosync : 192.168.1.1/24
    • Réseau privé stockage : 192.168.3.1/24
  • PVE02 stockage : 192.168.3.2/24
  • PVE03 stockage : 192.168.3.3/24
  • Baie ISCSI : 192.168.3.4/24

Proxmox : Installation et configuration de l’initiateur ISCSI

• Installation des paquets open-iscsi et multipath-tools :

apt update && apt install open-iscsi multipath-tools -y

• Modification du fichier de configuration du service open-iscsi :

  nano /etc/iscsi/iscsid.conf

  • Démarrage automatique des connexion iSCSI :

  node.startup = automatic

  • Passer le Time out de 120 secondes à 15 secondes :

  node.session.timeo.replacement_timeout = 15

• Redémarrer le service open-iscsi :

systemctl restart open-iscsi

• Faire une découverte réseau de la baie iSCSI :

iscsiadm -m discovery -t st -p 192.168.3.4

iscsiadm -m node --login

iscsiadm -m node

• Lister les périférique iSCSi du système :

  lsscsi

  • exemple :

  [15:0:0:0]   disk    DellEMC  ME4              G280  /dev/sdp

• Identifier le wwid :

  /lib/udev/scsi_id -g -d /dev/sdp

  • exemple :

  3600c0ff00065356e1c2a9e6101000000

• Configuration du multipath :

nano /etc/multipath.conf

defaults {
        polling_interval        2
        path_selector           "round-robin 0"
        path_grouping_policy    multibus
        uid_attribute           ID_SERIAL
        rr_min_io               100
        failback                immediate
        no_path_retry           queue
        user_friendly_names     yes
}

blacklist {
        wwid .*
}

blacklist_exceptions {
        wwid "3600c0ff00065356e1c2a9e6101000000"
        }
multipaths {
  multipath {
        wwid "3600c0ff00065356e1c2a9e6101000000"
        alias data-iscsi
  }
}

• Le wwid doit être également ajouté dans /etc/multipath/wwids :

multipath -a 3600c0ff00065356e1c2a9e6101000000

• Redémarrer le service multipath-tools :

systemctl restart multipath-tools

• Vérifier la prise en compte de la cible iSCSI :

  multipath -ll

  • exemple :

  data-iscsi (3600c0ff00065356e1c2a9e6101000000) dm-35 DellEMC,ME4
  size=11T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
  `-+- policy='round-robin 0' prio=50 status=active
    `- 15:0:0:1 sdq 65:0  active ready running
  

Proxmox : création du volume LVM

• Création du stockage LVM :

pvcreate /dev/mapper/data-iscsi

vgcreate vg_iscsi /dev/mapper/data-iscsi

vgs

Proxmox : Ajout du volume LVM dans le stockage

• Une fois connecté à l’interface web de Proxmox, cliquer sur Datacenter puis Stockage et enfin sur Ajouter :/



• Choisir le stockage LVM :



• Renseigner les champs :
  • ID : nom du stockage
  • Volume group : vg_scsi (groupe créé précédemement)
  • Content : VM et/ou LXC (pas de sauvegarde car stockage mode block)
  • Nodes : ALL (pour que le stockage soit accéssible à tous les noeuds)
  • Enable : actif
  • Shared : partagé à l’ensemble des noeuds du cluster



• Le nouveau stockage LVM est bien ajouté et partagé aux trois noeuds membres du cluster Proxmox :

Ressource

• Wiki de Proxmox : https://pve.proxmox.com/wiki/ISCSI_Multipath