10 GbE – Archi 2020

10 GbE – Archi 2020

Print Friendly, PDF & Email

Après vous avoir présenté l’infrastructure de la Maison Bleue en 2018 avec la fibre Orange, voici l’architecture 2020… entièrement 10 Gigabit Ethernet (GbE) avec la fibre Free !

Plusieurs points m’ont poussé à changer mon infrastructure en 2019 :

  • Pour rappel, j’utilisais la fibre Orange avec le WAN en DHCP et plusieurs VLAN (pas de mode bridge chez Orange) pour récupérer les différents flux (Internet, TV, téléphone) sur un routeur pfSense. Mais j’ai fini par rencontrer des dysfonctionnements en perdant alternativement un service, soit la TV, soit le téléphone, certainement en raison de modifications techniques de la part d’Orange. Un passage sur OPNsense, pourtant plus optimisé que pfSense concernant l’intégration de la fibre Orange, ne changea rien à mes difficultés,
  • Par ailleurs, mes 2 baies 10″ avaient atteint leurs limites : peu d’espace pour intervenir sur le matériel en cas de panne et trop peu de dissipation de chaleur en été, provoquant en 2019 des surchauffes et des pannes,
  • Et pour finir, l’envie de passer à des vitesses rêvées mais inaccessibles pour les particuliers jusqu’à présent. La lecture de ce topic sur le forum lafibre.info m’a beaucoup inspiré…

Ayant libéré de la place dans ma cave, j’ai décidé de passer à une baie 19″ pour avoir plus d’espace lors des interventions physiques et une meilleure aération, mais aussi de changer d’opérateur et passer chez Free avec la Freebox Delta S. Elle offre un débit de 10 Gb/s en download sur le WAN (8 Gb/s dans la pratique). Une interface SFP+ pour le LAN permet d’atteindre le 10 Gigabit Ethernet et le mode bridge facilite la mise en œuvre d’un routeur privé.

Après une phase de réflexion sur « papier blanc », j’ai déterminé les équipements dont j’avais besoin ainsi que la hauteur utile de la baie 19″ et rédigé un tableau Excel en plaçant tous les éléments nécessaires à mon projet :

Câblage

En 2012, j’avais installé un câblage Cat 6 dans la maison. Pour du 10 GbE, il est préconisé d’utiliser la Cat 6a ou Cat 7 mais la Cat 6 accepte le 10 GbE sur une distance max de 50 mètres. Sur ce point, je fus fixé lors des tests effectués sur le PC le plus éloigné du répartiteur (voir en fin d’article).

J’ai par contre remplacé tous les câbles RJ45 dans les étages par des câbles blindés SFTP Cat 7 achetés chez FS.com. C’est également sur ce site que j’ai acheté les câbles DAC nécessaires pour interconnecter les switches entre eux et les serveurs aux switches.

C’est aussi chez FS.com que j’ai acquis 2 trunks de 6 câbles Cat 6a de 7 mètres de long pour connecter, sur le premier trunk, les 6 prises RJ45 du répartiteur aux différents switches situés dans la baie 19″.

Et, pour le second trunk, connecter aux switches les équipements présents autour de la baie, les caméras IP, la base DECT et le routeur 4G :

J’ai également utilisé une gaine électrique pour connecter en toute sécurité la fibre optique du PTO situé près du répartiteur et le câble téléphonique RJ11 à la Freebox Delta S située dans la baie 19″.

Les 2 trunks et la gaine voyagent eux-mêmes dans plusieurs tubes type tube d’évacuation de 60 mm de diamètre du répartiteur en direction de la baie 19″ :

J’ai également fait installer par un professionnel deux prises électriques à proximité de la baie 19″ jusqu’au tableau électrique général sur deux disjoncteurs dédiés. J’ai veillé à bien différencier le chemin du courant fort (électrique) du chemin du courant faible (réseau).

Réseau

Concernant les switches, après avoir utilisé un switch MikroTik RB260GS dans ma précédente infra et apprécié la facilité de paramétrage, mon choix s’est donc porté sur la gamme MikroTik, notamment pour les switches SFP+ supportant le 10 GbE :

Dans les autres pièces où j’ai besoin du PoE pour les caméras IP et les points d’accès Wifi, je n’ai pas trouvé de petit switch dans la gamme MikroTik supportant la norme 802.3af. J’ai décidé alors d’utiliser les switches de la gamme Netgear, le GS105PE et le GS108PE.

J’en ai profité pour changer les points d’accès Wifi Cisco WAP371 par des UniFi UAP FlexHD d’Ubiquiti de bien meilleure qualité à l’usage.

Stockage

J’ai aussi réfléchi au stockage car il reste un goulot d’étranglement important pour un réseau 10 Gb/s. Pour mémoire, les débits moyens en lecture sont les suivants sur les 3 technos majeures :

  • HDD SATA 2.5″ ou 3.5″ : 120 Mo/s soit environ 1 Gb/s
  • SSD SATA 2.5″ : 500 Mo/s soit 4 Gb/s
  • SSD NVMe M.2 : 3000 Mo/s soit 24 Gb/s

La solution idéale aurait été d’équiper toutes les machines uniquement en SSD NVMe M.2, mais n’existant pas ou alors coûtant un bras pour les très grandes capacités, j’ai donc choisi les disques suivants en fonction du type de machine :

  • Les 3 PC fixes : 1 SSD NVMe M.2 pour le système Windows 10 et 1 SSD SATA pour les données
  • Le serveur WMware : 1 SSD NVMe M.2 pour le système VMware et 4 SSD SATA 2.5″ en RAID 10 pour les données
  • Le serveur de jeux : 1 SSD NVMe M.2 pour le système Linux Debian et 1 SSD SATA 2.5″ pour les données
  • Le NAS : 2 SSD NVMe M.2 pour le cache et 4 HDD SATA 3.5″en RAID 10 pour le système et les données

J’ai dû acquérir une carte RAID Broadcom LSI pour le serveur VMware car malheureusement il ne reconnaissait pas le RAID proposé par la carte-mère Supermicro. J’ai alors hésité entre m’équiper de SSD NVMe M.2 et SSD SATA 2.5″. Mais là aussi VMware ESXi impose ses limites et ne reconnait pas vROC d’Intel pour le moment qui permettrait l’intégration d’un RAID NVMe M.2 à moindre coût. Il fallait s’équiper d’une carte RAID Broadcom LSI 9400-16i et de SSD NVMe U.2 prévus pour équiper les Datacenter… ce qui a fini par me conforter mon choix de rester en SSD SATA 2.5″ pour le moment.

Baie

Restait encore à trouver une baie 19″ et deux serveurs 19″, l’un pour héberger WMware et tous les serveurs virtuels et l’autre pour un serveur de jeux. Mon choix s’est finalement porté sur Cablematic, un fabricant Catalan :

Le dernier serveur qui équipe la baie est un NAS, le Synology RackStation RS1619xs+ qui lui est livré quasiment tout équipé sauf disques, mémoire et carte d’extension.

La baie avec tous les équipements :

Rack 19 pouces
Télécharger

La baie lors du montage, très facile par ailleurs et que j’ai pu effectuer seul sauf pour 2 ou 3 manipulations :

Les parties « réseau » et « serveur » de la baie :

Serveurs

Pour le serveur VMware, je souhaitais un processeur Xeon assez puissant pour installer une dizaine de serveurs virtuels, 4 disques en RAID 10 et 64 Go de mémoire. J’ai donc choisi les composants suivants :

 

Le serveur de jeux est composé entre autre d’une carte-mère, d’un processeur et de la mémoire récupérés sur un PC mis à jour :

 

Le NAS Synology RS1619xs+ a été complété par les éléments suivants :

 

PC

Enfin les PC ont été mis à jour pour supporter le 10 GbE :

 

Archi 2020

Voici un schéma de principe de l’architecture 2020 :
Infra_La_Maison_Bleue_Net_2020_001
Télécharger

Et quelques résultats chiffrés de tests sur le WAN réalisés avec l’app Speedtest sous Windows 10 à différentes heures de la journée, 4h, 8h, 12h, 16h, 20h et minuit :

On constate qu’à 4h du matin, quand peu de gens sont connectés, le résultat n’est pas loin du débit max qu’offre la fibre Free 10G-EPON mutualisée, soit 8 Gb/s. Quant à l’upload, il reste constant à 660 Mb/s quelle que soit l’heure de la journée, très proche du max à 700 Mb/s.

A noter que ces résultats ont été obtenus en utilisant un firewall Untangle, alors qu’avec le firewall pfSense, je ne dépassais pas les 2,4 Gb/s. J’ai changé très récemment de firewall après avoir lu ce topic sur le forum SMPFR.info, cherchant depuis des mois pourquoi je n’atteignais pas des débits supérieurs.

Sur le LAN, une lecture et écriture sur le NAS donnent les mêmes résultats :

Il est possible d’atteindre des pointes à 1,22 Go/s en lecture, c’est-à-dire tout proche du débit max de 10 Gb/s. Ces performances sont possibles grâce au cache du NAS composé de deux SSD NVMe M.2 qui remplissent très bien leur rôle sur un réseau 10 GbE, alors que les disques principaux ne sont que des HDD SATA, et à l’utilisation des Jumbo Frames sur tous les systèmes, VMware, Linux, Windows, serveurs et PC.

Les transferts vers les serveurs virtuels VMware dans le même VLAN ou non (LAN ou DMZ) donnent une vitesse moyenne de 4 Gb/s conforme aux limites des SSD SATA installés sur le serveur VMware.

Laurent Weidmann

Ingénieur SI, je partage dans ce blog ma passion pour l'informatique, en particulier pour les systèmes et réseaux.

Cet article a 4 commentaires

  1. Avatar
    Pierre

    Super article intéressant et bien expliqué !
    Comptez vous installer de la QoS dans votre infra ?

    1. Laurent Weidmann

      Bonjour,
      Disons qu’à 10 GbE, je n’en sens pas le besoin pour le moment 🙂

  2. Avatar
    Tisserand

    Bonjour
    Votre installation est tres aboutie et performante et cela merite mes félicitations..
    Ma maison est en construction et je cable tout mon reseau local en GG45 Nexans 2000Mhz+cable Cat 8.2 2000 MHz qui peut faire passer du 40Gb -Base T maxi .Mon installation aura 24 prises murales toutes reliées a un bandeau de brassage GG45 Nexans place dans une baie de brassage 19″
    je suis a l’ecoute de vos conseils pour organiser la configuration de mon installation qui gerera de la video surveillance dans chaque piece en PoE++ soit 7 camera iP 4 k + 1 ext . + alarme anti intrusion maison réalisée avec un automate Siemens S7-1200 avec du protocole KNX.
    Free est actuellement le seul opérateur a fournir en FTTH du 8 Gb cela reduit forcément le choix des possibilités offertes..
    Actuellement,je dois choisir l’equipement de la baie :
    le switch principai 24 ports 10 GbE et le nas 10 GbE rackable dans la baie info+ périphériques annexes
    Cordialement

    1. Laurent Weidmann
      Laurent Weidmann

      Bonjour,
      Top installation pour votre maison !
      Vous avez bien raison de câbler en Cat 8 car tout évolue tellement vite !
      Je ne connais pas l’automate Siemens mais ça a l’air super.
      De mon côté, j’ai quelques prises domotiques, un thermostat Netatmo et une clim Daikin, le tout en Wifi piloté par Jeedom. Les caméras sont IP PoE connectés à Jeedom mais aussi à Surveillance Station du NAS qui se charge des enregistrements en cas de mouvement. Ma “petite Domotique” fera l’objet d’un article quand je vais décliner les serveurs virtuels installés sur le serveur VMware.
      Pour l’opérateur, difficile en effet de faire mieux que Free aujourd’hui avec le 10 Gb et le mode bridge.
      Concernant les switches, je n’ai pas vu de switch 24 ports SFP+ ou 10 GbE chez MikroTik mais à voir la gamme Ubiquiti ou Netgear.
      Peut-être installer 2 ou 3 MikroTik CRS309 connectés entre eux par 2 ports SFP+ en un trunk LAG pour obtenir un lien de 20 GbE ?

Laisser un commentaire