Wydajność dysków NVMe PCIe Gen 4.0 na kontrolerze Supermicro AOC-S3816L-L8IR w trybach JBOD, mdadm oraz RAID 10

| Testy
Facebook Twitter Schowek

Wydajność dysków NVMe PCIe Gen 4.0 na kontrolerze Supermicro AOC-S3816L-L8IR w trybach JBOD, mdadm oraz RAID 10

W niniejszym artykule przeprowadzono porównanie wydajności dysków NVMe PCIe Gen 4.0 podłączonych do kontrolera RAID AOC-S3816L-L8IR w trzech różnych konfiguracjach:

  1. trybie JBOD,
  2. RAID 10 zarządzanym przez mdadm
  3. oraz RAID 10 realizowanym za pomocą kontrolera sprzętowego.

W trybie JBOD porównano wydajność dwóch dysków: Intel HDS-IUN0-SSDPF2KE016T1 oraz Kioxia HDS-TUN0-KCD6XLUL7T68.

Testy zostały przeprowadzone na serwerze testowym ITC R4R, wyposażonym w procesor AMD Raphael 16C/32T, taktowany zegarem 4,5 GHz, z 64 MB pamięci cache oraz 192 GB pamięci RAM.

Testy wydajności zostały przeprowadzone za pomocą narzędzia fio, które jest jednym z najpopularniejszych programów do testowania dysków i systemów pamięci masowej. Dzięki swojej wszechstronności i precyzyjności, fio umożliwia symulację różnych scenariuszy obciążeniowych, zarówno w zakresie operacji losowych, jak i sekwencyjnych, co pozwala na dokładne zrozumienie wydajności dysków w różnych konfiguracjach RAID. Narzędzie to generuje szczegółowe raporty obejmujące takie parametry, jak przepustowość, liczba operacji I/O oraz latencja, co pozwala na kompleksową analizę wyników w kontekście różnych trybów RAID oraz konfiguracji dysków.

Wnioski dla testów dysków Intel /dev/sda i Kioxia /dev/sdd w trybie JBOD:

1. Random Write IOPS (4 KB dla pojedynczego I/O):

  • Intel /dev/sda: 1698 MB/s (99.5 GB/s)
  • Kioxia /dev/sdd: 1874 MB/s (110 GB/s)
  • Wniosek: Kioxia osiąga lepsze wyniki przy losowym zapisie, zarówno w przepustowości, jak i liczbie operacji I/O.

2. Random Read IOPS (4 KB dla pojedynczego I/O):

  • Intel /dev/sda: 1199 MB/s (70.3 GB/s)
  • Kioxia /dev/sdd: 1947 MB/s (114 GB/s)
  • Wniosek: Kioxia oferuje lepszą wydajność przy losowym odczycie.

3. Sequential Write Throughput (128 KB dla pojedynczego I/O):

  • Intel /dev/sda: 1190 MB/s (69.7 GB/s)
  • Kioxia /dev/sdd: 1204 MB/s (70.5 GB/s)
  • Wniosek: Kioxia ma lepszą wydajność w sekwencyjnym zapisie, ale różnica jest minimalna.

4. Sequential Read Throughput (128 KB dla pojedynczego I/O):

  • Intel /dev/sda: 629 MB/s (36.8 GB/s)
  • Kioxia /dev/sdd: 892 MB/s (52.3 GB/s)
  • Wniosek: Kioxia osiąga lepszą wydajność przy sekwencyjnym odczycie.

5. Random Write Latency (4 KB dla pojedynczego I/O):

  • Intel /dev/sda: 160 MB/s (9.61 GB/s)
  • Kioxia /dev/sdd: 56.5 MB/s (3.39 GB/s)
  • Wniosek: Intel ma wyższą przepustowość, co oznacza, że jest szybszy w operacjach losowego zapisu

6. Random Read Latency (4 KB dla pojedynczego I/O):

  • Intel /dev/sda: 10.9 MB/s (0.65 GB/s)
  • Kioxia /dev/sdd: 10.8 MB/s (0.64 GB/s)
  • Wniosek: Intel ma minimalnie wyższą przepustowość, co oznacza lepszą wydajność w operacjach losowego odczytu.

7. Sequential Write Latency (4 KB dla pojedynczego I/O):

  • Intel /dev/sda: 145 MB/s (8.73 GB/s)
  • Kioxia /dev/sdd: 57.3 MB/s (3.43 GB/s)
  • Wniosek: Intel ma wyższą przepustowość, co oznacza lepszą wydajność w operacjach zapisu sekwencyjnego.

8. Sequential Read Latency (4 KB dla pojedynczego I/O):

  • Intel /dev/sda: 105 MB/s (6.3 GB/s)
  • Kioxia /dev/sdd: 10.8 MB/s (0.64 GB/s)
  • Wniosek: Intel ma lepszą przepustowość przy sekwencyjnym odczycie, co oznacza lepszą wydajność.

Wnioski dla porównania RAID 10 via mdadm i RAID 10 via kontroler RAID:

1. Random Write IOPS (4 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 636 MB/s (37.7 GB/s)
  • RAID 10 via kontroler RAID: 1736 MB/s (102 GB/s)
  • Wniosek: RAID 10 via kontroler RAID jest znacznie szybszy w operacjach losowego zapisu, osiągając lepsze wyniki.

2. Random Read IOPS (4 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 1770 MB/s (104 GB/s)
  • RAID 10 via kontroler RAID: 2124 MB/s (124 GB/s)
  • Wniosek: RAID 10 via kontroler RAID również wypada lepiej w losowym odczycie.

3. Sequential Write Throughput (128 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 957 MB/s (56.1 GB/s)
  • RAID 10 via kontroler RAID: 3718 MB/s (218 GB/s)
  • Wniosek: RAID 10 via kontroler RAID ma znacznie wyższą przepustowość przy zapisie sekwencyjnym.

4. Sequential Read Throughput (128 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 1200 MB/s (70.3 GB/s)
  • RAID 10 via kontroler RAID: 12390.4 MB/s (725 GB/s)
  • Wniosek: RAID 10 via kontroler RAID ma oszałamiająco wyższą przepustowość przy odczycie sekwencyjnym.

5. Random Write Latency (4 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 12.5 MB/s (0.74 GB/s)
  • RAID 10 via kontroler RAID: 190 MB/s (11.1 GB/s)
  • Wniosek: RAID 10 via Kontroler RAID ma znacznie większą przepustowość.

6. Random Read Latency (4 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 9.13 MB/s (0.53 GB/s)
  • RAID 10 via kontroler RAID: 10.6 MB/s (0.63 GB/s)
  • Wniosek: RAID 10 via kontroler RAID ma minimalnie wyższą przepustowość

7. Sequential Write Latency (4 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 13.6 MB/s (0.81 GB/s)
  • RAID 10 via kontroler RAID: 166 MB/s (0.99 GB/s)
  • Wniosek: RAID 10 via kontroler RAID ma znacznie lepszą przepustowość w przypadku zapisu sekwencyjnego.

8. Sequential Read Latency (4 KB dla pojedynczego I/O):

  • RAID 10 via mdadm: 9.88 MB/s (0.59 GB/s)
  • RAID 10 via kontroler RAID: 90.2 MB/s (0.54 GB/s)
  • Wniosek: RAID 10 via kontroler RAID ma lepszą przepustowość przy odczycie sekwencyjnym.

Podsumowanie:

Wybór między JBOD, mdadm a kontrolerem RAID 10:

  • JBOD (Intel i Kioxia):

    • Zalety: Dyski w trybie JBOD oferują różne zalety w zależności od rodzaju operacji. Kioxia jest lepsza w operacjach losowych (zarówno zapis, jak i odczyt) oraz sekwencyjnych (zapis i odczyt), podczas gdy Intel oferuje lepszą latencję, co może być korzystne w scenariuszach, gdzie czas odpowiedzi jest krytyczny.
    • Wady: Brak redundancji, co może prowadzić do utraty danych w przypadku awarii dysku.

  • RAID 10 via mdadm:

    • Zalety: Oferuje lepszą latencję w operacjach losowych oraz sekwencyjnych, zwłaszcza przy zapisie. Może być lepszym wyborem, jeśli zależy nam na wydajności przy niższej latencji.
    • Wady: Mniejsza przepustowość w porównaniu do sprzętowego RAID 10.

  • RAID 10 via kontroler RAID:

    • Zalety: Najwyższa wydajność, zarówno w przepustowości, jak i liczbie operacji I/O. Idealny do środowisk wymagających dużych prędkości transferu danych, takich jak serwery baz danych czy środowiska wirtualne.
    • Wady: Wyższy koszt rozwiązania sprzętowego, który może nie być konieczny w mniej wymagających środowiskach.

Rekomendacja dla Klienta:

  • Jeśli kluczowa jest maksymalna wydajność w przepustowości i operacjach I/O (szczególnie w odczycie i zapisie sekwencyjnym), to RAID 10 via kontroler RAID jest najlepszym rozwiązaniem.
  • JBOD może być opcją, jeśli zależy nam na minimalnym koszcie, ale należy pamiętać, że nie oferuje on redundancji i może stanowić ryzyko w przypadku awarii jednego z dysków.

Powiązane strony:

  1. Intel Virtual RAID on CPU (Klucz VROC) - AOC-VROCINTMOD & AOC-VROCSTNMOD & AOC-VROCPREMOD
  2. Supermicro SSG-110P-NTR10: Zaawansowane rozwiązanie serwerowe dla Twojej firmy (Unboxing)
  3. Rodzaje RAID 0, 1, 5, 6, 10, 50, 60 & Kalkulator RAID (Jaki poziom RAID wybrać dla serwera?)
  4. Rozwiązanie RAID z akceleracją GPU - GRAID SupremeRAID™ (RAID 0/1/10/5/6 na dyskach NVMe)
  5. Phoronix Test Suite - platforma do testów porównawczych
  6. Obudowy Supermicro obsługujące dyski NVMe (native NVMe)
  7. Testy budżetowego serwera 1U AMD Epyc dla 4 dysków NVMe gen 4.0 (Czy BPN-SAS3-815TQ-N4 obsłuży dyski NVMe gen 4.0?)
  8. Oszczędności wynikające ze stosowania nowych CPU w instalacjach hybrydowych wykorzystujących odnawialne źródła energii (OZE)