Системы хранения данных (СХД),
дисковые массивы,
RAID корпуса и контроллеры

(499) 372-1360      info@storimax.ru
 

Обзоры

08.10.2014

Обзор системы хранения Qsan Q500-P20.

 
На сайте авторитетного итальянского издания Hardware for You появился обзор системы хранения Qsan O500-P20. Сегодня мы с удовольствием представляем обзор этого нового продукта от Qsan, новейшей системы хранения корпоративного класса.


Обзор и комплектация.
Модульность и избыточность.
Внутренние части: CPU и технологии хранения.
Внутренние части: Сеть.
Внутренние части: Блоки питания и охлаждение.
Уровни администрирования.
Модульность и программное обеспечение RAID.
Конфигурация тестов.
Синтетические тесты: RAID 0.
Синтетические тесты: RAID 5.
Синтетические тесты: RAID 10.
Синтетические тесты: RAID 6.
Влияние кэша и опережающего чтения (ReadAhead) на механические жесткие диски.
Влияние кэша и опережающего чтения (ReadAhead) на SSD диски.
Потребление и охлаждение.
Выводы.


    Для нас большая честь представить обзор новейшей профессиональной системы хранения от компании Qsan серии Q500. Как мы видим, система Q500 является SAN устройством и имеет набор соответствующих портов: 4х iSCSI 10GbE и 6х 1Gbps.

intro
  Обзор и комплектация.

    Устройство, которое мы собираемся распаковывать, классифицируется как SAN (Storage Attached Network), и предназначено для средних компаний, которые хотят поддерживать свою аппаратную инфраструктуру для хранения данных.
 
Obzor-1_6.jpg Obzor-2_6.jpg Obzor-3_6.jpg Obzor-4_6.jpg
Obzor-5_6.jpg Obzor-6_6.jpg

    Как мы и ожидали, упаковка устройства практически безупречна: фирма Qsan использовала несколько слоев жесткого полистирола, проложенного между различными компонентами. После того как мы сняли защитную упаковку, мы можем перечислить все содержимое коробки:
- Q500-P20;
- крепежные винты для жестких дисков;
- крепежные винты для монтажа адаптеров MUX;
- кронштейны и винты для монтажа в стойку;
- кабель консоли (RS-232) х2;
- кабель UPS х2;
- кабель питания 220В х2;
- руководство и DVD диск.
    Комплект поставки устройства является исчерпывающим и соответствует ожиданиям любого системного интегратора. В частности, мы находим дополнительные аксессуары: кабели подключения к UPS и к консоли RS-232. Кроме того, интересно отметить, что QSAN включил в комплект поставки также винты, необходимые для установки адаптеров MUX, а также кронштейны для монтажа в стойку.
 
Модульность и избыточность.

    Будучи разработана для специалистов и компаний ИТ-индустрии, система Q500-P20 проста в обслуживании и направлена на минимизацию простоев. По этой причине компания Qsan сделала выбор в пользу модульной структуры, обеспечивая резервирование для любого компонента внутри. Мы предполагаем, что Q500 состоит из избыточных аппаратных элементов, которые могут работать одновременно и/или по отдельности.

Modul-1_7.jpg Modul-2_7.jpg Modul-3_7.jpg Modul-4_7.jpg
Modul-6_7.jpg Modul-7_7.jpg

Как мы и предполагали, устройство состоит из следующих блоков (см. фото выше):
- блок питания х2;
- контроллер х2;
- система охлаждения х2;
- 16 лотков для жестких дисков.
    Нужно учитывать, что система Qsan Q500 прекрасно может работать только с одним элементом из вышеперечисленного списка: один источник питания является достаточным для питания всей машины (система охлаждения, два контроллера и 16-ть жестких дисков), а также один контроллер может управлять всеми 16-ю жесткими дисками и сетевыми интерфейсами. Система охлаждения также являются избыточной: по два вентилятора на слот, при общем количестве 4 шт.
    Нужно учитывать, что избыточность только аппаратных средств бывает не достаточно, чтобы минимизировать время простоя в случае технического обслуживания. На самом деле, если один контроллер выйдет из строя, его не всегда можно заменить "на лету". Иногда инженеры вынуждены полностью отключить машину, прежде чем можете сделать это. Система Qsan Q500, с полностью модульной архитектурой и  технологией Hot-Swap, позволяет производить легкую замену любого из вышеуказанных элементов:  каждый компонент может быть заменен «на горячую» непосредственно во время работы системы. Эта операция проводится без отключения системы. Если диск удаляется из массива Raid, Qsan Q500 будет сигнализировать об аномальной ситуации звуком и визуально (светодиод).
 
Внутренние части: CPU и технологии хранения. 
 
    Два контроллера, которые составляют сердце Q500-P20, управляются процессорами Intel с высоким потенциалом сохранения электроэнергии и скромными характеристиками. Процессор Intel Atom S1289 (2013 года выпуска), предназначен исключительно для использования на корпоративном рынке. Изучая подробно архитектуру этих процессоров, мы находим, что серия Intel S12x9 разработана в соответствии с канонами интегрируемости и энергосбережения. На самом деле, S1289 оснащен двухъядерным процессором SoC (System-on-a-Chip) и Crystal Beach DMA (CBDMA)(организация прямого доступа к памяти и кэшам процессоров для сетевых контроллеров). Технология CBDMA является аппаратным модулем, интегрированным в SoC (System-on-a-Chip), в котором также стоит процессор, способный обрабатывать сложные операции I/O через шину PCI-Express. Использования этого CPU позволяет обеспечить полную поддержку массивов уровня Raid5 и Raid6, благодаря специальной формуле XOR (сложение по модулю 2) для расчета данных четности данных.
 
CPU-Storaging-1_4.jpg CPU-Storaging-2_4.jpg CPU-Storaging-3_4.jpg CPU-Storaging-4_4.jpg

    Каждый контроллер имеет свой процессор. Каждый процессор имеет два физических ядра и поддерживает технологию Hyper Threading. Это означает, что вы можете иметь до 8 потоков (4 из которых эмулируются) на контроллер. Третий уровень кэш-памяти, которые эти процессоры могут использовать, имеет размер 1Mb (512Kb на каждое физическое ядро). Номинальная частота работы процессора  2,00 ГГц. При использовании в системах общего назначения, процессор будет не в состоянии обеспечить адекватную производительность. Тем не менее, благодаря CBDMA и поддержке технологий для коммуникационной сети 10GbE iSCSI, эти процессоры являются более чем достаточными для выполнения возложенных на них обязанностей. Благодаря наличию специальных аппаратных средств, для управления массивом Raid и сетей LAN, процессор имеет единственную задачу - предоставления возможности связи между сетевыми устройствами и Raid-массивами. Другими словами два процессора должны управлять простой и компактной операционной системы и в то же время обеспечивать низкое энергопотребление. На самом деле, несмотря на то, что они двухъядерные и с технологией Hyper Threading, их TDP составляет всего 14,1 Вт.
    Хотя процессор предназначен для приложений с ограниченными вычислительными требованиями, два процессора полностью поддерживают некоторые стандартные технологии процессоров класса предприятия: Intel VT-X для эмуляции виртуальных систем и память с кодом коррекции ошибок ECC (error-correcting code). На самом деле, каждый логический ускоритель снабжен памятью DDR3 4GB (фирмы A-DATA), способной работать на частоте 1600 МГц. Несмотря на то, что память способна работать на более высокой частоте, процессоры поддерживают лишь частоту 1333 МГц, так что работа памяти ограничена этой частотой.
    В дополнение к CPU, система хранения имеет в два SAS Expander-а (по одному на контроллер), отвечающие за маршрутизацию от процессора к устройству, подключенному по интерфейсу SAS.

Expander-1_3.jpg Expander-2_3.jpg Expander-3_3.jpg

    Как показано на фото выше, каждый логический контроллер имеет чип SAS расширителя, широко известного как SAS Expander. В частности, мы видим два контроллера LSI SAS2x36 или два SoC (System-on-a-Chip) на основе процессора ARM926, работающего на частоте 150 МГц и оснащенный 512Kb выделенной памяти. Технически, каждый из этих SAS Expander-ов  может поддерживать до 36 SAS-устройств через соединение стандарта SAS/SATA со скоростью до 6 Гбит. В этом случае, эти устройства должны будут обрабатывать более 16 дисков.
 
Внутренние части: Сеть.

    Продолжая анализ логического контроллера, обратимся теперь к компонентам, которые управляют связью устройства по сети. Как уже упоминалось несколько раз в ходе этой статьи, система Q500 имеет возможности подключения по Ethernet 1Gbps и 10Gbps iSCSI.
 
Networking-1_3.jpg Networking-2_3.jpg Networking-3_3.jpg
 
    Во-первых, на каждой материнской плате есть специальный контроллер для двойного интерфейса 10GbE, на основе чипов Intel 82599ES. Этот чип, выполненный на основе технологии 65нм, имеет два порта 10Gbe, подключенный к системной шине через PCI-Express 2.0. Среди основных особенностей этой микросхемы, отметим поддержку технологии NC Sideband. Суть Sideband состоит в мониторинге и управлении сервером,  минуя ОС, и с помощью специального процессора контролировать и обслуживать сервер удаленно. Кроме того, контроллер 82599ES поддерживает стандарты iSCSI, FCoE, NFS, а также другие различные технологии, совместного использования ресурсов в виртуальных средах (не имеют отношения к NAS). Поддержка технологии VMDq (Virtual Machine Device Queues), которая позволяет оптимизировать обработку трафика виртуальной машины (VM) для улучшения использования процессора и увеличения пропускной способности. Интересна также технология Intel DDIO (Data Direct I/O), с помощью которой связь между сетевым устройством и CPU происходит непосредственно через кэш-память процессора, минуя системную память.
Все что касается внешних сетей, система Q500-P20 имеет целых три порта Ethernet 1Gbps каждом контроллере (всего 6 портов Ethernet). В частности, управление сетевыми интерфейсами осуществляется с помощью чипов Broadcom BCM5720, т.е. сетевой контроллер может управлять двумя портами 1Gbps каждый.
    Чип BCM5720 поддерживает большое количество профессиональных стандартов, которые вы только можете пожелать от сетевого контроллера. Сначала мы находим поддержку загрузки с iSCSI и PXE boot, а также полную поддержку Wake-On-Lan (пробуждение по сигналу из локальной сети). Изначально поддерживаемые чипами технологии VLAN (Virtual Local Area Network), Link-Aggregation, позволяют объединить несколько адаптеров в виртуальную сеть, а также обеспечить избыточность, multipath и load-balancing между различными сетевыми интерфейсами.
    Другие интересные технические новинки, касаются реализации TSO и стандарта MSI-X (Message Signaled Interrupts) PCI-Express шины. При передаче данных с использованием протокола TCP/IP часто приходится разбивать блоки данных большого размера на несколько маленьких, это связано с ограничениями протокола. Такой процесс разбиения называется сегментацией (TCP Segmentation Offload  - TSO). Обычно в процессе сегментации используется центральный процессор. Таким образом, сетевой адаптер, снабженный функцией TCP Segmentation (через чип ASIC), освобождает центральный процессор системы от функции сегментации блоков данных.
    Стандарт MSI-X представляет собой, систему прерываний на основе сообщений в памяти, а не на основе широковещательных сигналов  через аппаратные средства. Это позволяет системе, получив доступ к информации о прерывании непосредственно в системной памяти, избежать лишних тактов операций I/O. Система MSI-X позволяет также передавать несколько прерываний одновременно, экономя ресурсы CPU. Наконец, благодаря полной поддержке TSS и RSS протоколов, через которые можно направить соответствующие Ethernet-пакеты непосредственно в/из отдельно взятого ядра процессора, увеличивая возможность распараллеливания управления пакетами в средах multi-core.
 
Внутренние части: Блоки питания и охлаждение. 
 
    Что касается питания, система Q500 поставляется с двумя блоками питания AcBel FSA035. Это промышленные источники питания высокого класса способны развивать мощность до 550Вт, с максимальным током 45A по напряжению 12В.
 
PSU-Cooling-1_4.jpg PSU-Cooling-2_4.jpg PSU-Cooling-3_4.jpg PSU-Cooling-4_4.jpg

    Большое значение имеет наличие сертификата 80 Plus Gold, благодаря высокой эффективности эти блоки питания способствуют снижению затрат с точки зрения потребления энергии.

efficienza
  http://www.plugloadsolutions.com/psu_reports/ACBEL_R1CA2551A_550W_SO-393_Report.pdf

    Как вы можете видеть, средний КПД этих источников составляет 90,72%, с типовой эффективностью 92,02% (при средней нагрузке равной 50%). Из графика слева, мы видим, что на самом деле максимальная эффективность (равной 92,02%) получается при нагрузке 295 Вт. При увеличении нагрузки, эффективность снижается очень медленно. Отметим, что БП «страдает» больше всего, с точки зрения энергоэффективности, от нагрузки менее чем 50%. В частности, предельное значение при 10% нагрузке, составляет 81,18%. Более того, такое поведение является нормальным: вентилятор блока питания, а также все активные компоненты внутри, являются дополнительной нагрузкой, которая добавляется на выходе из устройства.
    Система охлаждения системы состоит из двух модулей с возможностью горячей замены, каждый из которых поставляется с двумя вентиляторами AN ACE 80 9G0812P1K081 производства SANYO DENKI. Несложно догадаться, что речь идет о вентиляторах диаметром 80 мм, более толстых, чем те, которые мы обычно видим на рынке для настольных ПК. На самом деле размеры вентиляторов 80мм x 80мм x 38мм и весом 170 г каждый. Эти вентиляторы работают от напряжения 12В и имеют систему управления режимом вращения PWM. Тем не менее, стоит заметить, что система Q500-P20 не позволяет регулировать режим вращения вентиляторов, которые работают постоянно, обеспечивая значительный уровень шума в размере 58Дба, для одиночного вентилятора. Впрочем, эти вентиляторы могут перемещать внушительное количество воздуха: около 186 кубических метров воздуха за час, с максимальным статическим давлением 2,32 мм рт.ст. (Torr).

Уровни администрирования. 


    Сегодня системы хранения уровня предприятия в состоянии обеспечить несколько уровней управления, часто различающиеся по сложности и простоте  настройки. Как мы уже отмечали в TrioNas U210, система Q500 имеет несколько уровней доступа, различных по типу взаимодействия и степени конфигурации разрешений. В общем, система Q500 поддерживает следующие режимы настройки:
    -    сonsole RS232;
    -    Telnet / SSH;
    -    QCentral;
    -    Web GUI.
    «От менее доступного к более доступному» - метод человеко-машинного интерфейса, который предлагает система Q500, в целом согласуются с теми, что мы видели на TrioNas U210:
-    консоль RS232 требует физического доступа на локальное устройство и умение работать с командной строкой;
-    программа  QСentral - работает в локальной сети, требует JVM на устройство, но и предлагает детальное описание конфигурации устройства;
-    веб-интерфейс Web GUI - является наиболее доступным (возможен доступ непосредственно из глобальной сети) и более быстрым с точки зрения настройки.
    Однако если удаленное администрирование через веб-интерфейс рекомендуется, когда система была уже настроена и вы должны внести небольшие изменения в инфраструктуре, то доступ по RS232 позволяет выявлять проблемы на устройстве, когда графический пользовательский веб-интерфейс не доступен. Такой случай, может быть до установки новой ЛВС: как настроить IP-адреса различных NIC Q500? В этом случае Web GUI и QCentral не доступны, если мы не используем DHCP-сервер в нашей сети, таким образом, чрезвычайно полезно иметь возможность настройки сети напрямую через консоль RS232.

Модульность и программное обеспечение RAID.

    В системе QSAN Q500-P20 предлагаются различные возможности в плане настройки жестких дисков. С учетом типа системы, надо иметь ввиду, что инфраструктура со временем будет изменяться или расти. По этой причине, системные администраторы  предпочитают аппаратные средства и программное обеспечение, способные обеспечить различные уровни гибкости: диски горячей замены (hot-spare), расширяемые дисковые массивы, виртуальные диски, которые можно использовать в любой комбинации.
    Система Q500 основана на том же принципе: инженеры QSAN действительно разработали специальную операционную систему для SAN, основанную на ядре Linux 2.6. Разработали соответствующие модули (драйверы) для интеграции программно-аппаратного обеспечения в ядро системы. В частности Q500-P20 обеспечивает несколько уровней гибкости единицы хранения, каждая со своими особенностями и для различных целей:
-    физический жесткий диск;
-    массив Raid;
-    виртуальный диск (Virtual Disk).
    Первый уровень идентифицирует индивидуально каждый жесткий диск, установленный в устройство.
Это соответствует низкому уровню управления: можно локализовать неисправные жесткие диски, которые показывают признаки приближающегося отказа (failure), анализируя светодиодные индикаторы, установленные на каждом из них.
    Следующим уровнем является драйвер создания Raid массива. Этот модуль позволяет объединить несколько дисков в конфигурации Raid стандартов: 0,1,3,5,6,1+0,0+1. Кроме того, возможны также расширенные настройки, такие как Raid 50 и Raid 60. Уровень Raid позволяет определить несколько параметров кэширование записи и чтения.
    Далее находится виртуальный диск. В этом контексте, конфигурирование виртуального диска в качестве раздела Raid Group. Это дает еще один уровень гибкости системе: увеличение рейдовой группы способствует расширению одного или нескольких виртуальных дисков. Кроме того, большинство виртуальных дисков может находиться на том же рейде.
    Преимущества такой конфигурации очевидны: то, что видит FileSystem, представляет собой виртуальный диск, который в свою очередь «опирается» на Raid Group. Raid Group поэтому прозрачен для виртуального диска: когда виртуальный диск начинает «насыщаться», вы можете увеличить пространство за счет свободного из Raid Group. Если исчерпано все пространство внутри Raid Group, то можно будет увеличить «физическое пространство» в Raid Group, просто добавив жесткие диски и назначив их в массив.
 
Конфигурация тестов. 
 
    Не так просто выполнить тест устройств SAN. Причин несколько, но главная в том, что в тестировании участвуют несколько компонентов аппаратного и программного обеспечения. Не только количество и модели дисков, используемых в SAN, влияют на быстродействие, но к ним добавляются также сетевая карта, сервер, коммутатор, кабели и контроллеры сети клиента, а также вычислительные возможности клиента. Кроме этого есть еще и различные сетевые драйвера и виды iSCSI initator-ов. Не в последнюю очередь, программное обеспечение benchmark-ов часто не обеспечивает однородность результатов: некоторые из них могут быть ориентированы на достижение лучших результатов по определенным направлениям.

Test-1_3.jpg Test-2_3.jpg Test-3_3.jpg
 
    В нашем случае невозможно, с точки зрения сроков, рецензировать каждую часть системы, потому как трудно найти условия для сравнения, чтобы оценить или критиковать производительность устройства. Скорее всего, мы будем ориентироваться на общий анализ производительности системы Q500, пытаясь проверить эффективность работы в широком спектре, в зависимости от типа дисков и конфигурации Raid. В этом разделе, мы представляем тесты, с точки зрения конфигурации SAN, морфологии  сети, программного обеспечения, типов использующихся дисков и конфигурации клиента.

Тип и количество дисков

Тип RAID массива

Тип теста

 4 x WD Caviar Blue 1Gb

 Raid 0

 Raid 1

 Raid 5

 Raid 10

 HDTune Pro  Read – Write

 Crystal DiskMark Read –  Write

 HDTach Long Benchmark

 4 x SSD Kingston KC100  240Gb

 Raid 0

 Raid 1

 Raid 10

 Raid 5

 Raid 6

 HDTune Pro Read


Морфология сети была неизменной на протяжении всех тестов. Чтобы избежать дополнительного влияния потенциально узких мест, мы решили подключить устройство SAN к машине клиента с помощью сетевого кабеля 10 Gb/s Cisco Certified. Конфигурация клиентской машины показана в таблице ниже.

 Процессор

 Intel i7 4820K (4.50 ГГц)

Материнская плата

Asus Rampage IV Extreme

  память

  4x 4Gb Kingston HyperX 2133МГц CL9

Жесткий диск

1 x Kingston KC100 240Gb

  Сеть iSCSI

  Chelsio T320 10Gbps

Initiator iSCSI

Chelsio iSCSI Driver

  Источник питания

  Antec HCP 1000W Platinum

   
Для того чтобы избежать любых узких мест на стороне клиента, мы применили процессор с частотой 4.50 ГГц с HT и выбрали драйвер Chelsio iSCSI-инициатор. На машине клиента установлена операционная система Microsoft Windows Server 2012 Standard Edition.
 
Синтетические тесты: RAID 0.

    Самый первый тест Q500 мы провели на конфигурации Raid 0. Мы настроили только один Raid Group (один массив из четырех дисков), в рамках которого мы создали виртуальный диск, который занял все доступное свободное пространство. Мы сохранили активными обе функции: WriteBack (отложенная запись) и ReadAhead (опережающее  чтение).
    Ниже приведены графики соответствующих испытаний для механических жестких дисков.
 
Raid0-1_7.jpg Raid0-2_7.jpg Raid0-3_7.jpg
Raid0-4_7.jpg Raid0-5_7.jpg

    Как мы и ожидали, результаты тестов последовательного чтения и записи очень хорошие. В частности, HDTune показывает среднюю скорость  чтения данных около 395 Mb/s, с пиками (благодаря кэшированию Write Back) до 554 Mb/s. При размере блока 64Kb, средняя скорость последовательного чтения остается 370 Mb/s, с пиками до 465 Mb/s. Программа DiskMark подтверждает то, что показал HD Tune Pro: последовательное чтение, при блоках в 512Kb, позволяют получить скорость около 560 Mb/s.
    С точки зрения последовательной записи, производительность менее внушительна. В этом случае оказывает влияние механика дисков и время, необходимое для позиционирования головок. Во всех тестах последовательной записи средние значения в диапозоне 150 (HDTune) - 200 (DiskMark) Мb/s.
    Тесты чтения/записи с произвольным доступом, являются самым трудным для механических дисков. Полученные результаты тому подтверждение:
-    DiskMark - чтение 52 Мb/s и запись всего 5,5 Mb/s;
-    HDTune - 12792 IOPS по чтению и 7587 IOPS на запись.
    Эти значения не удивляют, это физические ограничения механических дисков, их трудно обойти использованием кэш-памяти и механизма ReadAhead.
Перейдем теперь к анализу «выступлений» с твердотельных накопителей.

Raid0-6_7.jpg Raid0-7_7.jpg

    Результаты, при использовании твердотельных дисков, гораздо лучше. Производительность операций чтения и записи практически постоянны и не имееют пиков вверх или вниз. Такая картина, как правило, связана с ограничениями пропускной способности устройства, а не самих дисков. Диски, собранные в массив с помощью аппаратного Raid контроллера, способны достигать производительности более 1 Gb/с. В этом случае, производительность ограничивают издержки протокола iSCSI и технология сети связи, а не сами диски.
    Второй тест, с размером блока 64Kb, подтверждает ранее сделанный вывод о влиянии на производительность устройства издержек протокола iSCSI.
    В целом, мы можем сказать, что тест в Raid 0 порадовал нас. Мы не ожидали таких высоких значений последовательного чтения в случае с механическими дисками. Это доказывает, что алгоритм ReadAhead (опережающее чтение одной или нескольких страниц файла в кэш) работает хорошо.
    Тем не менее, в случае твердотельных накопителей SSD, тест подчеркивает реальные пределы устройства и инфраструктуры на основе протокола iSCSI: при использовании  4х SSD Kingston KC100, максимальные значения последовательного чтения/записи не превышали 600 Мb/s. Благодаря такой производительности можно перемещать большие объемы данных без инкапсуляции в протокол iSCSI.
 
Синтетические тесты: RAID 5. 

    Теперь приступим к комментированию результатов, полученных в результате испытаний массива Raid 5. Как и в предыдущих случаях, мы создали одну Raid Group уровня 5 и включили функции ReadAhead и WriteBack cache. Внутри Raid Group мы создали один Virtual Disk и по протоколу  iSCSI, через сетевой интерфейс 10 Gb/с, подключили к клиентской машине.

Raid5-1_7.jpg Raid5-2_7.jpg Raid5-3_7.jpg
Raid5-4_7.jpg Raid5-5_7.jpg
    Результаты испытаний показывают различное поведение массива системы в зависимости от используемого теста. В частности,  лучшие результаты дают DiskMark и бенчмарк Atto: значения последовательного чтения 443 - 515 Mb/s, связанны с применением алгоритма опережающего чтения (ReadAhead) и разумного использования кэша. Что касается последовательной записи, то тут результаты хуже: большинство значений около 50 Mb/s. Единственным исключением является бенчмарк Atto, который по своей морфологии использует в основном кэш и позволяет получить результат в 754 Mb/s.
    Случайная запись блоками по 4Kb, как обычно, «страдает» от издержек. В значительной степени, это поведение связано с механическими жесткими дисками, которые, как правило, не в состоянии записывать большое количество IOPS с произвольным доступом (проблема в том, что необходимо время для позиционирования головок). Кроме того, протокол iSCSI требует инкапсуляции инструкций на уровне 2 протокола TCP/IP (Ethernet в данном случае) и эта операция требует значительных затрат производительности. В частности, HDTune «опустился» до рекордно низких результатов, около 35 Mb/s  по записи и только 1163 IOPS (4Kb). По чтению имеем результат: 12910 IOPS по сравнению с 1163 IOPS.
    Далее следуют тесты, выполненные на массиве из четырех SSD дисков Kingston KC100 240Gb.

Raid5-6_7.jpg Raid5-7_7.jpg

    Как и следовало ожидать, результаты, полученные с массивом Raid 5, состоящим из SSD дисков,  являются положительными. Мы с удивлением отметили, что последовательное чтение (блоками по 8Mb), позволяет получить хорошие результаты, по сравнению с режимом Raid 0. В режиме Raid 5, работа механизма ReadAhead, позволяет достигнуть результата в 885 Mb/s. В тестах с блоками по 64Kb, скорость передачи данных падает до 425 Mb/s. В тестах по записи с блоками по 8Mb, получаем среднюю производительность 480 Mb/s, которая снижается до 225 Mb/s, при использовании блоков по 64Kb. В самом деле, с учетом быстродействия SSD накопителей, на результат этого теста влияет производительность расчета паритета выполняемого CPU: при последовательной записи 500Mb/s, в массив Raid 5, вычисленное значение паритета записывается на диски и эта операция больше всего влияет на производительность при работе с быстрыми дисками.
    Результат тестирования массива Raid 5 удивил нас: мы не ожидали значений в диапозоне 300 - 500 Mb/c для последовательного чтения для массива состоящего всего из четырех механических дисков. Результат, полученный при тестировании с использованием SSD дисков (885 Mb/s), является доказательством эффективности алгоритма опережающего чтения (ReadAhead) в QSAN. Результат, полученный на тесте последовательной записи с SSD накопителями, является сильной стороной данного устройства. Кроме того, высокие результаты по чтению, встречающиеся в этих тестах, обысловлены наличием интерфейса 10 Gbit/с. Весьма очевидно, что такая пропускная способность не может быть достигнута на гигабитном интерфейсе.
 
Синтетические тесты: RAID 10. 
 
    В третем обзоре тестируем массив Raid 10. Это сложный режим массива, который сочетает в себе режимы «зеркало» (Raid 1) и «чередование» (Raid 0). Как обычно, мы создали  уникальный Raid Group, в рамках которого был создан только один виртуальный диск (Virtual Disk), назначен сетевой интерфейс 10 Gbit/с по протоколу iSCSI Target. В этом тесте мы так же включили обе функций кэширования: обратная запись (WriteBack) и опережающего чтение (ReadAhead).
    Ниже мы приводены результаты тестирования механических дисков WD Caviar Blue 1Tb каждый.

Raid10-1_7.jpg Raid10-2_7.jpg Raid10-3_7.jpg
Raid10-4_7.jpg Raid10-5_7.jpg

    Массив Raid 10 не сильная сторона Q500. Результаты использованных тестов очень противоречивые. HDTune (тесты последовательного чтения и записи): 60 Mb/s на чтение и 17 Mb/s на запись. DiskMark показал  следующие результаты в тестах I/O: 549 Mb/s по чтению и только 12,3 Mb/s по записи. «Странное поведение» в этом случае заключается в том, что лучшую производительность можно получить с маленьким размером блока: тест HDTune, с размер блока 64Kb, дает по чтению порядка 77 Mb/s против 59 Mb/s с размер блока 8Mb. DiskMark следует той же тенденции: при размере блока 512Kb получаем 170 Mb/s на запись против «бедных» 12,3 Mb/s в тесте с последовательным доступом.
    Мы считаем, что такое поведение обусловлено природой Raid 10, которая включает в себя стадию зеркалирования дисков. В этих условиях, данные записываются одновременно на все диски с более низкой степенью распараллеливания, именно от этих издержек страдает протокол  iSCSI.
    Теперь перейдем к анализу результатов, полученных с использованием SSD дисков:

Raid10-6_7.jpg Raid10-7_7.jpg

    Аналогично тому, как это было Raid 0, твердотельные накопители позволяют достичь лучших результатов, не понеся потерь на время доступа (seek time). Даже в этом случае, мы получаем значение последовательного чтения около 500 Mb/s, в тесте с размером блока 8Mb. Во время записи, с размером блока 64Kb, получаем результат около 365 Mb/s. При последовательной записи видим резкое замедление по сравнению с тем, что получили при Raid 0: с размером блока 8Mb мы получили в среднем 330 Mb/s (по сравнению с 536 Mb/s) и снижение до 85 Mb/s с блоками 64Kb (по сравнению с 233 Mb/s при Raid 0).
    Можно сказать, что Raid 10 не является сильной стороной этого устройства, мы были разочарованы от значений последовательной записи, как в тесте с SSD, так и в тесте с механическими жесткими дисками. Мы считаем, что производительность этого режима Raid, может быть улучшена QSAN-ом простыми решениями на уровне прошивки.

Синтетические тесты: RAID 6. 
 
    И последнее – это тест режима Raid 6. Такой режим массива обеспечивает вычисление двойной четности дисков, что позволяет «выдерживать» отказ двух дисков в массиве состоящим из 5 дисков. Это, как и следовало ожидать, потребует больше усилий от процессора для расчета распределенной четности, поэтому мы не ожидаем лучших результатов, чем те, которые зарегистрированы для Raid 5.
    В этом случае, тестовый режим остался прежним: кэш по чтению и записи включен, один Raid Group и один виртуальный диск (Virtual Disk). Из-за ограниченного количества механических жестких дисков (у нас было только с 4x WD Caviar Blue 1TB), мы не смогли протестировать режим Raid 6 с их использованием, таким образом, мы провели тесты на твердотельных накопителях.

Raid6-1_2.jpg Raid6-2_2.jpg

    Первый тест выполняется с помощью HDTune Pro с размером блока 8Mb, показывает результаты такие же, как для Raid 0 и Raid 5: значения чтения и записи почти равные между собой: 450 - 500 Mb/s. Иначе обстоит дело в следующем тесте, с размером блока 64Kb. В этом случае при последовательном чтении получаем значение около 364 Mb/s. Переходим к тесту последовательной записи с размером блока 64Kb. В этом случае тест записи дает результирубщее значение около 35 Mb/s (значения колеблются в диапазоне от 35 и 36,5 Mb/s). Учитывая скорость дисков, такое замедление, конечно, не относится к производительности дисков, а зависит от расчета четности в режиме Raid 6.
    Мы можем сделать вывод: нас удовлетворяют тесты на режиме Raid 6, за исключением результатов с блоками 64Kb, которые внесли «ложку дегтя» в плане производительности. Во всех остальных случаях результаты тестов Raid 6 делают его привлекательным выбором для тех, кто заботится об избыточности и производительности.
 
Влияние кэша и опережающего чтения (Readahead) на механические жесткие диски.

    Интересный аспект, который нас всегда интересует, когда мы тестируем устройства хранения, это  влияние механизма кэширования на производительность. Учитывая сложность и стоимость систем хранения, это имеет смысл. В этом разделе мы рассмотрим последствия влияния механизмов ReadAhead и WriteBack в тестах с механическими жесткими дисками.

CacheHDD-1_2.jpg CacheHDD-2_2.jpg
 
    В процессе чтения, использование механизма ReadAhead позволяет получить хороший прирост  производительности,  в среднем от 250 Mb/s до 295 Mb/s для последовательного чтения, увеличивая преимущества в тестах с размером в 64Kb. В последнем случае получаем результат в 370 Mb/s против 250 Mb/s, при выключенном режиме ReadAhead. В относительных терминах, мы говорим об увеличении производительности максимум до 48%.
    Еще более очевидными становятся  преимущества, предоставляемые механизмом кэширования WriteBack. Использование памяти 4Gb с ECC, установленной на каждый контроллер Q500, позволяет сохранять данные в кэш-памяти, чтобы затем асинхронно, в пакетном режиме, переписать на механические жесткие диски (по своей природе более медленные, чем память). С практической точки зрения механизм WriteBack позволяет повысить производительности с коэффициентом x4 при последовательной записи и увеличиваясь даже до x80 при выполнении записи блоками размером 64Kb.
    Мы можем закончить этот анализ, заключив, что механизмы ReadAhead и WriteBack важны, когда используется массив механических дисков, так как они позволяют увеличить производительность чтения и записи, компенсируя медлительность жестких дисков из-за времени позиционирования головок.
 
Влияние кэша и упреждающего чтения (ReadAhead) на SSD диски.

    Тесты, которые мы представляем, показывает влияние методов кэширования чтения и записи (ReadAhead и WriteBack) на Raid массивы, состоящие из твердотельных накопителей. Это очень интересно, так как позволяет проверить, как кэш позволяет улучшить производительность массивов Raid, состоящие из SSD дисков. К сожалению, бытует устойчивое заблуждение, что использование кэш-памяти позволяет повысить производительность при чтении и записи с любого диска. Правда, в случае с SSD дисками, все может измениться.

CacheSSD-1_2.jpg CacheSSD-2_2.jpg

    Анализируя результаты, полученные по чтению, отметим, что алгоритм ReadAhead позволяет увеличение производительность примерно на 30 Mb/s на тесте с размером блока 8Mb. Тест с размером блока 64Kb, показывает, что алгоритм ReadAhead не позволяет достигать таких же впечатляющих результатов.
В тесте на запись ситуация аналогичная: при включении режима WriteBack, с размером блока 8Mb, мы получили результат 480 Mb/s. Тот же тест, при отключенном режиме WriteBack, результат - 375 Mb/s. Повторив два раза тест HDTune Pro, с размером блока в 64Kb, получаем результат 425 Mb/s.
    Подводя итоги использования режима ReadAhead с твердотельными накопителями, мы можем утверждать, что вы получите значительные улучшения при последовательном чтении. При произвольном (случайном) чтении алгоритм не может гарантировать каких-либо улучшений.
    Механизм кэширования WriteBack оказывается полезен в любых обстоятельствах. В худшем случае, производительность будет похожа на те, которые могут быть получены без его помощи, в лучшем случае, вы получите повышение производительности на 30%.
 
Потребление и охлаждение. 
 
    Энергетический аспект тесно связан с темой охлаждения. В первую очередь потому, что больший расход энергии часто коррелируется с большим перегревом системы.  В связи с этим, большой перегрев часто приводит к большому потреблению энергии системами охлаждения.
    Система Q500 имеет оптимизированное оборудование, чтобы свести к минимуму расход электроэнергии, повышая эффективность всей системы. Во-первых, как мы заметили, два резервных источника питания имеют сертификаты 80 Plus Gold, со средней эффективностью 94%. Другим важным элементом является процессор: принадлежащий к семейству Atom, этот чип имеет TDP всего 14,2Вт, несмотря на то, что создан по технологии 32нм.
    Система охлаждения состоит из четырех действительно мощных вентиляторов, которые можут охладить все устройство, функционируя каждый в отдельности. Каждый из них поглощает около 22Вт, итого 88Вт (пик). Учитывая, что система Q500 не использует механизмы снижения оборотов вращения своих вентиляторов, вся система охлаждения в функции постоянно поглощает 80Вт мощности.
    Затем мы провели ряд тестов для измерения потребления энергии системы Q500 без установленных жестких дисков, изменяя только количество подключенных вентиляторов и контроллеров. Результаты приведены ниже:


Один контроллер

Два контроллера

Два вентилятора

97 Вт

140 Вт

Четыре вентилятора

133Вт

172 Вт

 
    Зарегистрированная максимальная потребляемая мощность менее 180Вт. Это очень хороший результат, из-за двух основных причин:
-    потребление получилось не выше, чем у настольных систем;
-    используется только 35% от общей мощности блока питания.
    На самом деле, учитывая графики эффективности БП, которыми оснащена система Q500, отметим, что диапазон нагрузок от 30% до 70% является предпочтительным для повышения уровня эффективности.
 
Выводы. 

    Не каждый день у нас на тестировании устройство SAN, такое как Q500-P20. Система QSAN Q500-P20 это устройство класса Enterprise, по разным причинам. В первую очередь надежность системы, реализованной с помощью полного дублирования оборудования, избыточны все компоненты, необходимые для работы устройства. Два модуля охлаждения, два блока питания и две платы контроллеров, каждый из которых имеет два интерфейса 10 Gb/s и два интерфейса 1 Gb/s, обеспечивают надежность и универсальность в SAN.
    Во-вторых, минимизирован расход электроэнергии. Это реализовано с помощью аппаратных средств, таких как процессор Intel Atom S1289 и отличных блоков питания, сертифицированных по стандарту 80 Plus Gold. Эти мероприятия доказали свою эффективность, не влияя на производительность.
    В-третьих, мы не можем не похвалить гибкость, которую системе Q500 позволяет достичь изобилие сетевых интерфейсов 10 Gb/s и 1 Cb/s. С помощью настройки функций Virtual Lan и Link Aggregation, вы можете управлять режимами multipath и load balancing, в зависимости от морфологии корпоративной сети.
    В плане производительности система Q500 оправдала наши ожидания: механизмы ReadAhead и WriteBack, позволяют достичь отличных результатов, используя механические жесткие диски. Результаты тестов на производительность с использованием твердотельных дисков показали, что система от QSAN лучше всего оптимизирована для работы с механическими жескими дисками.
    «Ложка дегтя», на почти безупречном резюме, слабые результаты теста в случае использования массива Raid 10 и необходимость использования переходных плат MUX для использования дисков SATA, в двухконтроллерном варианте поставки системы. В первом случае мы уверены, что QSAN устранит это недоразумение в ближайших обновлениях прошивки.  Во втором случае мы не предвидим улучшений, если только переходные платы MUX не будут поставляться бесплатно в комплекте с Q500.
    Стоимость устройства составляет примерно 6000 евро. Такая стоимость является абсолютно разумной для компаний среднего уровня, но тоже время непомерно высока для малых предприятий или небольших офисов.
    В заключение, мы рады наградить систему Q500 дипломом Enterprise Hw di HardwareForYou, за отличное качество оборудования, высокий  уровень эффективности и хорошие показатели производительности.

EAward



Возврат к списку

© Storimax, 2011
(499) 372-1360      info@storimax.ru
 
Разработка сайта Halm