Появление блэйд-систем

В процессе развития средств вычислительной техники всегда существовал большой класс задач, требующих высокой концентрации вычислительных средств. К ним можно отнести, например сложные ресурсоемкие вычисления (научные задачи, математическое моделирование), а так же задачи по обслуживанию большого числа пользователей (распределенные базы данных, Интернет-сервисы, хостинг).

Не так давно (порядка 5ти лет назад) производители процессоров достигли разумного ограничения наращивания мощности процессора, при котором его производительность очень высока при относительно низкой стоимости. При дальнейшем увеличении мощности процессора, необходимо было прибегать к нетрадиционным методам охлаждения процессоров, что достаточно неудобно и дорого. Оказалось, что для увеличения мощности вычислительного центра более эффективно, увеличить количество отдельных вычислительных модулей, а не их производительность. Это привело к появлению многопроцессорных, а позднее и многоядерных вычислительных систем. Появляются многопроцессорные системы, которые начитывают более 4 процессоров. На текущий момент существуют процессоры с количеством ядер 8 и более, каждое из которых эквивалентно по производительности. Увеличивается количество слотов для подключения модулей оперативной памяти, а также их емкость и скорость.

Увеличение числа вычислительных модулей в вычислительном центре требует новых подходов к размещению серверов, а также приводит к росту затрат на помещения для центров обработки данных, их электропитание, охлаждение и обслуживание.

Для решения этих проблем был создан новый тип серверов XXI века — модульные, чаще называемые Blade-серверами, или серверами-лезвиями (blade — лезвие). Преимущества Blade-серверов, первые модели которых были разработаны в 2001 г. изготовители описывают с помощью правила «1234». «По сравнению с обычными серверами при сравнимой производительности Blade-серверы занимают в два раза меньше места, потребляют в три раза меньше энергии и обходятся в четыре раза дешевле».

Рисунок 1.1 Типичный Blade-сервер (Sun Blade X6250)

Что представляет собой Blade-сервер? По определению, данному аналитической компании IDC Blade-сервер или лезвие - это модульная одноплатная компьютерная система, включающая процессор и память. Лезвия вставляются в специальное шасси с объединительной панелью (backplane), обеспечивающей им подключение к сети и подачу электропитания. Это шасси с лезвиями, является Blade-системой.

Рисунок 1.2 Типичное 10U шасси для 10 Blade-серверов (Sun Blade 6000) используемое в УрГУ

Типичная блейд-система состоит из следующих компонентов:

1. Шасси

2. Питание

3. Охлаждение

4. Дисковая подсистема

5. Сеть

6. Управляющие блейды

Основная идея архитектуры блейдов - достижение максимальной удельной производительности системы благодаря применению формфактора с вертикальным расположением серверных модулей. В то время как традиционные серверные модули монтируются в стандартную серверную стойку горизонтально, применение специального шасси (корзины), в которое вертикально устанавливают серверы-лезвия, позволяет добиться более компактного размещения вычислительных модулей.Поскольку на размеры блейд-сервера накладываются ограничения, его громоздкие компоненты выносятся на шасси и становятся общими для всех блейдов, установленных в это шасси. Такой подход позволяет сократить общее число блоков питания, систем охлаждения и других подсистем при сохранении достаточного уровня надежности. Однако одновременно он требует применения сетевого и управляющего блейдов.

Шасси

Шасси для блейдов проще всего описать как серверную стойку, установленную горизонтально. На самом же деле устройство шасси гораздо сложнееи отвечает за бесперебойное отказоустойчивое питание и охлаждение каждого блейда, а иногда - за распределение нагрузки, дисковую подсистему, управление "лезвиями" и сетевые соединения.

Шасси содержит:

блоки питания,

блоки охлаждения,

KVM - выход клавиатуры, видео и мыши,

систему управления и мониторинга отдельных блейдов,

сетевые подсистемы.

В стандартную серверную стойку можно установить не более 42 серверов размера 1 U (один U - unit, или монтажная единица, равен 1,75 дюйма). Рассмотрим (для сравнения) систему на базе блейд-серверов компании Intel, применяющей шасси высотой 7U, в которое можно установить до 14 серверов-лезвий. В стандартной стойке высотой 42U можно разместить шесть таких шасси, соответственно максимальное число блейд-серверов в стойке составит 84, т. е. плотность вычислительных модулей вырастет вдвое по сравнению со стойкой, укомплектованной серверами 1U. Изготовители блейд-серверов предлагают самые разнообразные формфакторы шасси, описать которые можно как отношение высоты шасси к максимальному количеству блейдов в нем. Например, блейд-серверы компании Intel выполнены в формате 7/14. Ведущие изготовители блейд-серверов предлагают и другие формфакторы, такие, как 6/8, 7/10 и даже 19/10. Общепринятого отраслевого стандарта пока не существует. Недавно для разработки такого стандарта объединили усилия компании Intel и IBM, а поэтому можно предположить, что именно формат 7/14, обеспечивающий максимальную на сегодня плотность, получит наибольшее распространение. Впрочем, это не означает, что другие форматы сойдут со сцены.

Блейды большинства изготовителей монтируются в шасси вертикально. Однако есть и исключения: например блейды HP bh3710 устанавливаются горизонтально.

В шасси, как правило, можно ставить разные модели блейдов того же изготовителя: например, в шасси HP QuickBlade можно устанавливать блейды е- и р-класса (ProLiant BLIOe и ProLiant BL20p, ProLiant BL40p). Это чаще всего относится и к различным поколениям оборудования. Например, IBM обеспечивает и прямую, и обратную совместимость - новые модели блейдов этой компании можно устанавливать в старые модели шасси и наоборот. Поскольку стандарты на архитектуру блейдов и шасси еще не сформировались, блейды одного производителя обычно нельзя монтировать в шасси другого, и это один из существенных недостатков блейд-технологии.

Шасси могут быть смонтированы в обычную стойку 42U, 36U и 22U вместе с простыми серверами или другими шасси. Размеры шасси также могут варьироваться от 3U (Tatung TUD-3114) до 19U (Sun Blade 8000 Modular System), как и число серверов в шасси - от двух (HP ProLiant BL40) до 16 (HP ProLiant BL35p).

Питание

Общая система питания блейд-серверов размещена в шасси. Перенос громоздкого блока питания из сервера на шасси делает блейд-серверы компактнее. Кроме того, это позволяет снизить потребление энергии, выделение тепла, а также затраты на избыточность системы путем уменьшения общего числа БП. Обычные серверы оснащаются одним блоком питания каждый (а в отказоустойчивых моделях - двумя и более). В то же время на каждый блейд-сервер даже при использовании четырех блоков питания на шасси приходится в среднем 0,3-0,4 БП (при 10-14 "лезвиях" в шасси).

Суммарное потребление блейд-серверов зависит от фирмы-изготовителя, архитектуры, конфигурации "лезвий" и т. д. Необходимо учитывать, что в отличие от обычных серверов, в которых энергопотребление стойки - это суммарная мощность всех вычислительных модулей, в блейд-серверах к ней прибавляется и потребление шасси, а также специализированных (управляющих, сетевых, дисковых) блейдов. Тем не менее, в среднем энергопотребление стойки, заполненной блейд-серверами, как правило, меньше, чем при использовании обычных серверов, благодаря более удачной системе охлаждения, меньшей избыточности по блокам питания, применению менее "горячих" компонентов в самих "лезвиях".

Недостаток размещения системы электропитания в шасси - необходимость использования более мощных БП. Хотя энергопотребление одного "лезвия", как правило, меньше, чем обычного сервера сравнимой конфигурации, каждому блоку питания приходится выдерживать нагрузку из нескольких "лезвий". Поэтому серверные шасси практически всегда оснащаются БП мощностью не менее 2-3 кВт.

Охлаждение

Что касается охлаждения, то основные плюсы архитектуры блейд-серверов - это меньшее количество выделяемого тепла и возможность более эффективного охлаждения всей системы.

Воздушное охлаждение. Как и блоки питания, система охлаждения блейд-серверов, как правило, выносится на шасси. Задача системы охлаждения сводится к "продувке" воздуха сквозь корпус сервера от передней стенки к задней. Однако, в то время как у обычного сервера активное внутреннее охлаждение (помимо вентилятора БП несколько вентиляторов отводят воздух от радиаторов ЦП), в серверах-лезвиях применяется пассивное охлаждение внутренних компонентов. Вентиляторы (помимо встроенных в блоки питания) монтируются на задней стенке шасси в специальных сменных модулях, позволяющих быстро заменить вышедший из строя вентилятор.

Жидкостное охлаждение. Идея применения жидкости в качестве охлаждающего агента не нова, она была реализована еще для мейнфреймов. Первыми изготовителями систем жидкостного охлаждения для блейдов стали компании Hitachi (в 2003 г.), HP, Ege-nera и IBM. Преимущества жидкостного охлаждения по сравнению с воздушным:

более компактное,

более бесшумное,

более гибкий дизайн и возможности размещения,

более эффективное охлаждение множественных источников тепла,

использование вместе с вентилятором позволяет увеличить эффективность охлаждения, не изменяя при этом уровня шума.

Недостатки жидкостного охлаждения:

дороже воздушного,

требует новых навыков от персонала.

В настоящее время жидкостное охлаждение используется в блейд-системах в 10% центров обработки данных в США (данные конференции Datacenter Dynamics 2006, Нью-Йорк).

Жидкостная система охлаждения, предложенная компанией Hitachi, построена наиболее традиционно. Теплообменник устанавливается в основной части шасси, а тепло отводится по трубке с охлаждающей жидкостью, соединяющей блейд-отсек и теплообменник. Для циркуляции охлаждающей жидкости используется избыточное число насосов - в случае поломки одного система не остановится и продолжит работу на другом, позволив заменить сломанный.

Специализированные решения. Из-за большого числа высокопроизводительных компонентов блейд-серверы нередко требуют и специализированных эффективных систем отвода тепла. Одна из таких систем охлаждения, Modular Cooling System компании Hewlett-Packard, спроектирована так, чтобы предотвратить теплообмен между охлаждаемым пространством и воздухом серверной комнаты. Modular Cooling System - это охлаждаемый шкаф, внутри которого устанавливаются серверы-лезвия. Воздух циркулирует только внутри шкафа и охлаждается во встроенном модуле, подключенном к системе водоснабжения. Система охлаждения управляется специализированным ПО.

Дисковая подсистема

Как и обычные серверы, серверы-лезвия, как правило, имеют дисковую подсистему, состоящую из локальных жестких дисков. В обычных серверах используются высокопроизводительные 3,5-дюйм жесткие диски. Однако что касается построения блейд-серверов, существенный недостаток таких дисков - большое тепловыделение и большие размеры; поэтому в блейд-серверах применяют более компактные 2,5-дюйм диски.

Недостатки таких дисков очевидны: маленькие диски уступают 3,5-дюйм моделям по производительности из-за разницы в предельных скоростях вращения диска. Скорость вращения в современных 3,5-дюйм накопителях достигает 15 000 об/мин, в то время как только некоторые 2,5-дюйм модели обеспечивают 10 000 об/мин, а большинств - 7200 и даже 5400 об/мин. Вообще, диск - это дополнительное механическое устройство, работающее под большой нагрузкой. Оно не только выделяет тепло, но и уменьшает отказоустойчивость сервера, так как при поломке диска не всегда удается обойтись без останова сервера.

Нередко блейд-серверы используются для задач, не требующих большой емкости стационарного накопителя. В этом случае имеет смысл применять бездисковые блейды, например модели Hewlett-Packard или Egenera. Они могут оснащаться накопителем на основе флэш-памяти. Такие накопители надежнее, поскольку не имеют движущихся частей и энергонезависимы. В них предусмотрены стандартные дисковые интерфейсы (SCSI, ATA/IDE, Fibre Channel). Производительность флэш-накопителей - до 70 Мбайт/с при непрерывном чтении и 48 Мбайт/с при записи. Такие показатели производительности, сравнительно небольшой (до 4 Гбайт) объем памяти и (главное) ограниченное количество циклов перезаписи не позволяют применять флэш-накопители в качестве основного носителя. Тем не менее, для хранения и загрузки операционной системы их применение вполне оправданно: например, 1-, 2- или 4-Гбайт флэш-накопитель используется в блейде IBM, BladeCenter HS20 для загрузки ОС.

Однако наличие локальных накопителей вообще не обязательно для блейда - ПО и данные можно хранить на NAS или SAN. Бездисковый блейд, загружающийся с сетевого накопителя, не только более надежен, но (и экономно расходует место на диске. Кроме того, его проще обслуживать - для системы с бездисковыми блейдами в сетевом хранилище создают образы для загрузки блейдов, что позволяет централизованно обновлять ПО и восстанавливать систему в случае сбоев.

Сеть

Каждому серверу, работающему в кластере или независимо, необходима сеть для обмена информацией с другими серверами и с пользователями, а также для управления. Сетевых интерфейсов может быть несколько - для обеспечения отказоустойчивости и увеличения пропускной способности сервера на случай передачи большого объема информации. При использовании сетевых дисков может быть по три сетевых интерфейса на каждый сервер: для внутренней сети кластера, для связи с дисковым устройством и для пользовательского интерфейса.

Первый вариант построения сетевой подсистемы - смонтировать ее в шасси. Недостаток такого решения - фиксированное число интерфейсов, что может стать ограничением для пропускной способности системы. Второй вариант - специальные сетевые "лезвия". Удобство этого решения в том, что сетевых блей-дов в одном шасси может быть несколько, увеличивается пропускная способность и надежность системы. Последний вариант - не выносить сетевую подсистему за пределы блейда, оставив на нем автономный интегрированный сетевой адаптер. Этот вариант реализован в серверах компании HP.

Часто изготовители используют два варианта одновременно: оставляют на сервере встроенный сетевой контроллер с одним или двумя интерфейсами Fast Ethernet или Gigabit Ethernet и выносят в шасси или сетевой блейд несколько интерфейсов Fibre Channel и Gigabit Ethernet. В качестве носителей для межсоединения используются Gigabit Ethernet, Infiniband и Fibre Channel.

Сетевые блейды могут выполнять функции простого многопортового концентратора, однако чаще используются блейды с функцией маршрутизатора. Такое решение позволяет обеспечить максимальную производительность сетевой инфраструктуры, что особенно важно для кластерных систем.

Управляющие блейды

Поскольку системная плата блейдов упрощена с целью экономии места и уменьшения количества выделяемого тепла, подсистема управления блейдами также вынесена за их пределы - либо в шасси, либо в отдельные управляющие блейды. Управляющие блейды собирают и контролируют информацию о напряжении питания, температуре процессора и скорости работы каждого блейда. Они могут включать и выключать отдельные "лезвия" и предоставлять интерфейс для дистанционного администрирования, что особенно удобно для инсталляции ОС и прикладного ПО при установке новых блейдов, а также при обновлении ОС и ПО всей системы.

Помимо управляющих и сетевых блейдов существуют и другие типы специальных модулей-"лезвий", устанавливаемых в блейд-шасси. Например, это могут быть системы хранения и резервного копирования, KVM-ne-реключатели, блоки портов ввода-вывода и БП.

Дата добавления: 2015-10-24