Сетевой журнал: галерея ИТ-проектов

  ПРОЕКТ

Проект модернизации центра обработки данных в крупном банке


"Классика": не спешить и не медлить
ООО МПО "Классика" реализует информационные, сетевые и телекоммуникационные проекты различного уровня сложности, осуществляет подбор и поставку широкого спектра компьютерного, сетевого и коммуникационного оборудования, а также программного обеспечения.

По мнению специалистов компании, перед руководством условного банка стоит довольно сложная стратегическая проблема. Дело в том, что центре обработки данных используются серверы Alpha с ОС Tru64 UNIX, а теперь уже очевидно, что и Alpha, и Tru64 вскоре прекратят свое существование. Это означает, что банку необходимо cменить вычислительную платформу. С другой стороны, компания Hewlett-Packard, к которой по наследству от Digital Equipment и затем от Compaq перешли процессоры Alpha, планирует еще некоторое время выпускать новые системы на их основе, так что, хотя переход и неизбежен, его вполне можно отложить на несколько лет: сейчас просто установить более мощные серверы Alpha, а сменой платформы заняться, когда подойдет срок следующей модернизации.

Плюсы и минусы перехода
Вообще говоря, фирме, у которой уже развернут центр обработки данных на определенной платформе, предпочтительнее на ней и оставаться. Действительно, ни одна из существующих в настоящее время платформ не имеет кардинальных преимуществ перед другими, а процесс миграции всегда непрост: требуется знакомиться с новой платформой, переводить на нее ПО, обучать специалистов, и понятно, что в этом случае вероятность непредвиденных трудностей и вынужденных простоев выше, чем при простой замене серверов на более современные и мощные.

Выжидательная стратегия имеет смысл еще и потому, что вскоре должны стать доступными серверы на базе новых высокоскоростных процессоров Intel IA-64: возможно, именно они наилучшим образом подойдут нашему условному банку, хотя однозначно утверждать этого, конечно, нельзя.

С другой стороны, банк, как всякое успешное предприятие, должен развиваться. За несколько лет у него наверняка появятся новые филиалы и увеличится число клиентов. Соответственно вырастут базы данных, к ним будет подключено больше пользователей, и понадобится больше ИТ-специалистов для обслуживания вычислительной инфраструктуры. Вероятно, банк расширит спектр предоставляемых услуг, что потребует внедрения новых приложений или расширения функций старых. В силу всех этих причин переход на новую платформу, например, через три года будет заведомо сложнее и обойдется дороже, чем сейчас. Очевидно, возрастут и требования к доступности системы, так что банку, возможно, понадобится работать круглосуточно и без выходных. В таком случае необходимая для смены платформы остановка работы будет замечена клиентами, в то время как сейчас это еще можно сделать в нерабочие часы.

Конечно, оставшись на платформе Tru64 UNIX, банк получил бы возможность использовать имеющуюся сейчас систему для резервного центра обработки данных, а при смене платформы подобный вариант исключен. Однако тот же самый аргумент работает и в пользу немедленного перехода. Действительно, если банк перейдет на новую серверную платформу, то в дальнейшем, когда приобретенные серверы исчерпают свой запас производительности, их можно будет перевести в резервные. Если же закупать сейчас новые серверы Tru64 UNIX, то позже придется купить сразу как основную, так и резервную систему, т. е., условно говоря, выбросить уже не два, а четыре сервера Tru64 UNIX. И поскольку в данный момент необходимость построения резервного центра еще не слишком остра, специалисты "Классики" рекомендовали бы подождать с его созданием, сэкономив за счет этого на приобретении серверов.

Выбор серверной платформы
В долгосрочной перспективе HP предлагает пользователям Tru64 UNIX переходить на системы с HP-UX на базе процессоров PA-RISC или IA-64 (когда они будут доступны), но нашему банку, как считают в "Классике", совершенно не обязательно следовать этой рекомендации - можно выбрать и другую UNIX-систему. Вопрос о переходе на Windows, с точки зрения "Классики", поднимать сейчас преждевременно. Windows пока не очень хорошо масштабируется для работы с большим числом процессоров, а Windows-кластеры отстают от решений для UNIX по надежности и по числу поддерживаемых узлов. Конечно, Windows активно совершенствуется, так что в будущем ситуация может измениться, но если руководство банка решило не откладывать модернизацию, всерьез можно рассматривать только варианты с UNIX.

Наиболее популярные (и, следовательно, перспективные) на сегодня UNIX-платформы - это Solaris, HP-UX и AIX. В смысле затрат на переход с Tru64 они почти равноценны, т. е. объем работы по переносу приложений будет практически одинаковым.

Специалисты "Классики" предлагают остановиться на самой распространенной коммерческой UNIX-системе - Solaris. Хотя, с одной стороны, не вполне ясна ситуация с ее поддержкой на IA-64 (недавно Sun Microsystems отказалась от дальнейшей разработки Solaris для процессоров Intel), с другой, она обладает тем преимуществом, что уже сейчас поддерживается на машинах двух независимых производителей - самой компании Sun Microsystems и Fujitsu-Siemens Computers. Их модельные ряды во многом пересекаются, но (в отличие, например, от ситуации с Intel-серверами Compaq и Dell) не полностью тождественны, что позволяет более гибко выбирать нужную модель.

При этом компания Fujitsu-Siemens является не только сборщиком серверов, но и разработчиком процессоров на базе общей с Sun архитектуры SPARC V9. В настоящее время Sun Microsystems выпускает процессоры UltraSPARC-II и UltraSPARC-III, а Fujitsu-Siemens - SPARC 64 GP. Разработка ведется полностью независимо, но под контролем специального консорциума, который следит за тем, чтобы процессоры были полностью совместимы. Соответственно существует только одна версия ОС Solaris, работающая на всех процессорах SPARC; то же относится и к остальному ПО.

Благодаря популярности ОС Solaris выбор дополнительного ПО для нее, в том числе и от независимых производителей, весьма широк. Наиболее известна компания Veritas, которая предлагает для Solaris усовершенствованную файловую систему, диспетчер томов (Volume manager) и др. Реализаций кластеров для Solaris целых три - Sun Cluster, Veritas Cluster Server и PRIMECLUSTER (Reliant Cluster Server) от Fujitsu-Siemens.

По оценке специалистов "Классики", оптимальным вариантом для данного условного банка будет установка кластера (на базе PRIMECLUSTER) из двух 8-процессорных серверов PRIMEPOWER 650 производства Fujitsu-Siemens в конфигурации с четырьмя процессорами SPARC 64 GP. Производительность каждого из имеющихся процессоров Alpha 21164 533 МГц по результатам стандартного теста SPECint2000 составляет 176 единиц, а одного процессора SPARC 64 GP 675 МГц - 449 единиц, т. е. она более чем в 2,5 раза выше. Таким образом, 4-процессорная система, по крайней мере на целочисленных операциях, будет как минимум в 2,5 раза производительнее имеющейся. А поскольку число процессоров можно увеличить до восьми, производительность удастся нарастить еще вдвое, как это требуется по условию, даже при использовании имеющихся процессоров. Кроме того, в третьем квартале этого года должны появиться новые процессоры с тактовой частотой 1,1 ГГц и их можно будет устанавливать в данный сервер, так что запас производительности у него фактически еще почти вдвое выше.
Сервер PRIMEPOWER 650 (основные сведения)
МикропроцессорыSPARK64 GP
Тактовая частота микропроцессоров675 Мгц
Число микропроцессоровот 2 до 8
КэшL1 128+128Кб (на процессор), L2 8 Мб
Оперативная памятьот 1 до 32 Гб
Внутренние жесткие диски2 диска 18,2 или 36,4 Гб
Разъёмы расширения PCI8
Шины PCI4
Разрядность шины PCI64
Стандартные порты ввода-выводаОдин 100Base-TX, один RS232-C, клавиатура, мышь
Источники питания2
Операционная системаSolaris 8


Сеть хранения данных
Помимо основного кластера, на котором работает банковская система, у заказчика есть и другие серверы - файловый, почтовый, Web-сервер, поэтому логично будет использовать общую дисковую подсистему, подключив к ней все приложения, работающие на этих серверах. Такое решение позволит повысить надежность работы всех серверов, что очень желательно.

В качестве дисковой системы "Классика" рекомендует CLARiiON FC 4700 компании EMC2. (Кстати, Fujitsu-Siemens Computers является OEM-партнером EMC2, предлагает ее дисковые системы под своей торговой маркой и может поставлять их в составе комплексных решений с собственной технической поддержкой.) Эта компания специализируется исключительно в области систем хранения и является в ней признанным мировым лидером. EMC2 уделяет очень много внимания совместимости с различными операционными системами, и ей принадлежит одна из крупнейших в мире тестовых лабораторий.

Система хранения FC 4700 поддерживает до 110 дисков емкостью от 18 до 180 Гбайт с частотой вращения 10 000 или 15 000 об/мин и работает со всеми основными коммерческими версиями UNIX (Solaris, HP-UX, AIX, Tru64 UNIX), а также с Windows NT/2000 и Linux. Логические диски, принадлежащие разным машинам, полностью изолированы друг от друга, так что к FC 4700 можно без опасений подключать Web-сервер.

Поскольку за счет подключения к дисковой подсистеме все серверы оказываются связаны волоконно-оптическими линиями, появляется возможность дополнительной кластеризации. Специалисты "Классики" рекомендуют повысить надежность почтового сервера, объединив его в кластер на базе Microsoft Cluster Server с одним из файловых серверов.

Оптимальная организация хранения
Как и ряд других систем хранения данных, CLARiiON распределяет дисковое пространство между серверами на уровне не физических, а логических дисков. Благодаря этому мы можем обеспечить для каждого сервера не только нужный объем дисковой подсистемы, но и нужное быстродействие. Так, для почтового сервера важен только объем дисковой памяти и его подсистема может занять полностью один или несколько дисков. Серверу же баз данных необходима высокая скорость доступа к хранимой информации, поэтому базу лучше разместить на максимальном числе разных физических дисков. CLARiiON позволит отвести под базу лишь небольшую часть каждого диска, а оставшееся место занять другой информацией (например, принадлежащей другим серверам). Еще одно достоинство этой схемы - возможность гибко перераспределять дисковое пространство между серверами в зависимости от их потребностей: для этого не нужно освобождать диски и переносить их с одной машины на другую, достаточно изменить настройки системы.

Компания EMC2 предлагает довольно много разнообразного ПО для настройки дисковых систем и оптимизации их работы, включая специальный продукт для настройки используемой в нашем условном банке СУБД Oracle. Основное назначение этих программ - обеспечивать более равномерное распределение нагрузки между всеми дисками: это увеличивает быстродействие системы и одновременно предотвращает преждевременный износ отдельных дисков (тех, которые используются интенсивнее остальных).

Моментальные снимки
В CLARiiON поддерживаются аппаратные моментальные снимки (snapshots) дисковых подсистем, т. е. имеется возможность практически мгновенно построить, условно говоря, копию нужного логического диска и далее работать с ней. В действительности физическое копирование данных при этом не выполняется - формируется только журнал, фиксирующий изменения на основном диске. При обращении к снимку система проверяет по журналу, была ли изменена запрашиваемая информация, и если да, то возвращает старые данные, записанные в журнале, а если нет, то данные с основного диска. Однако на логическом уровне снимок неотличим от полной копии.

Моментальные снимки полезны для нескольких целей. В первую очередь они применяются при резервном копировании данных. Эта процедура требует достаточно больших ресурсов и традиционно выполняется в нерабочее время. При том что объемы информации растут, а число нерабочих часов имеет тенденцию сокращаться, времени на копирование во многих организациях становится слишком мало. Не исключено, что такое положение вскоре возникнет и в нашем условном банке: появление филиалов в других часовых поясах приведет к сокращению ночного перерыва в работе, а если банк, например, начнет предоставлять услуги через интернет, сервер должен будет работать просто постоянно. Моментальный снимок решает проблему, поскольку с него можно копировать данные в любое подходящее время.

С моментальными снимками удобно работать также при подготовке разнообразных выборок. Например, сервер аналитической системы может создать для своих целей копию основной базы данных и обрабатывать ее параллельно с тем, как главный сервер выполняет транзакции. Кроме того, их часто используют для тестирования новых приложений на "живых" данных.

Зеркала
Система FC 4700 позволяет создавать и поддерживать в реальном времени зеркальные копии информации, что можно будет использовать при создании резервного центра обработки данных. Зеркальная система должна быть связана с основной волоконно-оптическим кабелем - многомодовым (multi-mode), если расстояние не превышает 300 м, и одномодовым (single-mode), если оно больше. Средства, предлагаемые EMC2, обеспечивают взаимодействие систем на расстоянии до 10 км. В данном случае этого достаточно, поскольку точка, где предполагается создавать резервный центр, по условию отстоит от главного офиса на 4 км. Используя же дополнительные усилители от независимых производителей, можно разнести системы на расстояние до 40 км.

Одна система может отображаться одновременно на несколько зеркальных и, наоборот, служить общим зеркалом для нескольких других систем. В зеркальных системах возможны моментальные снимки, поэтому они наравне с основной системой годятся для резервного копирования данных, работы аналитической системы, тестирования новых программ и т. д.

Надежность
В AFC 4700 нет ни одной точки отказа - все узлы системы полностью продублированы. Она поставляется с двумя контроллерами Fibre Channel, имеющими, в свою очередь, по два FC-порта на 2 Гбит/с; каждый порт регистрируется как самостоятельный член FC-фабрики (Fibre Channel fabric). Естественно, предполагается одновременное подключение системы и работающих с ней серверов к двум FC-фабрикам; каждый сервер также снабжается двумя независимыми FC-контроллерами.

Система имеет два процессора, каждый с кэшем емкостью в 1 Гбайт, аппаратно защищенным от потери электропитания. При падении напряжения данные из кэша автоматически переписываются на диск, так что их удастся восстановить, даже если система будет вновь включена лишь после длительного перерыва (для самого кэша питания от батарей обычно хватает на сутки или двое, а затем данные теряются).

Диски AFC 4700 в процессе работы постоянно тестируются. Кроме того, поддерживается так называемый Global Spare, т. е. логический диск, который при отказе какого-либо диска служит для его горячей замены. В отличие от других аналогичных систем, где это просто свободный диск, Global Spare в CLARiiON представляет собой область, занимающую место на нескольких дисках, так что ни один из них не простаивает и загрузка всегда остается равномерной.

Резервное копирование данных
Для резервного копирования данных в условном банке сейчас используется Legato Networker. Это весьма неплохая система, не самая дешевая, зато хорошо работающая в неоднородных вычислительных средах. И поскольку банку предстоит в дальнейшем использовать как минимум две ОС - Solaris и Windows, "Классика" рекомендует оставить Legato Networker, заменив версию 4.4 на более современную 6.6.

Итак, у нас имеется FC-фабрика, к которой подключены серверы и их общая дисковая подсистема. Туда же включается мост (FC bridge), преобразующий интерфейс Fibre Channel в SCSI, и к нему подключается ленточная библиотека. Емкости используемой сейчас библиотеки StorageWorks TL891 на все серверы, по-видимому, не хватит. Специалисты "Классики" рекомендуют заменить ее на более современную и емкую модель с приводом Ultrium, хотя можно использовать старую и новую библиотеки вместе.

Поскольку объем резервного копирования достаточно велик, целесообразно выделить специальный сервер для управления этим процессом - систему на базе Windows или Solaris. Legato работает также с другими UNIX-системами, включая и Tru64 (правда, потребуется заменить нынешнюю версию 4.0F на 5.1), но использовать здесь старые Alpha-серверы вряд ли рационально. Особая отказоустойчивость серверу резервного копирования не нужна, он может быть относительно слабым (и, следовательно, дешевым) - собственно, достаточно даже не сервера, а специализированной рабочей станции. Кроме того, если использовать машину одной из архитектур, присутствующих в центре, она сможет дополнительно служить для различных вспомогательных операций, таких, как тестирование базы данных. На сервере копирования ведется база с информацией о том, на каких лентах какие данные записаны; на остальных серверах установлены агенты резервного копирования.

Переход, обучение, сопровождение
Переход на новую платформу разумно совместить с обновлением версий СУБД и прикладного ПО, которое намного заметнее сказывается на работе пользователей, чем замена аппаратуры. Таким образом, после подключения оборудования потребуется полностью развернуть на нем новое приложение и запустить его в тестовом режиме, а на рабочих станциях - установить соответствующее клиентское ПО и научить пользователей работать с ним. Затем нужно будет закрыть старую систему, импортировать ее данные в новую и произвести переподключение пользователей. Эти операции требуют перерыва в обслуживании клиентов, так что их следует запланировать на нерабочие часы, которые, к счастью, пока еще имеются. Впрочем, специалисты "Классики" считают, что при наличии квалифицированного персонала, способного хорошо все спланировать и организовать, на перенос системы понадобится не более четырех часов.

Поскольку в банке уже имеется сервер с Solaris, в нем, очевидно, есть и специалисты по этой ОС, и они смогут обучить коллег. Впрочем, те, кто знает Tru64 UNIX, вероятно, сумеют и самостоятельно разобраться с особенностями Solaris. Несложно найти и курс по Solaris для людей, знакомых с UNIX, - например, он постоянно читается в RedCenter (если бы требовался курс по Tru64 UNIX, ситуация была бы сложнее, но Solaris - очень популярная ОС). Стандартно такие курсы продолжаются от одного до трех дней.

На все перечисленное оборудование действуют гарантии производителей. Вообще в Москве, как считают специалисты "Классики", лучше пользоваться услугами непосредственно поставщика оборудования, чем его сервис-партнеров. Для серверов срок гарантийного обслуживания составляет один год, для дисковой системы - два. Стандартное обслуживание предусматривает выезд специалистов поставщика на место эксплуатации оборудования в следующий рабочий день, но "Классика" рекомендует заключить договор на расширенное гарантийное обслуживание, которое покрывало бы все рабочие часы банка и предусматривало сокращенное время реакции (например, четыре часа).

сетевой форум
поиск
подписка на журнал
о сетевом