Сетевой журнал: галерея ИТ-стратегии


“БОРЛАС”: соединяя эффективность аналитической системы и удобства технологий



задача:
Хранилище для банковских данных
другие решения:
РДТеХ: хранилище данных на основе технологий Oracle





 

Группа компаний "Борлас” – один из лидеров системной интеграции в области реализации полнофункциональных проектов по созданию корпоративных информационных систем. Компания работает на отечественном рынке более 10 лет, среди ее заказчиков – около 100 ведущих промышленных и государственных предприятий: ОАО "Магнитогорский металлургический комбинат”, ОАО "Молдавский металлургический завод”, ОАО "Мосэнерго”, ОАО "Кузбассэнерго”, Государственный таможенный комитет РФ, Комплекс архитектуры и строительства г.Москвы, РАО ЕЭС, ЦБ РФ, другие. Основное направление деятельности "Борлас” – построение корпоративных информационных систем управления на базе программного комплекса Oracle E-Business Suite.

Для поставки полного спектра решений по автоматизации управления информационными потоками компания оказывает своим клиентам услуги в области ИТ-консалтинга, а также реализует проекты на базе ИАСУП "АС+” (разработана на базе СУБД Oracle) и аналитической системы КАИСА (реализована на базе продуктов Oracle Express и OLAP-технологий).

"Борлас” обладает 6-летним опытом в реализации проектов по созданию аналитических систем. Наиболее масштабный проект по созданию аналитических хранилищ данных был выполнен специалистами компании для Магнитогорского металлургического комбината. Интересен и проект, разрабатываемый сейчас для Комплекса архитектуры, строительства и реконструкции города Москвы: система будет обеспечивать анализ финансирования всех строительных объектов столицы в разных аналитических разрезах, в том числе по источникам финансирования, по организациям-подрядчикам и т.д.

"Борлас” также обладает 5-летним опытом в области построения аналитических систем для банковского сектора. Одним из первых проектов в этой сфере стал Сберегательный банк Москвы. Так, уже в 1996 году сотрудники компании принимали участие в создании аналитической системы для этого финансового учреждения. В настоящее время компания работает еще с несколькими банками и страховыми компаниями. Об аналитических приложениях и эффективности их использования для оперативного управленческого учета, формирования единого источника данных для реализации стратегии управления информационными потоками мы беседуем с Алексеем Галаганом, Директором департамента информационно-аналитических систем компании "Борлас”.

Три кита аналитики
Типичная архитектура аналитической системы – трехуровневая, и именно ее применяет "Борлас” в большинстве проектов. На самом нижнем уровне находятся учетные системы и другие источники первичной информации. Данные из них собираются и согласовываются в едином информационном хранилище, которое представляет собой реляционную базу данных, построенную на основе СУБД Oracle при помощи инструмента по созданию реляционных информационных хранилищ Oracle Warehouse Builder. Стандартные возможности хранилища включают верификацию и агрегирование данных, построение на их основе стандартных отчетов при помощи инструментов Business Objects и Discoverer.

Над хранилищем надстраивается система, при создании которой используются средства OLAP-сервера Oracle Express, обеспечивающие функции управленческого анализа. Эта система позволяет пользователю строить неформализованные отчеты, проводить многомерный анализ, детализацию любого уровня, получать всевозможные диаграммы и графики, выполнять моделирование, прогнозирование и многое другое. Если же для заказчика недостаточно базового набора возможностей, в проект закладывается написание специализированных функций.

Сложность и доступность разработки
Что влияет на сложность создания аналитической системы и реализации подобных проектов? Во-первых, одним из факторов является охватываемая предметная область. Чем больше информационных потоков предприятие стремится учесть, тем более сложной будет аналитическая система. Стандартный подход состоит в том, что учету подлежат наиболее важные данные: отчетность по финансам, сбыту, закупкам и т.д. Как показывает практика, система охватывает 90% информации предприятия. Остальные же 10% информационных потоков остаются недоступными для автоматизации.

Другим фактором "риска” является интеграция информационных систем, используемых на предприятии: то, насколько согласованы друг с другом справочники, насколько "очищены” данные. Данные отличаются от информации: их нельзя помещать в информационное хранилище "как они есть”, иначе такой подход будет тормозить всю работу по проекту. И если предприятие не приложит определенных усилий для анализа, выбора, проверки, согласования и накопления данных, то хранилища как такого не будет, поскольку информацией просто нельзя будет пользоваться.

В-третьих, на создание аналитической системы влияет спектр функционального покрытия приложений: достаточно ли будет аналитикам предприятия предлагаемого базового набора функций – или же речь идет о сложном моделировании и прогнозе с использованием статистических методов анализа? Принципиальное усложнение системы повлечет за собой увеличение как сроков реализации проекта, так и стоимости системы. Именно поэтому тем заказчикам, которые задумались о построении аналитических систем, рекомендуется начать работу по созданию хранилищ с реализации простых задач. Предприятиям следует собрать данные, согласовать их, освоить базовую функциональность. Только после того, как аналитики предприятия действительно начнут пользоваться системой, смогут высказать свои пожелания по ее совершенствованию, можно будет переходить к серьезным доработкам базовой функциональности.

Ab ovo: Что есть "эффективность?”
Рассмотрим практический пример реализации проектов по созданию аналитических систем для банков, основываясь на опыте "Борлас” .

Аналитическую систему должны отличать три характеристики: целостность, полнота и согласованность данных. Кроме вышеперечисленного, аналитической системе необходимы определенные потребительские качества, такие как "дружественный” интерфейс, удобство пользования.

Чтобы систему могли использовать аналитики и руководители предприятия, разработчикам требуется обеспечить в ней представление данных в агрегированном виде, а также предусмотреть возможность мониторинга сколь угодно подробных деталей, вплоть до исходных данных для любого участка, показателя и т.д.

Агрегированное представление позволяет оператору получить общую картину, рассмотреть тенденции изменения тех или иных показателей. Если аналитика заинтересует, на основе каких исходных данных был получен тот или иной показатель, то он должен иметь возможность получить и эту информацию, причем достаточно быстро. Подобные отчеты и выборки часто бывают нужны при обсуждении различных вопросов на совещаниях, поэтому пользователю нужно иметь к ним доступ just-in-time, т.е. не за часы или минуты, а за секунды. Это непросто: на уровне исходных данных объемы хранения исчисляются десятками гигабайтов, и чтобы время выборки не превышало заявленных в задаче 15–20 секунд, необходимо очень тщательное проектирование системы.

Информационные хранилища представляют собой многомерные базы данных, а эффективность хранения в таких базах очень низкая. Поэтому их нельзя строить "в лоб”, резервируя память под все логически допустимые комбинации элементов. При таком подходе данные будут очень разреженными (основная часть ячеек останется незаполненной), за счет этого размер представления данных превысит физический объем любого накопителя. Данные необходимо "упаковать”, чтобы сохранить для пользователя высокую скорость работы с информацией.

Для этой цели в приложениях Oracle Express существуют специальные системные технологии, к которым "Борлас” добавляет свои предметно-ориентированные решения. Поясним это на предрасчете реляционных связей. Идея состоит в том, чтобы вносить в базу не только данные, но и заранее рассчитанные между ними связи.

Представим себе, что в базе хранятся проводки и относящиеся к ним документы. Разумеется, обычные реляционные связи позволят получить список проводок для выбранных документов, но время ожидания ответа будет недопустимо долгим. Имея же заранее построенный список связей между документами и проводками, мы сможем обратиться к нему и извлечь необходимые данные значительно быстрее. В целях оптимизации процессов передачи данных специалисты "Борлас” отказались от универсальности и классических схем построения информационных хранилищ в пользу предметно-ориентированной архитектуры и специализированных решений. Это позволяет добиться высокой эффективности, но одновременно может создать определенные технологические проблемы. В действительности заказчику необходима возможность будущего расширения системы, включение новых типов данных и т.д. Однако при получении дополнительных данных клиент должен одновременно помещать в базу и соответствующим образом рассчитанные связи, а также другую системную информацию.

Чтобы упростить процедуру расширения системы, специалисты "Борлас” создали специальный генератор базы данных. Сейчас им пользуются и сами разработчики. Идея состоит в том, что при создании базы все объекты: их типы, реквизиты и т.д., описываются в специальном файле (например, Excel). Данный файл "подается” на вход генератора, который в автоматическом режиме строит базу.

Если же после сдачи проекта заказчикам понадобится расширить базу, пользователь просто внесет в тот же Excel-файл новые реквизиты, опять запустит генератор, и эти реквизиты будут интегрированы в общую базу по требуемой технологии, т.е. со всеми системными добавлениями, обеспечивающими эффективность процесса.

На платформе Oracle
Решения "Борлас” базируются на программных продуктах корпорации Oracle: одноименной СУБД и OLAP-сервере Oracle Express. Они работают с большой скоростью, обладают высоким коэффициентом надежности, и их использование само по себе решает многие технические проблемы, которые, возможно, возникли бы на иной платформе.

Применение данной технологии позволяет разработчикам аналитической системы не беспокоиться о ее масштабировании в зависимости от числа пользователей. С увеличением их числа будут возрастать требования к серверной платформе, но никаких других преобразований кроме наращивания мощности сервера не потребуется. Перенос базы на новую платформу представляет собой чисто техническую операцию. Минимальный вариант системы – "персональный”, когда база располагается просто на одном ПК. Для обеспечения эффективной работы 5-10 аналитиков вполне достаточно использовать компьютер с предустановленным Windows NT/2000. Когда речь идет о 100 и более пользователей, то потребуется надежный RISC-сервер с операционной системой Unix (это может быть Sun Solaris или IBM AIX). Если же число еще более возрастает, то рекомендуется использовать мэйнфрейм (Oracle Express имеет соответствующие версии).

Системы на UNIX-платформах, поддерживающие одновременную работу до 100 пользователей, существуют и успешно работают. Исходя из примера реализации проекта по созданию аналитической системы для банка на базе КАИСА, вполне будет достаточно сервера NT. Благодаря технологиям Oracle решение "Борлас” может работать как клиент-серверное, так и в режиме "тонкого” клиента, что позволяет подключить территориально удаленных (в том числе регионально) пользователей. Вторым плюсом является то, что предлагаемая "Борлас” технология инвариантна по отношению к источникам данных. Источниками могут служить самые разные базы данных (в частности, не представляет сложности организация взаимодействия с BTrieve), а также текстовые файлы и таблицы Excel. Более того, если после запуска аналитической системы банк решит установить вместо ранее использумой АБС новую систему, работающую с другой СУБД, хранилище данных и аналитические приложения будут работать по-прежнему. Пользователю потребуется изменить только SQL-запросы на самом нижнем уровне системы. Все это достигается за счет способности СУБД Oracle работать практически с любыми базами данных непосредственно, либо через интерфейс ODBC.

Все на витрину
Какой должна быть последовательность разработки проекта? Если при создании других программных систем сделать определенные итерации, а впоследствии их переделывать, то они будут рассматриваться скорее как досадное недоразумение, иногда как неизбежное зло. В случае же создания информационных хранилищ и аналитических приложений, последовательность является обязательным процессом. Иначе говоря, разработку следует с самого начала планировать как итерационную, а значит, чем раньше появится обратная связь, тем лучше.

При построении информационных хранилищ по классической схеме "сверху вниз” проект зачастую как бы "уходит в себя”: работа идет, но результата не видно. Это несет в себе риск, ведь нет никакой гарантии, что получившаяся система будет одобрена пользователями и не потребуется ее коренной переделки. Специалисты "Борлас” видят выход в том, чтобы с самого начала разработки ориентироваться на конкретные прикладные бизнес-задачи и одновременно с хранилищем данных строить аналитические витрины, позволяющие извлекать информацию и предоставлять ее конечному пользователю.

Последовательность работы над проектом может выглядеть следующим образом: на начальном этапе проекта создается хранилище, после чего в него загружается часть (примерно 10%) данных. Для этих данных создается аналитическая витрина, которая предъявляется для оценки конечным пользователям: насколько их удовлетворяет выбранное представление данных, логические связи между данными в хранилище и пр.?

Пользователи задают свои вопросы, высказывают замечания и пожелания по усовершенствованию хранилища. Впоследствии разработчики модифицируют хранилище с учетом новых требований; зачастую структура и вообще архитектура хранилища может измениться на 80%-90%. После чего процедура повторяется.

Общее число итераций зависит от синхронности подключения к проекту аналитиков. Если удается вовлечь в проект одновременно всех ключевых пользователей системы, то разработчик сможет сразу учесть все замечания и получить реально работающую систему после двух-трех итераций. Если же подключение будет происходить постепенно по отделам, то вполне вероятно, что число итераций потребуется умножить на количество центров ответственности, от которых поступают правки к проектируемой системе.

Привлечь, но не отвлекать
Очевидно, что разработчики заинтересованы в синхронном подключении к проекту всех аналитиков предприятия. Если есть возможность выбора, то в первую очередь рекомендуется охватить системой тех пользователей, которые способны по максимуму поставить сложные задачи.

Участие конечных пользователей в проекте необходимо, причем уже на самых ранних этапах, ведь фактически именно эти специалисты ставят задачу разработчикам. Без их замечаний готовая система не будет продуктивно функционировать. Поэтому разработчики "Борлас” используют все возможности, чтобы заинтересовать аналитиков результатами своего труда.

Что такое завершенный проект по внедрению системы?

Прочитав сообщение об успешном внедрении какой-либо аналитической системы мало кто задумывается о том, что стоит за словом "внедрение”. Подразумеваться же могут самые разные вещи. По сути, выражение "система внедрена” должно означать, что она успешно применяется, дает эффективные результаты и приносит пользу, но критерии оценки все еще достаточно расплывчаты.

К аналитическим системам названный критерий оценки неприменим, поскольку они выполняют новые функции, которые до этого вообще не были реализованы. Какими же способами определить степень полезности аналитической системы? "Борлас” применяет следующие критерии: если после установки аналитической системы старая схема подготовки отчетности перестала применяться, то можно говорить об успешном внедрении. Другим критением оценки является использвание системы всеми аналитиками предприятия.

В заключении, мы поинтересовались, много ли вопросов и возмущенных откликов слышит разработчик?

В "Борлас” считают, что обратная связь необходима. Отсутствие претензий почти наверняка означает, что с системой никто не работает. А если отклик заказчика есть, то значит, возникла обратная связь. Такой подход позволяет проверить, насколько построенная аналитическая система соответствует корпоративным стандартам, имеющимся на предприятии, а также определить, нужно ли упрощать систему, проводить дополнительное обучение и т. д.

Разработчик аналитичексой ситсемы должен стремится к тому, чтобы провести "аналитику проекта создания аналитической системы”. Это помогает не только развивать и совершенствовать приложения, но и добавлять новые функции, необходимые для продуктивной работы аналитиков предприятия.

 
сетевой форум
архив
подписка на журнал
о сетевом

подписка на новости

подписка на журнал

архив номеров

архив новостей