|
Электронная память: хроника событий Управление обработкой данных Обзоры-2007/2008/2009/2010 |
||
|
30 октября 2009 г. состоялось мероприятие для ИТ-директоров, ИТ-менеджеров, архитекторов решений, на котором из первых уст – от российских и иностранных специалистов IBM - прозвучала самая свежая и актуальная информация об IBM Power Systems с IBM i |
IBM i – интегрированная операционная среда, уже более 20 лет
сохраняющая репутацию надёжной и безопасной платформы для бизнеса. Компании
полагаются на эффективную ИТ-инфраструктуру для поддержки важнейших
бизнес-приложений. Системы и бизнес-процессы должны соответствовать высоким
уровням сервиса, продиктованных бизнесом, а также быть динамичными для
использования новых возможностей. Операционная система IBM i (ранее известная
как i5/OS), работающая на серверах IBM Power Systems, предоставляет
масштабируемую и устойчивую к воздействию вирусов архитектуру, подтвердившую
свою надежность для работы бизнес-приложений. IBM i представляет собой надежное
сочетание реляционной базы данных, функций обеспечения безопасности,
веб-сервисов, средств организации сети и средств управления хранением данных.
Выполнение приложений на платформе IBM i в течение многих лет помогало компаниям
сосредоточиться на инновациях и получении дополнительной выгоды, а не на
управлении работой центров обработки данных.
С докладом
«Основные направления развития Power Systems и IBM i. Технологии виртуализации
PowerVM, решения на blade-серверах» выступил Craig E. Johnson, IBM Power Systems Product Mgt
по продуктам IBM i, PHP MySQL. Серверы IBM Power Systems с технологиями
виртуализации IBM PowerVM о операционная система IBM i представляют собой
инновационное решения для для интеграции смешанных вычислительных сред и
приложений и упрощения IT-инфраструктуры. Данной комплексное решение - простой
подход управления непрогнозируемым ростом объёмов данных. Технология PowerVM для
динамического разбиения на логические разделы обеспечивает возможность
одновременной работы нескольких операционных систем на одном сервере Power. Что
касается непосредственно процессора Power, то, как сказал Крейг Джонсон,
корпорация, выпуская каждые 3 года новый процессор, идёт по пути наращивания
количества ядер.
С докладом «Преимущества использования DB2 Web Query, PHP для IBM i, а также возможности
обеспечения высокой готовности с помощью Power HA for IBM i» выступила Alison Butterill, WW Power Systems Application Development Offerings
Manager.
Сообщение «Использование IBM i для построения портальных решений» сделал Василий
Дёмин, представитель по продажам ПО IBM Lotus, IBM EE/A.
В заключение конференции сообщение об опыте использования виртуализации от IBM в ЗАО «Райффайзенбанк»
сделал Евгений Герасимов, руководитель группы эксплуатации банковских
систем.
|
|
||
| Более полный поиск по теме Вашего запроса (наберите его в окне поиска) |
|
В дополнение к теме: |
1 июня 2011. Компания IBM, форум «AIX – 25 лет успеха!
Power Systems – машины времени», посвященный 25-летию операционной системы AIX.
В рамках форума - выступления Джима Митчелла (Jim Mitchell), старшего инженера,
Сертифицированного консультанта по IT-инфраструктуре, сотрудника Брифинг?центра
IBM для руководящего персонала в г. Остине, Техас, США, IBM Systems & Technology
Group, а также Алексея Перевозчикова, менеджера по продуктам и решениям Power
Systems, IBM EE/A.
Форум «AIX – 25 лет успеха!» соберёт ведущих мировых экспертов по UNIX и
RISС-системам для бизнеса, чтобы обсудить самые значительные события и
интересные технологические достижения из истории AIX и POWER, а также
преимущества, доступные пользователям AIX и IBM Power Systems сегодня.
Программа выступлений:
- Стратегия и планы развития Power Systems и AIX: вперёд в будущее!
Джим Митчелл (Jim Mitchell), старший инженер, Сертифицированный консультант по
IT-инфраструктуре, сотрудник Брифинг?центра IBM для руководящего персонала в г.
Остине, Техас, США, IBM Systems & Technology Group.
- Глобальный взгляд на технологии и инновации от IBM
Алексей Перевозчиков, менеджер по продуктам и решениям Power Systems, IBM EE/A
- Демонстрация "Высокая доступность - это просто"
|
Ретроспектива: |
К истории
AV-предпринимательства.
В
Торгово-промышленной палате состоялась презентация национального проекта «Российские предприятия — традиция и современность», включающего
производство и ТВ-показ на различных
каналах (в частности, еженедельно на
РТР 26 мин в prime-time) видеопрограмм
о сегодняшних производствах и предпринимателях — в контексте преемственности поколений. В числе прочего
проект открывает богатые возможности
для видеорассказа о дореволюционных
российских кинематографе и грамзаписи, и даже средствах связи. Например,
в рамках проекта учреждается звание
«Поставщик Двора Его Императорского Величества» — известно, что Николаю II была обеспечена такая услуга,
как телефонная линия в царскосельскую
резиденцию из Мариинского театра:
посредством этого «музыкального вещания» царь внимал произведениям, звучащим в театре, где служила балериной
его фаворитка Кшесинская.
А. Барсуков, журнал "ТКТ" №
6,
1999 г. (через эту ссылку можно бесплатно скачать справочник,
авторские материалы которого разрешено использовать для написания таких работ,
как эссе, сочинение, доклад, реферат, курсовая работа, дипломная работа,
бакалаврская / магистерская работа, диссертация)
|
«Meet the Experts II - Business Intelligence Forum» |
19 июня 2008 года в Москве состоялся Meet
the Experts II Business Intelligence Forum. Форум организован в виде презентаций успешных
проектов и дискуссий с их руководителями, которые не
только рассказали об особенностях внедрений BI-систем в
своих компаниях, но и ответили на вопросы участников
Форума, поделились своим видением решений интересующих
участников проблем. Основными темами Business Intelligence Forum
стали:
■ Что такое Business Intelligence (BI) для
организаций? Стандартная отчетность, аналитика в
режиме on-line, data mining или что-то иное?
■ Бизнес-преимущества от использования хранилища
данных. Кто их получает и всегда ли они очевидны?
■ Критерии и подходы к выбору технологических
компонент платформы для хранилища данных.
■ Как и с чего лучше начать проект по построению
хранилища данных?
■ Лучший опыт и типичные ошибки проекта построения
аналитического хранилища данных.
■ Вовлечение бизнес-пользователей в процесс работы
с аналитической/отчетной системой.
■ Как удовлетворить растущие потребности
бизнес-пользователей?
■ Миграция хранилища данных с одной платформы на
другую - когда это необходимо и может ли этот
процесс проходить гладко и безболезненно?
■ Эффективное управление большими объемами данных.
Подходы и средства.
Посетители форума задали экспертам большое количество
вопросов как на перечисленные выше темы, так и
относительно проектов, над которыми они работают. Участинками Business Intelligence Forum стали:
ИТ-директора, директора по финансам, маркетингу,
продажам и развитию бизнеса, менеджеров проектов по
построению BI-систем и хранилищ данных, руководителей бизнес-подразделений компаний. Со вступительным словом выступила
Алена Еникеева, Заместитель генерального директора, Business Development, Sybase
CIS. Она сделала обзор содержания форума и рассказала о партнерстве IBM и Sybase в области BI.
Её последующий доклад носил название
«Влияние модели данных на функциональность хранилища и стоимость получения информации».
С презентациями о партнерстве компаний IBM и Sybase и
предлагаемой ими программно-аппаратной платформе,
включающей аналитическую СУБД Sybase IQ и сервера IBM
Power System, выступили Алена Еникеева и Максим
Серебряный, руководитель отдела Power Systems, ИБМ
Восточная Европа/Азия.
Алена Еникеева во второй своей презентации говорила о влиянии модели данных на
функциональность хранилища данных и стоимость получения информации, необходимой
бизнесу: «Модель данных во многом диктует архитектуру хранилища данных и то,
насколько быстро можно будет получить из него новую информацию. Традиционный
подход состоит в том, что для хранения всех детальных данных в самом хранилище
используется реляционная модель, а для работы пользователей с использованием
оптимальных для анализа многомерных моделей создаются отдельные витрины данных,
содержащие определенные подмножества агрегированных значений. Витрины являются
промежуточным слоем, отделяющим пользователей от всей совокупности детальных
данных в хранилище. Получение нового отчета при такой архитектуре - длительный и
затратный процесс.
С сообщениями выступили:
■ Майкл Павленко, Генеральный директор, Sybase CIS.
■ Виктор Лебков, Начальник Управления развития систем финансовой информации, Альфабанк («Роль промышленной модели данных в успешной реализации проекта по созданию
корпоративного ХД»).
Презентация Виктора Лебкова в этом году стала продолжением презентации, сделанной в ноябре
прошлого года на конференции Meet The Experts I, Кириллом Лядовым,
Вице-президентом, Начальником департамента MIS. Виктор сфокусировался на роли
технологической платформы, модели данных и эффективной организации проектных
процессов для успешного внедрения хранилища. Проект по созданию корпоративного храниища данных на основе промышленной модели данных для банков Sybase IWS for
Banking в «Альфабанке» был запущен в 2005 г.
■ Азиф Рахман, директор, Application Development, LoanPerformance («Успешный опыт создания и оптимизации производительности многотерабайтного ХД»);
Максим Серебряный, IBM («Аппаратно-программная платформа хранилища данных от IBM и Sybase
- производительность и совокупная стоимость владения). Loan Performance - крупнейший провайдер аналитической информации и инструментов
по управлению рисками в области ипотечного кредитования, США.
В качестве фокуса для своей презентации Азиф Рахман, Директор департамента
разработки приложений (Asif Rahman, Director, Application Development Department)
выбрал проблему управления процессом роста хранилища данных и его
масштабирования. «Наша компания находится в бизнесе продажи аналитической
информации о сделках с недвижимостью в США. Высокая скорость предоставления
клиентам запрашиваемой информации является для нас критическим фактором
выживания. Когда время реакции нашего хранилища данных снизилась из-за быстрого
прироста данных, это немедленно отразилось на количестве клиентов, приобретающих
наши информационные продукты. Мы попросту начали терять клиентов», - рассказал Азиф Рахман. - «Компании пришлось искать эффективный путь масштабирования.
Вместо лежащего на поверхности решения об увеличении аппаратных ресурсов, было
решено пойти более «интеллектуальным» путем. Возможности масштабирования за счет
наращивания «лошадиных сил» ограничены, а цена при этом очень высока. Мы решили
оценить возможности масштабирования за счет более «умного» ПО. Решением могло
стать специализированное решение. Рассмотрев различные варианты аналитических
СУБД и пройдя через сравнительное тестирование, мы выбрали СУБД Sybase IQ.
Решающими факторами, определившими выбор, стали впечатляющая компрессия данных,
очень высокая скорость обработки запросов при низких требованиях к аппаратному
серверу. Особенно важной для нас стала очень хорошая масштабируемость Sybase IQ
при обработке множества конкурентных запросов».
■ Денис Сологуб, начальник управления ИТ, Азбука Вкуса («Опыт запуска проекта по
созданию Корпоративного Хранилища Данных»);
Азбука Вкуса - сеть московских супермаркетов премиум класса.
Денис Сологуб рассказал о своем опыте выбора
технологической платформы и запуске проекта по созданию корпоративного хранилища
данных.
«Растущий спрос на аналитику и новые отчеты из ERP-системы со стороны наших бизнес-пользователей привел к необходимости отделить аналитическую обработку
корпоративных данных от оперативной. Только таким образом мы могли снять ставшие
недопустимыми нагрузки для ERP-системы и удовлетворить запросы бизнеса. Мы
встали перед необходимостью выбора технологической платформы и подхода к
реализации проекта по созданию корпоративного хранилища данных. Основными
критериями при выборе платформы стали следующие: возможность интеграции с
существующей ERP-системой, дружественность интерфейса для бизнес-пользователей,
быстрая обработка новых незапланированных запросов пользователей «на лету». В
общем, максимум возможностей для самостоятельной аналитической работы
пользователей и минимум участия в процессе со стороны ИТ-департамента. В
качестве пользовательского интерфейса мы выбрали Oracle BI. В этот пакет входит
также инструментарий ETL и СУБД от Oracle. ETL мы успешно используем, а вот в
качестве СУБД после тщательного изучения всех «за» и «против» выбрали
специализированный «движок» Sybase IQ. Хотя это означало дополнительные затраты
на лицензии СУБД (Oracle мы получили в составе пакета бесплатно), было понятно,
что преимущества в производительности и низкие требования к аппаратному
обеспечению, оправдают эти дополнительные затраты «на входе». В результате
использования специализированной СУБД, а также готовой модели данных Sybase IWS
for Retail, в рамках первого этапа проекта всего за 4 месяца мы получили фунциональность, которую по нашим оценкам и исходя из опыта индустрии обычно
удается реализовать не менее, чем за полтора года».
■ Скотт Смит, директор Data Warehouse Operations, comScore Networks («Опыт выбора технологической платформы для самого большого в мире хранилища
данных на ОС Windows»).
ComScore Networks - глобальный провайдер информации по поведению в интернет,
США; Grand Prize в рейтинге Winter Top Ten в номинации "Самое большое в мире ХД
на ОС Windows".
«Хранилище данных - это система жизнеобеспечения нашего бизнеса, построенного на
предоставлении клиентам информации, полученной путем анализа огромных объемов
данных о глобальном использовании интернет», - сказал Скотт Смит (Scott Smith),
Director of Data Warehouse Operations, ComScore Networks. - «В начале пути в
2002 г. мы понимали, что закладываемая нами платформа должна будет расти вместе
с нашим бизнесом и объемами анализируемых данных. В то же время, для начинающей старт-ап компании, которой мы являлись в тот момент, фактор совокупной стоимости
владения являлся критическим. Мы искали решение, которое бы обеспечило
эффективное хранение и очень высокую скорость аналитической обработки огромных
объемов данных, одновременно будучи экономичным с точки зрения обслуживания и
аппаратного обеспечения. В результате наше хранилище данных работает на серверах
класса «commodity» на ОС Windows. Специализированная аналитическая СУБД Sybase
IQ обеспечивает компрессию хранимых данных и фантастическую скорость обработки
на бюджетной аппаратной платформе. Объем данных после компрессии составляет
более 30 Тб данных. Эти данные доступны в режиме он-лайн для более чем 250
пользователей».
■ Люсьен Коста (Португалия), руководитель проекта по созданию хранилища данных (с 1997 по 2007
гг.), Vodafone («Опыт создания хранилища данных в компании Vodafone»).
Люсьен Да Коста с конца прошлого года работает в IBM Global Business Services.
До этого момента на протяжении 10 лет был менеджером проекта по созданию и
развитию корпоративного хранилища данных в компании Vodafone Portugal. В своей
презентации Люсьен рассказал о пути развития хранилища данных в компании,
проблемах и ограничениях, с которыми пришлось столкнуться, и решениях, которые
принимались для их преодоления. Одним из основных факторов, тормозящих в свое
время развитие хранилища, была модель данных 3 NF, не ориентированная на
аналитическую работу с данными. Для снятия ограничений, которые накладывала эта
модель, была приобретена промышленная модель данных для телекоммуникационных
компаний Sybase IWS for Telco, построенная на «гибридных» техниках, оптимальных
для анализа.
■ Билл Инмон («Архитектура хранилища данных и его функционально-стоимостные
характеристики»; «Успешный проект по созданию хранилища данных - 10 ключевых факторов
успеха»).
Презентации Билла Инмона были адресованы тем, кто стоит на пороге внедрения
хранилищ данных и ищет ответы на вопросы о том, как правильно начать проект и
избежать фатальных ошибок. «Меня часто спрашивают, как правильно подготовиться к
проекту по созданию хранилища, сколько времени целесообразно потратить на сбор
требований? Я отвечаю так, - можно очень долго сидеть на берегу, но ты не
поплывешь, пока не войдешь в воду», - сказал Билл Инмон. - «Процесс сбора
требований, растянутый на долгие месяцы, скорее всего приведет к дискредитации
проекта из-за высоких затрат и отсутствия практического результата. Не нужно
стремиться построить идеальное хранилище. Важно начать, и тогда в процессе
многие решения будут найдены естественным образом. В индустрии накоплен
достаточно богатый опыт, который, если им разумно воспользоваться, позволит
избежать самых распространенных проблем. В частности, я рекомендую где это
только возможно, использовать готовые модели данных для хранилища.
Проектирование модели «с нуля» требует основательной экспертизы и несет в себе
значительные риски для проекта. Если до вас путь проектирования хранилищ прошли
десятки компаний из одной с вами индустрии, почему не использовать этот опыт в
виде готовых индустриальных моделей данных?».
■ Yapi Kredi Bank - крупнейший коммерческий банк Турции. Озгур Кайнар, ИТ-директор
и руководитель группы КХД и BI-приложений (Group Head, DWH & BI Applications),
представил опыт построения корпоративного хранилища данных в банке, включая
такие вехи как миграция хранилища с универсальной РСУБД на специализированную
аналитическую СУБД Sybase IQ в 2003 г., слияние клиентских баз данных в рамках
объединения с другим крупным банком (Koc Bank), запуск отчетности в стандарте Bazel II и др.
На сегодняшний день КХД Yapi Kredi Bank служит единой интегрированной платформой
для всей отчетности и аналитики в банке и покрывает розничный банк, коммерческий
и корпоративный банк, кредитные карты, внутренний аудит, финансовое планирование
и контроль, отчетность для надзорных органов. Только с начала 2008 г. на базе
хранилища были запущены 3 новых проекта: отчетность по Bazel II, поддержка
колл-центра и подсегментация клиентской базы на основе данных из хранилища.
■ Налоговое управление США (Internal Revenue Service, IRS).
Налоговое управление США является одним из самых эффективных в мире
администраторов налогообложения. Задачей департамента исследований, аналитики и
статистики IRS является обеспечение для аналитиков IRS доступа к единой цельной
базе точных актуальных данных о налогоплательщиках США.
Проект по созданию аналитического хранилища данных IRS был представлен на
конференции Ричардом Пилом (Richard Peal), менеджером практики государственного
сектора профессиональнывх услуг Sybase и менеджером проекта по созданию
централизованного хранилища данных в IRS с 1998 по настоящий момент. Хранилище данных, построенное на базе СУБД Sybase IQ, сегодня содержит
информацию за 10 лет по 260 миллионам налогоплательщиков (физические и
юридические лица). Каждая налоговая декларация попадает в хранилище данных и
немедленно становится доступной для ad hoc анализа, который осуществляют 400
аналитиков IRS.
Организаторы форума:
Корпорация IBM является
крупнейшей в мире корпорацией, работающей в области
информационных технологий, которая более 90 лет
сохраняет лидерство в разработке и внедрении
инновационных решений для бизнеса. Благодаря
использованию собственных ресурсов и ресурсов бизнес-партнеров в 170 странах мира, IBM предлагает
набор услуг, решений и технологий, которые позволяют
предприятиям и организациям в полной мере
использовать преимущества новой эпохи электронного
бизнеса. Приобретение корпорацией в 2002 году
консалтингового подразделения PricewaterhouseCoopers,
крупнейшей в мире аудиторской группы, позволило
расширить портфель решений и сделать его в полной
мере отвечающим современным потребностям клиентов.
Сейчас спектр предложений IBM Business Consulting
Services включает в себя бизнес-решения любой
сложности - от стратегического консалтинга и
модернизации бизнеса до внедрения сложнейших ИТ-инфраструктур и управления ими.
Sybase является крупнейшей из
ведущих мировых компаний-разработчиков программного
обеспечения, которая полностью сфокусирована на
разработке открытых, кросс-платформенных решений,
обеспечивающих сбор, обработку и передачу информации
от места ее возникновения до места, где она нужна в
данный момент. Критически важные приложения в
финансовых, торговых, телекоммуникационных
компаниях, а также в государственных организациях и
медицинских учреждениях работают на технологиях Sybase.
Организационный партнер - компания
«Форт-Росс»,
российское маркетинговое агентство,
специализирующееся в сфере ИТ. Имея более семи лет
опыта организации конференций, выставок, семинаров и
тренингов для ИТ-индустрии в России и за рубежом, мы
создаем площадки, позволяющие российским и
международным ИТ-компаниям найти своих клиентов и
партнеров в России и СНГ, а пользователям
информационных технологий – получить доступ к самой
точной и объективной информации об инновационных
продуктах из области программного и аппаратного
обеспечения.
Sybase IQ
Sybase IQ - это специальная СУБД для
аналитической обработки данных, обеспечивающая очень
высокую скорость работы систем отчетности и анализа на
стандартном аппаратном обеспечении и операционных
системах при минимальных затратах.
В отличии от традиционных (OLTP) баз данных, Sybase
IQ изначально проектировалась только для аналитической,
а не транзакционной обработки данных. Именно под эту
задачу была создана принципиально другая внутренняя
архитектура этого сервера – структура хранения данных по
колонкам. Кроме того, в Sybase IQ применяются
специальные запатентованные технологии индексирования и
хранения данных, которые обеспечивают беспрецедентно
высокую производительность этого сервера и возможность
компактно хранить данные. За счет поколоночной
организации и сокращения на порядки (!) количества
операций ввода/вывода данных Sybase IQ предъявляет
минимальные требования к дисковому пространству и
процессорам по сравнению с традиционными РСУБД,
структура которых основана на построчной организации
данных.
Основные преимущества:
■ Беспрецедентно высокая скорость выполнения
запросов и отчетов – в 10–100 и более раз быстрее,
чем в традиционных СУБД.
■ Любые ad hoc (!) запросы за секунды без
дополнительных настроек.
■ Уникальные патентованные технологии хранения и
сжатия данных – объем данных с индексами в Sybase IQ
составляет всего 30% - 70% от их первоначального
объема (в результате «взрыва данных» в традиционных
СУБД их объем увеличивается на 150% - 500%).
■ Минимальные требования к аппаратным ресурсам –
снижение требований к дисковым объемам в 5 – 10 раз
за счет сжатия данных и очень высокая
производительность при меньшем количестве
процессоров за счет их эффективного использования.
■ Практически «нулевое» сопровождение – очень
высокая производительность Sybase IQ, даже на
сложных незапланированных запросах, обеспечивается
без дополнительных ресурсоемких настроек.
■ Очень высокая скорость загрузки – более 60 Гб в
час с одновременным построением индексов (IBM
pSeries p570, OS AIX).
■ Линейная масштабируемость – при увеличении
количества пользователей (до тысяч) и объемов данных
(до терабайтов).
■ Минимальные затраты – за счет значительного
снижения требований к аппаратным ресурсам и
сопровождению.
Победы и награды:
Sybase IQ - лидер независимых тестирований СУБД
для обработки аналитических запросов в категории
"цена/производительность".
Sybase IQ получила награду в номинации "Лучшее
внедрение в области BI", 2004 Computerworld.
Sybase IQ лидирует по количеству наград от "Winnter
TopTen".
Примеры внедрений Sybase IQ и IWS
Количество организаций, в которых внедрены
аналитические решения Sybase, насчитывает несколько
тысяч по всему миру. Это страховые, нефтяные,
телекоммуникационные компании, крупнейшие мировые банки,
государственные федеральные службы, и другие
организации, где накопленная годами критически важная
информация требует моментальной аналитической обработки
для принятия правильного и своевременного решения:
Технологии аналитической обработки информации в АППБ
Аваль; В компании ЛУКОЙЛ-Интер-Кард реализован проект по
построению аналитического хранилища данных на базе
технологий Sybase;
Хранилище данных ЗАО "Первый Контейнерный Терминал";
Хранилище данных филиала ОАО «Северо-западный
Телеком» компании «Мурманэлектросвязь»;
Приватбанк автоматизирует систему отчетности и
анализа показателей деятельности банка с помощью
технологий Sybase;
Создание единой системы платежей на технологиях
Sybase в Проминвестбанке;
Корпоративное Хранилище Данных АКБ "Пробизнесбанк";
Информационная система Казахстанского Центра
Межбанковских Расчетов Национального Банка
Республики Казахстан (КЦМР);
Sybase и Yapi ve Kredi Bank (Турция) - Хранилище
данных в финансовой организации;
Nielsen Research - многотерабайтное хранилище данных
от Sybase;
Allianz Australia Accelerates Business Intelligence;
Sybase и Министерство Статистики Канады -Хранилище
данных для обработки больших объемов статистических
данных;
Sybase и Fortis Bank (Бельгия) - Больше аналитики
при меньших затратах;
EMI Music Germany;
TransUnion;
Citigroup;
IXIS Bank;
Airtel Vodafone;
China Telecom;
Samsung Life Insurance.
Sybase Industry Warehouse Studio
Промышленное решение для создания аналитических
хранилищ данных. Построение аналитического хранилища данных призвано
решить задачу объединения данных различных оперативных
систем компании и хранение информации в виде,
оптимальном для выполнения аналитических запросов и
подготовки отчетности. В идеале, хранилище данных
выступает в роли поставщика данных во все аналитические
и отчетные системы компании. От того, каким образом
спроектировано хранилище, будет зависеть как скорость
подготовки новых отчетов, так и возможность для
пользователей своевременного получения необходимых им
данных, в том числе, в режиме незапалнированных запросов
(ad-hoc).
Что такое Sybase Industry Warehouse Studio? Sybase Industry Warehouse Studio (IWS) - это
промышленное решение для построения и сопровождения
аналитических хранилищ данных для различных индустрий
(банки, страховые компании, телекоммуникационные
компании, розничные сети и другие клиентоцентрические
виды бизнеса). Его основу составляет промышленная модель
данных, построенная на базе уникальных техник
моделирования, которые обеспечивают хранение
исторических транзакционных данных и агрегатов в единой
структуре, сходной со "звездой". Это позволяет полностью
снять все известные ограничения, накладываемые
нормализованными моделями, традиционно применяемыми при
построении хранилищ.
Ограничения хранилищ данных, построенных с
применением нормализованных моделей данных включают в
себя обязательное построение витрин данных и отсутствие
прямого доступа ко всей совокупности данных в хранилище
(то есть затрудненность или невозможность перекрестного
анализа); возможность противоречивости результатов,
полученных из разных витрин; отсутствие цельной картины
масштаба всего бизнеса; сложность детализации значений,
полученных в отчетах (как правило, в витринах данных
хранятся агрегаты и детализация затруднена или
невозможна); сложная "двуслойная" архитектура хранилища
(консолидированное хранилище исторических транзакционных
данных + витрины), высокая стоимость внедрения и
сопровождения. Стоимость получения новой информации из
таких хранилищ очень высока.
Функционально-стоимостные преимущества.
Sybase IWS снимает все перечисленные ограничения и
обеспечивает целый ряд преимуществ в области стоимости и
функциональности системы:
- решение "out-of-the-box" Sybase IWS - физическая
модель данных, сокращающая стоимость реализации
проекта в среднем на 30% за счет упрощения
архитектуры решения;
- прямой доступ к хранилищу данных без витрин
данных (витрины могут создаваться исключительно
исходя из специфических бизнес-задач);
- любой перекрестный анализ по всей совокупности
данных в хранилище;
- любой уровень детализации, ограниченный только
детальностью помещенных в хранилище данных (до
уровня транзакций);
- хранение транзакционных и агрегированных данных
в одной модели, что позволяет реализовывать
необходимые агрегаты на уровне ETL, не допуская
самостоятельных расчетов пользователями, но
обеспечивая для них возможность drill-down по
агрегированным показателям до уровня транзакций;
- обеспечивает в 2-3 раза лучшую по сравнению с
другими моделями производительность на равноценной
технологической платформе.
Преимущества при реализации проекта.
Применение Sybase IWS позволяет быстро и эффективно
построить хранилище данных за счет наличия готовой
модели и методологии ее внедрения, обеспечивающей
получение ощутимых результатов за короткие промежутки
времени. Кроме того, использование Sybase IWS дает
следующие преимущества:
- нулевые риски создания ошибочной и/или
неоптимальной модели данных за счет применения
готовой модели, построенной с использованием
огромного отраслевого опыта в области построения
хранилищ данных;
- повышение производительности, масштабируемости и
доступности данных в хранилище за счет использования
проверенных техник многомерного моделирования;
- поддержка пофазового внедрения за счет модульной
архитектуры;
- простота кастомизации готовой модели в
соответствии с уникальными требованиями конкретной
компании;
- возможность использовать любые средства ETL
(DataStage, Informatica, Sunopsis, Sybase ETL и
т.д.), инструменты визуализации (Business Objects,
Cognos, MicroStrategy и т.д.) и РСУБД (IBM DB2,
Microsoft SQL Server, Oracle, Sybase ASE и Sybase IQ
Multiplex);
- возможность использования любых аналитических
пакетов "поверх" консолидированного хранилища данных
на базе Sybase IWS.
Компоненты решения. В состав IWS входит физическая модель (структура)
базы данных, реализованная в Sybase PowerDesigner,
логические структуры для работы различных аналитических
приложений, методология внедрения и средства для
управления и кастомизации модели для соответствия
требованиям конкретной компании. IWS - это гибкая и
открытая система, которая легко интегрируется с
использующимися в компаниях технологиями.
Отзывы клиентов
Мнение представителей российских и украинских
компаний, использующих Sybase:
"Регламентный отчёт по данным розничного бизнеса банка
за квартал, формирование которого на основе традиционной
(OLTP) СУБД занимало около 8-ми часов и приводило к
значительной утилизации ресурсов сервера баз данных и
существенным замедлениям работы других пользователей,
был перенесён силами специалистов банка на Sybase IQ.
При этом время выполнения отчёта сократилось до 8-ми
минут. Дополнительная настройка совместно со
специалистами Sybase CIS позволила сократить время
формирования этого отчёта до 40 секунд". (Кадощук И. Т.,
Начальник департамента
информационных систем, Газпромбанк)
"После создания аналитической системы хранения и
обработки информации на базе Sybase IQ
бизнес-пользователи компании получили прямой доступ к
имеющимся в компании данным и смогли без привлечения
ИТ-персонала видеть реальное состояние бизнеса компании,
срок получения аналитических отчетов сократился от
нескольких дней до нескольких секунд." (М. Л. Бриф,
Начальник Управления передачи и обработки информации
"Лукойл-Интер-Кард")
"Регламентный отчет, ежедневно получаемый в банке
Аваль в течение 6-ти часов, после простого переноса базы
без изменений её структуры на Sybase IQ, был получен за
6 секунд." (Октябрь, 2004 г.
А. Б. Дзюбатый,
Заместитель директора Департамента Информационных
технологий
Банк "Аваль")
"С Sybase IQ стало возможно в разы сократить время
формирования разнообразных по форме и содержанию
централизованных отчетов существенно меньшими силами
ИТ-специалистов. В перспективе стоит задача построить на
базе Sybase IQ аналитическую систему для
бизнес-пользователей." (С. Ю. Комарова,
Менеджер проекта Единого Расчетного Центра филиала
"Мурманэлектросвязь"
ОАО "Северо-Западный Телеком")
"Для того, чтобы дать возможность
бизнес-пользователям самостоятельно осуществлять анализ
данных, обеспечивая при этом высокую скорость обработки,
было принято решение построить хранилище данных с
помощью специализированного СУБД Sybase IQ и Business
Objects в качестве аналитического инструмента." (А. В. Ермолин,
Директор по информационным технологиям
ЗАО "ПКТ" ("Национальная Контейнерная Корпорация")
"Решение о приобретении было принято после того, как Sybase IQ продемонстрировал сокращение времени расчета в
40 раз на типичных задачах ежедневной обработки операций
по банковским картам, расчетов начислений и получения
оборотно-сальдовых ведомостей." (В. С. Черевко,
Заместитель руководителя направления и
информационных технологий
"Приватбанк")
"Основой для построения Хранилища данных в Первом
Украинском Международном Банке является Sybase IQ. В
отличиe от технологий традиционных СУБД, Sybase IQ
обеспечивает отличную производительность без интенсивной
настройки, высокую скорость анализа данных (более чем в
100 раз выше по сравнению с традиционными CУБД),
гибкость и экономичность одновременно с эффективной
поддержкой большого количества пользователей." (В. В. Липовецкий,
Заместитель начальника Управления информационных
технологий
"Первый Украинский Международный Банк")
"Использование сервера Sybase IQ позволило решать
экономические задачи, связанные с прогнозированием
финансовых вложений и ожидаемых прибылей, и позволило
увеличить точность подобных расчетов за счет
использования большего объема статистической информации.
Стало возможным отслеживать статистику движения средств
и клиентов за длительные периоды времени, а также решать
задачи, связанные с долгосрочным планированием.
Структура хранения информации на сервере Sybase IQ
позволяет на порядки снизить время расчета для месячных
объемов хранения информации, а в случае обращения к
более ранним периодам временные затраты сократились с
недель до часов (отпала необходимость поднимать данные
из архивов)." (А. В. Патлякевич,
Заместитель начальника Компьютерного центра
"Проминвестбанк")
Отзывы представителей западных компаний:
"What Sybase
IQ did was raise the awareness that a lot of the
reporting and analytics … could be moved onto a Sybase
IQ platform, dramatically speeding up those original
processes. We've proven it's very easy to do this - to
move data from ASE to IQ - and we save disk space as
well because the compression within Sybase IQ is
excellent." (Scott Wyld,
IT Project Manager,
Allianz Australia Insurance Limited)
"When the
selection was down to two products, IBM's UDB and Sybase
IQ, we conducted tests on both. We selected Sybase IQ
because it provided faster query results, reduced data
storage requirements, and gave lab test performance
results that were sometimes 10 times as good at the
competitor." (Alpaslan Ozlu,
General Manager of Technology Management
Yapi Kredi Bank)
"We are able
to deliver one data warehouse for all our applications,
at one-third the storage of conventional technologies,
while seeing performance gains as advertised with IQ
Multiplex." (Kim Ross
CIO,
Nielsen Media Research
"Our success
is directly due to the support we received from Sybase
and the quick and easy implementation. As a result, this
architecture is presented as a model for other divisions
and agencies for data warehousing." (Samuel Foster,
President, FosterSoft)
"The model saved between four and six times the storage
volume required compared to other RDBMSs available on
the market, with the attendant reduction in hardware,
support, administration and maintenance costs." (Pedro Romera,
Systems Engineering Manager, Telefonica)
"Sybase IQ
reduced loading and indexing from 30 minutes to 2.5 to 3
minutes. Query speeds were 20 - 50 times faster than
Oracle. Time to add a column was reduced from 4 hours
with Oracle to 15 minutes with IQ." (Jeff Butler,
Assistant Director, Office of Statistical Computing
Department of Transportation
Bureau of Transportation Statistics)
"Together, Sun
and Sybase have created a solution that packs an
extraordinary amount of data processing and analytical
power into a small footprint that represents a realistic
investment for small and mid-sized firms.
Sybase's tight architectural integration with Sun
technology provides us with the assurance we need that
the technology foundation of our data warehouse will
scale to meet our growing needs in the future." (Henri Asseily,
Chief Technology Officer and
Founder of BizRate.com)
Платформа IBM System p
Серверы IBM на базе процессорной архитектуры POWER
являются эталоном производительности, надежности и
гибкости конфигурирования для корпоративных сред Unix и
Linux. В последних версиях процессора POWER реализованы
самые передовые инновации, которые делают RISC-серверы
IBM идеальным выбором для корпоративных сред, в которых
сделан акцент на производительности и высокой готовности
сервисов. В каком бы качестве не использовался сервер
семейства IBM System p - сервер приложений, Web-сервер,
сервер баз данных и т.д. - эти решения обеспечивают
радикальное сокращение плановых и внеплановых простоев,
бесперебойную работу служб, возможность масштабирования
вычислительных ресурсов по мере возникновения
потребности в них, а также простоту администрирования
системы.
Тестирование Sybase IQ на платформе IBM System p
Что такое тестирование Sybase IQ на IBM System
p?
В Вашей компании идет выбор надежной и масштабируемой
платформы для построения аналитической системы/хранилища
данных? Или перед Вами стоят конкретные задачи по
повышению эффективности работы существующих систем
Business Intelligence? Компании IBM и Sybase предлагают Вам протестировать
совместное решение СУБД Sybase IQ для IBM System p на
Ваших данных. Сравнительное тестирование позволит Вам
проверить заявленные возможности и производительность
платформы и оценить его преимущества для решения задач
Вашей компании.
Что необходимо для тестирования?
Прежде всего, для проведения тестирования необходимо
заключение официального соглашения на проведение
тестирования и выделение ответственного со стороны Вашей
компании. Далее Вам необходимо определить, какие характеристики
решения Вы хотите протестировать, в сравнении с какой
платформой будет проводиться тестирование, на каком
наборе данных и областей анализа, а также критерии
оценки результатов.
Какие тесты проводятся?
Как правило, в процессе тестирования измеряются
следующие показатели: скорость загрузки данных (первичная и
инкрементальная загрузка);
требования СУБД к объему дискового пространства;
скорость выполнения аналитических запросов
(регламентные отчеты и произвольные запросы);
простота модификации структуры БД (изменение и
индексация данных);
производительность при росте объемов данных и
количества пользователей.
Почему организации используют Sybase IQ?
Интенсивный рост объемов данных усложняет или делает невозможным
своевременное получение отчетов и результатов анализа информации. Традиционным
решением этой проблемы является наращивание мощности аппаратных ресурсов
для повышения производительности обработки данных. Но возможности такой
оптимизации дороги и не бесконечны. Введение же разного рода ограничений
(по объему хранимых данных, по количеству пользователей и сложности запросов,
запреты на ad hoc запросы, создание витрин данных) является компромиссом, не
решающим проблемы.
Sybase IQ не просто решает эти проблемы, но одновременно позволяет значительно
сократить затраты на внедрение и сопровождение систем отчетности и хранилищ
данных.
Что такое Sybase IQ?
Sybase IQ – это специальная СУБД для аналитической обработки данных,
обеспечивающая очень высокую скорость работы систем отчетности и анализа на
стандартном аппаратном обеспечении и операционных системах при минимальных
затратах.
Специальная СУБД для аналитической обработки данных
Sybase® IQ.
В отличии от традиционных (OLTP) баз данных, Sybase IQ изначально
проектировалась
только для аналитической, а не транзакционной обработки данных. Именно под эту
задачу была создана принципиально другая внутренняя архитектура этого сервера –
структура хранения данных по колонкам. Кроме того, в Sybase IQ применяются
специальные запатентованные технологии индексирования и хранения данных,
которые обеспечивают беспрецедентно высокую производительность этого сервера
и возможность компактно хранить данные. За счет поколоночной организации и
сокращения на порядки (!) количества операций ввода/вывода данных Sybase IQ
предъявляет минимальные требования к дисковому пространству и процессорам
по сравнению с традиционными РСУБД, структура которых основана на построчной
организации данных.
Кто использует Sybase IQ.
Число организаций по всему миру, использующих Sybase IQ, насчитывает сегодня
несколько тысяч. Это страховые, промышленные, телекоммуникационные компании,
крупнейшие банки, государственные федеральные службы, и другие организации,
где накопленная годами критически важная информация требует моментальной
аналитической обработки для принятия правильного и своевременного решения.
Sybase IQ является платформой крупнейших мировых хранилищ данных, в том числе,
самого большого хранилища в мире, благодаря беспрецедентной производительности
и масштабируемости при самой низкой совокупной стоимости владения. Эти же
характеристики делают Sybase IQ оптимальной платформой для хранилищ данных в
компаниях малого и среднего бизнеса.
«Около 1,5 Тб
транзакционных
данных, загруженных в
хранилище, благодаря
патентованным
технологиям хранения
и сжатия данных
Sybase IQ, составили
около 500 Гб. Самый
сложный отчет по
данным за весь период
хранения, потребовал
минимальных затрат
времени со стороны
ИТ-подразделения и
был сформирован за
8 минут».
Гук А.М.,
Член правления банка,
Директор департамента ИТ,
Проминвестбанк Украины
SYBASE IQ.
Исследования Bloor Research.
Автор: Филипп Говард.
Декабрь 2006
Sybase IQ имеет хорошие позиции как по сравнению
с СУБД традиционных производителей, так и с
решениями от поставщиков аппаратно-программных
комплексов для аналитических систем.
Sybase IQ – это реляционная база данных, предназначенная для использования в
аналитических системах и хранилищах данных. Ее применение может обеспечить
ряд весьма существенных преимуществ в среде хранилищ данных, в том числе, в
области производительности, масштабируемости и совокупной стоимости владения по
сравнению с традиционными подходами к их созданию.
Несмотря на то, что продукт имеет широкое применение, компания исторически
позиционирует его для трех основных рынков:
• В качестве платформы для корпоративных хранилищ данных (EDW), которые
реализуют в своих проектах различные организации.
• В качестве аналитического акселератора для хранилищ данных, построенных
на базе традиционных СУБД. В этом случае Sybase IQ является дополнением к
хранилищу и используется для ускорения процесса выполнения аналитических
запросов, имеющих плохую производительность в традиционной БД.
• В качестве платформы для отчетных серверов, которые создаются с целью
разгрузки оперативных систем и переноса функциональности подготовки
отчетности на отдельный сервер.
Также существует еще несколько новых возможностей для применения Sybase IQ,
которые компания сейчас исследует, и которые будут позже рассмотрены в этом
отчете.
Преимущества, которые обеспечивает применение Sybase IQ, основаны на
факте того, что в ней используется ориентированный на колонки подход хранения
данных в отличие от использующегося в традиционных реляционных БД подхода
хранения данных по строкам. . Так, например, хранение по колонкам обеспечивает
возможность автоматической индексации всех таблиц без высоких накладных
расходов (на хранение, управление и настройку), которые присущи традиционным
подходам к индексации. Хранение по колонкам также означает, что к данным могут
быть применены гораздо более эффективные алгоритмы сжатия, поэтому требования
к дисковому пространству сокращаются еще больше. В общем случае ожидается, что
объем данных в хранилище, построенном на базе Sybase IQ, не будет превышать
объем сырых данных.
За счет наличия этих и ряда других возможностей, при использовании Sybase
IQ, обычно, на порядки повышается скорость выполнения запросов, при этом
одновременно требуется меньше аппаратных ресурсов. Это особенно заметно в тех
случаях, когда речь идет о сложных запросах или запросах, требующих сканирования
больших таблиц. Еще одним преимуществом становится то, что Вам не нужно заранее
агрегировать данные, что позволяет добиться сокращения затрат на достижение
требуемого уровня производительности и управление по сравнению с традиционными
подходами к созданию хранилищ данных.
Другими словами, Sybase IQ обеспечивает гораздо более высокую производительность
при более низких затратах. Более того, за исключением поколоночного принципа
хранения данных, в остальном Sybase IQ для администратора работает аналогично
традиционным реляционным БД. Так, например, Вы используете стандартный язык
SQL, схемы БД остаются (или могут оставаться) такими же, требования к обучению
аналогичные, Вы можете добавить колонку так же легко, как и строку и т.п.
Bloor Research считает нужным довести до сведения потенциальных пользователей
следующие основные факты:
• В дополнение к подходу хранения данных по колонкам в Sybase IQ
используется ряд специализированных технологий индексирования, которые
предназначены для обеспечения еще более высокой производительности при
обработке ad-hoq запросов. Эти технологии включают индексы для данных с
низкой кардинальностью (что позволяет еще больше сократить требования
к хранению и повысить производительность обработки запросов благодаря
использованию операции определения меток для данных), связанных колонок,
текстового анализа (обеспечение возможности выполнения аналитических
запросов к неструктурированным данным, которые могут быть объединены со
структурированной информацией), операций сравнения в режиме реального
времени для Web-приложений и для анализа данных типа «дата» и «время».
• В Sybase IQ доступны функции, как многопоточной обработки, так и высокой
доступности в режиме 24 х 7 (компания имеет ряд партнерских соглашений с
соответствующими поставщиками систем хранения для обеспечения высокой
доступности и отказоустойчивости). В частности, выделение отдельных узлов-«читателей» и узлов-«писателей» означает, что процессы чтения и записи могут
осуществляться параллельно, не влияя друг на друга. Наличие раздельных узлов
для чтения очень полезно для компаний, осуществляющих агрегацию и продажу
данных, поскольку отдельный узел может быть связан с конкретным заказчиком.
• Sybase IQ обеспечивает значительные преимущества в области производительности
в сравнении с традиционными базами данных. Помимо уже упомянутых
характеристик, она также поддерживает плоские схемы Rcube (Relational
Datacube), что может обеспечить серьезные преимущества в сравнении с
традиционными схемами «звезда». В частности, плоские схемы Rcube могут
значительно ускорить процесс имплементации, улучшить производительность и
обеспечить более высокую гибкость.
• Компания Sybase разработала Sybase IQ с учетом поддержки параллельной
обработки как можно большего количества одновременных запросов, а не
оптимизации производительности обработки отдельно взятого запроса. Это вовсе
не компромисс, как может показаться, так как поколоночная организация Sybase
IQ обеспечивает улучшение производительности по сравнению с традиционными
базами данных на уровне внутреннего дизайна (часто ad hoc запросы
выполняются в сотни раз быстрее).
• В последней версии Sybase добавила механизмы шифрования на уровне колонок
к существовавшим до этого возможностям шифрования на уровне базы данных.
Это особенно важно для компаний, агрегирующих данные, поскольку позволяет
шифровать различные данные заказчика, используя различные алгоритмы. Также
стоит отметить, что административная часть Sybase IQ имеет сертификацию
Common Criteria Certifi ed (ISO/IEC EAL3).
В отличие от стандартных РСУБД, которые изначально проектировались для он-лайн
обработки транзакций (OLTP), Sybase IQ была спроектирована специально для
обработки аналитических запросов и ad-hoq анализа. Таким образом, этот продукт
может обеспечить значительные преимущества в области производительности и
сокращение совокупной стоимости владения (TCO) по сравнению с конкурирующими
продуктами при решении задачи аналитической обработки данных.
Очевиднее всего эти преимущества проявятся в средах, где нагрузки по обработке
запросов непредсказуемы и где велико количество ad-hoq запросов. Это обусловлено
тем, что никакая традиционная база данных не может быть преднастроена для
неожиданных запросов. Однако подход хранения данных по колонкам, реализованный
в Sybase IQ, обеспечивает эффективную «самонастройку». Кроме этого, сложные
запросы, которые требуют выборок из множества таблиц по множеству критериев,
а также запросы, требующие сканирования больших таблиц, могут обрабатываться
гораздо более эффективно в среде с поколоночной организацией хранения данных.
Наряду с этим, Sybase IQ обеспечивает хорошую масштабируемость для больших
хранилищ данных, содержащих детальные транзакционные или «субтранзакционные»
данные, например, данные о поведении в интернет (clickstream data). Sybase IQ не
требует, чтобы данные были преагрегированы для анализа, поэтому пользователи
могут эффективно и быстро анализировать данные на транзакционном уровне.
Архитектура хранения данных по колонкам, используемая в Sybase IQ, является
более эффективной: серверам приходится выполнять гораздо меньше работы для
предоставления ответа на конкретный запрос, если данные хранятся по колонкам.
Конечно, компания Sybase сделала дополнительные усовершенствования этой
архитектуры, но ключ содержится именно в ее использовании, а так же в сокращении
совокупной стоимости владения, которая достигается за счет двух вещей.
Во-первых,
за счет снижения общей цены, как следствие улучшенной производительности, и
использования технологий сжатия данных, которые Sybase применяет для каждой
отдельной колонки. Это приводит к снижению требований к необходимому дисковому
пространству и, как следствие, необходимым инвестициям в аппаратное обеспечение.
Во-вторых, это сочетается с низкими требованиями к администрированию и
настройке,
что значительно сокращает необходимые затраты на сопровождение по сравнению с
традиционными базами данных других поставщиков.
Однако сегодня на рынке хранилищ данных больше не присутствуют только поставщики
традиционных решений. Сейчас компании проявляют интерес к поставщикам
специализированных программно-аппаратных решений для хранилищ данных. С
одной стороны, это помогло Sybase, поскольку организации стали рассматривать
решения не только традиционно доминировавших на рынке игроков, что повысило
интерес к Sybase IQ, в частности как к «акселератору запросов». С другой
стороны,
интерес к специализированным решениям для хранилищ данных породил новый
класс конкурентов, которые заявляют о похожих улучшениях производительности и
простоте использования своих решений.
Sybase имеет преимущества над этими поставщиками специализированных технологий,
поскольку Sybase IQ обладает возможностями более гибкой настройки. Большинство
поставщиков специализированных технологий полностью избегают использования
индексов или применяют их в очень ограниченном числе случаев. Sybase IQ
предоставляет широкий диапазон возможностей индексации. Хотя это и приводит к
повышению объема администрирования БД, зато предоставляет возможности гораздо
более эффективно адаптировать продукт для различных уровней кардинальности и
типов данных. Более того, мы не знаем ни одного поставщика специализированных
технологий для хранилищ данных, который поддерживал бы возможности текстового
анализа (Sybase IQ поддерживает), а возможность управлять смешанными типами
запросов в решениях этих поставщиков также обычно ограничена по сравнению с
возможностями Sybase IQ.
В заключении отметим, что Sybase IQ имеет очень хорошую степень
конкурентоспособности по отношению к поставщикам как традиционных, так
и специализированных технологий. Поскольку Sybase IQ имеет ряд различных
преимуществ в различных вариантах использования, мы рекомендуем организациям,
планирующим инвестировать в создание хранилищ данных, высокоскоростных
аналитических систем и систем класса Business Intelligence, внимательно
присмотреться к этому продукту.
Sybase IQ создана на базе технологии, приобретенной Sybase при покупке компании
Expressway в 1995 году. Тем не менее, зрелым этот продукт можно называть с
момента
выхода версии 12.0 в 1999 году. Начиная с версии 12.0, продукт представлен
на рынке как Sybase IQ с опциональной функциональностью Multiplex (поддержка
множественности узлов для чтения и возможности записи в параллельном режиме).
Начиная с версии 12.4.2, выпущенной в 2000 году, компания приняла решение
включить функциональность Multiplex в состав базовой комплектации, подчеркнув
таким образом способность продукта инкрементально масштабироваться вплоть до
самых больших по объему хранилищ данных.
На протяжении последних нескольких лет Sybase сфокусировала внимание на
определенных целевых рынках для Sybase IQ, о чем говорилось выше, и этот подход
полностью себя оправдал. Доходы от продаж Sybase IQ выросли на 29% в 2004 году
и на 35% в 2005 году, так что совершенно очевидно, что эта стратегия работает.
Также уместно отметить, что 40% продаж этого продукта приходятся на компании, не
использующие Sybase ASE (транзакционную СУБД компании Sybase).
Помимо трех рынков для применения Sybase IQ, которые были обозначены в начале
этого обзора, компания Sybase сегодня активно предлагает ряд других решений, в
которых эта СУБД может эффективно применяться:
1. Управление рисками на рынках ценных бумаг – платформа Sybase Risk Analytics
Platform является продуктом, в котором Sybase IQ используется как ядро для
обработки очень больших объемов данных. Это решение позволяет обрабатывать
большие объемы исторических данных наряду с данными, поступающими в режим
on-line, для предоставления цельной картины рынка трейдерам, управляющим
портфелями ценных бумаг и менеджерам по управлению рисками.
2. Соответствие законодательным актам и требованиям надзорных органов
(Compliance) – с использованием как структурированной, так и неструктурированной
информации. Обратите внимание, что для рынков ценных бумаг соответствие имеет
более широкий смысл, и может быть достигнуто за счет использования Sybase
Risk Analytics Platform. Sybase IQ как продукт также соответствует различным
законодательным требованиям к доступности (508 соответствие, которое касается
как пользовательского интерфейса, так и документации) и безопасности.
3. Исследование данных/текста – Sybase работает с рядом партнеров для
предоставления пакетных решений в области исследования данных/текста.
В частности, Вы можете провести анализ корреляции реляционных данных,
хранящихся в таблицах IQ и не реляционных данных, хранящихся в виде LOB. В
этом контексте в Sybase IQ расширена поддержка сложной аналитики, которая
включает CLOBS (символьные большие объекты), а также BLOBS (бинарные
большие объекты) и XML.
Sybase заключила ряд партнерских соглашений, касающихся использования Sybase
IQ, с поставщиками аппаратных решений, систем хранения данных, средств бизнес-анализа и других решений, а также различными системными интеграторами.
Отдельного
упоминания стоит партнерство с компанией SAP (Sybase IQ сертифицирована как
акселератор для BW).
Доступная в настоящий момент версия Sybase IQ – 12.7. Она была выпущена в
июле 2006 года. Существует как в комплектации Enterprise Edition, так и Extended
Enterprise Edition, которая включает недавно приобретенное компанией Sybase ETL-средство Solonde ETL.
Основные области, в которой были сделаны улучшения в этой версии, это:
• Повышение производительности обработки аналитических запросов – это
та функциональность, которая постоянно улучшается на протяжении всей
истории развития Sybase IQ. Например, в предыдущей версии был сделан ряд
усовершенствований в алгоритмах оптимизации обработки запросов. В этой
версии добавлены усовершенствования, включающие дополнительные OLAP
функции, повышение производительности при обработке запросов, включающих
данные типа «дата» и «время», а также улучшение обработки подзапросов.
Компания также увеличила (до 512) лимит количества таблиц, которые могут
использоваться в одном запросе.
• Повышение производительности загрузки данных, включая ускорение загрузки
небольших объемов для поддержки сред реального времени.
• Поддержка анализа в режиме реального времени – реализован ряд характеристик,
из которых основная, вероятно, - это улучшенная оптимизация запросов
(реализовано несколько улучшений в этой области).
• Усовершенствование системы безопасности – сюда относится функциональность
шифрования на уровне колонок помимо шифрования на уровне базы данных,
которое было доступно в предыдущей версии. Учтите, что Вы можете шифровать
некоторые колонки и не шифровать другие. Это особенно важно для компаний,
которые занимаются агрегацией/продажей данных. Также усовершенствована
система управления регистрационными именами и форматирования паролей.
• Усовершенствования для процесса внедрения – в частности, Sybase максимально
приблизила интерфейс и управление Sybase IQ к ASE; реализована поддержка
массированной загрузки данных из ASE, также вы можете использовать
большинство хранимых процедур ASE как «native» процедуры в IQ.
• Поддержка требований по соответствию законодательным актам – Вы можете
фиксировать выбранные базы данных IQ (с временными метками) на платформах
в режиме «только чтение». Старые данные могут быть изменены только в новой
«версии» (копии) данных. С использованием этой техники становится возможным
вернуться к данным, зафиксированным в определенный момент времени.
Продукт работает под Windows NT/2000/XP, Linux/Intel, Linux на IBM POWER и
основными операционными системами UNIX от HP, IBM и Sun Microsystems.
Подход Sybase к хранилищам данных фундаментально отличается от подхода
других производителей реляционных баз данных. Sybase пришла к заключению,
что традиционные реляционные подходы к ROLAP неэффективны и если и могут
обеспечить приемлемую производительность, то только ценой значительных и больше
ничем не обусловленных инвестиций в дополнительное аппаратное и программное
обеспечение, людских ресурсов, денег, времени и т.д. Поэтому Sybase разработала
технологию, которая может быть названа инвертной реляционной базой данных.
Другими словами, эта база данных использует традиционную реляционную структуру
и знакомую терминологию, но, в отличие от традиционных реляционных баз данных,
использует не построчный принцип хранения данных, а поколоночный. По нашему
мнению, такой подход предоставляет значительные преимущества по сравнению с
традиционным подходом.
В отличие от обычных реляционных баз данных, которые хранят данные по строкам,
Sybase IQ хранит и обеспечивает доступ к данным в таблицах по колонкам. Притом,
что такой подход был бы абсолютно неприемлем для задач транзакционной обработки
данных, где самый эффективный подход к хранению транзакции есть запись (строка),
он является в высшей степени целесообразным в средах обработки запросов,
поскольку в большинстве случаев исполнение запроса являет собой выборку
определенных колонок.
Огромным преимуществом этого ориентированного на колонки подхода является,
в сущности, то, что практически вся база данных индексируется автоматически,
поскольку критерий выборки в запросе определяется именно колонкой. В реальности,
все может быть организовано не так просто, поскольку, как описывается ниже, в
Sybase IQ реализованы несколько способов поддержки колонок-индексов.
Еще одним результатом использования колонок является то, что СУБД Sybase IQ
гораздо более эффективна с точки зрения компрессии данных по сравнению с
традиционными подходами. Нет нужды говорить, что это происходит за счет того,
что
все поля данных в одной колонке имеют один тип данных. Таким образом, каждая
колонка может быть сжата для достижения максимальной эффективности хранения и
доступа к данным. И наоборот, когда данные хранятся по строкам, разные поля
данных
содержат различные типы данных, оптимальные для транзакционной обработки. В
такой среде не имеет смысла подбирать оптимальный алгоритм компрессии, потому
что любой из предложенных вариантов будет всегда стремиться к наименьшему
общему знаменателю выборки.
Еще одно существенное преимущество колонкоориентированного подхода состоит в
том, что просто требуется чтение меньшего объема данных. В каждом случае доступа
к данным в традиционной реляционной базе данных вы читаете каждую запись
целиком, независимо от того, в каких полях вы действительно заинтересованы.
На практике это может означать необходимость прочитать 3000-байтную запись
для обнаружения нужных данных объемом в 20 знаков. При чтении данных,
организованных по колонкам, вы читаете только то, что вам нужно. Конечно, если
вы читаете одну запись, разница будет практически незаметна, но многие запросы
требуют сканирования таблиц целиком. Умножьте время, необходимое для прочтения
этой единственной записи, на несколько миллионов записей в таблице, и разница в
производительности станет очень значительной.
Sybase приводит аргумент, что «колоночная» природа Sybase IQ обеспечивает
настолько лучшую производительность, чем технологии на базе традиционных
ROLAP подходов, что эта СУБД не нуждается в поддержке параллелизма на уровне
аппаратного обеспечения, который реализован у ее основных конкурентов, а
также в транзакционной СУБД Sybase Adaptive Server Enterprise (ASE). В
частности,
компания указывает на проблемы, связанные с разделением данных (data
partitioning),
необходимым для поддержки параллелизма на уровне аппаратного
обеспечения. Притом, что неоспоримым фактом является то, что партиции, как бы
они ни были реализованы, могут создавать проблемы (не последней из которых
является необходимость дополнительного сопровождении), тем не менее, эта техника
обеспечивает возможности существенного улучшения в области производительности.
Однако Sybase утверждает, разделение на партиции – это только механизм,
призванный компенсировать низкую производительность подхода, ориентированного
на хранение данных по рядам.
Притом, что в большинстве из доводов Sybase содержится существенная доля
истины, это не означает, что Sybase отрицает все формы партиций. При этом
вместо горизонтальных партиций в Sybase IQ реализованы вертикальные
партиции, то есть, разделение скорее по колонкам, чем по рядам. Одним из
преимуществ этого подхода является то, что партиции никогда не могут стать
несбалансированными, поскольку количество полей в каждой колонке таблицы всегда
будет одним и тем же. Это значительно снижает потребность в сопровождении для
администрирования партиций и должно свести к нулю потребность в реорганизации
базы данных, которая может стать необходимой, когда партиции становятся
несбалансированными и это начинает отражаться на производительности.
И, наконец, необходимо отметить, что Sybase не отрицает использование
OLAP-техник.
Для пользователей, которые хотят делать относительно предопределенные запросы к
агрегированным данным, OLAP обеспечивает значительные преимущества. По этой
причине, Sybase поддерживает OLAP-возможности, в частности, такие функции как
«rankings», «percentiles» и «averaging».
Sybase IQ поддерживает традиционные реляционные схемы, включая нормализованные
схемы, используемые для обработки транзакций, а также схемы «звезда», «снежинка»
и «созвездие» (набор «звезд»), используемые в хранилищах данных. При этом,
используемый в Sybase IQ поколоночный поход к организации данных, делает
возможным использование Rcubes (Relational Data Cubes). Это включает поддержку
схем, известных как «плоские схемы». Пример такой схемы приведен на рис. 1 в
сравнении со схемой «звезда».
Рисунок 1. Схема «звезда» и Rcubes
Как видно из рисунка, использование Rcubes проще, чем реализация множества
схем «звезда». В приведенном примере в Rcube реализовано на 8 таблиц меньше (то
есть, необходимо реализовать на 8 меньше операций ETL), а также на 25 джойнов
меньше.
Однако, вероятно, самое большое преимущество использования Rcubes состоит в
том, что они намного легче поддаются пониманию, и обеспечивают гораздо более
эффективную навигацию для смежных и пересекающихся задач, чем схемы типа
«созвездие». Следствием использования Rcubes является гораздо более быстрая
реализация и внедрение системы.
Другие преимущества Rcubes включают следующие:
• Гораздо проще загружать данные из оперативных систем, поскольку Rcubes
просты и требуют создания гораздо меньшего количества ETL-процедур, чем
традиционные схемы.
• Значительное снижение сложности таблиц фактов и размерностей. Поскольку
ключи являются общими для всех колонок таблицы, Sybase IQ будет управлять
данными, относящимися к фактам и размерностям, в одной таблице без взрыва
данных.
• Схема Rcubes использует данные на транзакционном уровне, обеспечивая
агрегацию «на лету». Это делает схему Rcubes более гибкой на уровне
внутреннего дизайна – пользователи никогда не сталкиваются с проблемой, когда
преагрегация данных не соответствует требованиям неожиданных запросов.
• Схема Rcubes очень хорошо работают с инструментами data mining, поскольку
эти инструменты подразумевают представление данных в виде плоских файлов с
большим количеством колонок, что в точности соответствует тому, как работают
Rcubes.
• Rcubes обеспечивают очень высокую скорость обработки запросов и существенно
упрощают запросы за счет значительного снижения количества необходимых
джойнов.
• Поскольку добавление колонок к таблице в Sybase IQ очень просто, Rcubes очень
нетребовательны, если появляются новые бизнес-требования или источники
данных.
• Поскольку Rcubes просты в реализации, быстро загружаются и обеспечивают
очень быстрый доступ к данным, они хорошо приспособлены для реализации
систем и приложений, работающих в режиме реального времени.
Не смотря на то, что каждая колонка в Sybase IQ, в действительности, является
индексом, существует ряд важных преимуществ от использования специфических
индексов в различных ситуациях. Это одна из областей, в которой Sybase имеет
значительные преимущества над другими поставщиками. Главный секрет Sybase IQ
– возможности индексирования. По мере того, как клиенты Sybase открывают новые
потребности в области анализа, Sybase легко может создавать новые типы индексов,
чтобы эти потребности удовлетворять. Красота этого подхода состоит в том, что
добавление новых индексов к существующему хранилищу оказывает минимальное,
если вообще оказывает, воздействие на архитектуру хранилища и использующие
его аналитические приложения. В мире предприятий, существующих в режиме
реального времени, подход Sybase к индексам закладывает основу для еще более
высокой производительности обработки запросов к многотерабайтным (а в будущем
и петабайтным) хранилищам данных. Сегодня в Sybase IQ используется 7 технологий
индексирования:
• Индексы «Low Fast» – индексы низкой кардинальности, использующие процесс,
известный как определение меток («tokenization»). С помощью этого процесса
данные конвертируются в метки («tokens») и сохраняются не данные, а их метки.
Это особенно полезно для снижения количества избыточных данных. Например,
поставщик с большой базой клиентов по всей Великобритании должен хранить
адрес клиента. Это означает, что необходимо хранить очень большое количество
повторяющихся данных о названии графства. Поэтому, вместо того чтобы
хранить сотни сущностей, например, “Banffshire”, поставщик может заменить
название графства на цифровое значение. Banffshire – пятое в алфавитном
списке графство в Великобритании (после Aberdeen, Armagh, Avon и Ayrshire) и
может быть обозначено символом «5». Там, где колонка в любом случае состоит
из цифрового значения, само это значение может быть основой для определения
меток. Как только метки созданы (что является автоматическим процессом),
создается Bitmap-индекс для создания ссылок на эти метки.
Типичный случай для применения операции определения меток – ограниченное
количество возможных значений данных. Поэтому Sybase использует эти индексы
как индексы низкой кардинальности – как правило, они применяются только для тех
полей, где содержится менее 1500 уникальных значений.
• Индексы «Bit-Wise» – для полей с высокой кардинальностью, где количество
возможных значений превышает 1500 (например, денежные значения), в
Sybase IQ используется запатентованная технология Bit-Wise индексирования. Эта
технология особенно полезна, когда нужно комбинировать вычисления с поиском
по диапазону. Например, найти общую прибыль и количество единиц проданного
товара, для которого цена была менее $50.
• Индексы «High Group» – это, по сути, B-tree индексы. Однако принципиальным
здесь является то, что этот тип индексов используется только в случаях, когда
есть
вероятность, что несколько колонок будут использоваться в группе, в частности,
для комбинирования поисков по данным низкой и высокой кардинальности.
Примером может служить запрос о продажах единиц продуктов и цене (высокая
кардинальность) по магазинам (низкая кардинальность).
• Индексы «Fast Projection» – этот тип индексирования (который используется
по умолчанию) представляет собой просто сами колонки. Если пользователь
планирует всегда запрашивать данные по целой колонке, то тот факт, что данные
организованы по колонкам, означает, что колонка может быть отражена в отчете
или ответе на запрос без явного определения каких бы то ни было индексов
вообще. Это полезно, например, в случаях запросов с условием «where».
• Индекс «Word» – это текстовый индекс. Он основан на поиске по ключевым
словам или фразам. Этот тип индексов исторически не является традиционным
для хранилищ данных. Несмотря на это, существует целый ряд значительных
рынков, где важна возможность комбинировать количественную и качественную
информацию. Например, в здравоохранении медицинские записи являются
именно записями (notes) и для извлечения информации, например, об уровне
заболеваемости, может быть необходимо иметь возможность доступа к этим
неструктурированным данным.
• Индексы «Compare» – эта техника индексирования делает возможным сравнение
колонок данных, которое эквивалентно выражению «if … then … else». Например,
«если расходы больше, чем доход, то...». Этот тип индексирования особенно
полезен при сравнениях в режиме реального времени в web-приложениях.
• Индексы «Join» – как видно из названия, эти индексы предназначены для того,
чтобы избегать объединения таблиц («table join»). Эти индексы особенно полезны,
когда требования запроса могут быть известны заранее.
• Индексы «Time Analytic» – эта техника дает возможность создавать индексы на
основе даты, времени или даты и времени. Необходимо отметить, что запросы по
времени обычно особенно сложны для традиционных реляционных СУБД.
Поддерживается ряд механизмов, позволяющих использовать эти индексы в
различных обстоятельствах. В их числе – компрессия индексов для снижения
требований к дискам (или памяти – bitmap-индексы могут кэшироваться),
возможность
использования комбинации разных типов индексов и механизм фильтрации наборов
битов с использованием булевских операторов, таких как «AND» и «OR». Это
означает,
что техники индексирования, используемые в Sybase IQ, позволяют преодолевать
целый ряд традиционных недостатков BitMap-индексов, в частности, то, что они
не подходят для объединения таблиц (joining tables) или агрегирования данных.
Заслуживает внимание и то, что в Sybase IQ существует Index Advisor – механизм,
который подскажет администраторам, когда полезно использовать новый индекс и
какого типа.
Sybase IQ содержит SQL API который обеспечивает SQL-доступ. Он совместим с
SQL-99
и является тем же диалектом SQL, что используется в Sybase Adaptive Server
Anywhere,
и, за несколькими исключениями, также совместим с синтаксисом Sybase ASE
(T-SQL).
Sybase IQ включает в свой состав графический редактор SQL выражений.
Sybase IQ также поддерживает ODBC и JDBC(2.0) интерфейсы. В качестве
альтернативы
предлагается поддержка Java 2, и этот язык может использоваться для написания
хранимых процедур и создания функций, определяемых пользователем. Однако Java-объекты в базе данных не поддерживаются.
В этой версии также предлагается расширенная поддержка XML, включая возможность
хранения XML-документов (благодаря типу данных XML) и осуществления запросов
по ним, а также возможность экспортировать результаты запросов в формат XML (с
применением встроенного DTD). Также обеспечивается поддержка SQL/XML, проект
стандарта, описывающий, как SQL может использоваться в комбинации с XML. Sybase
IQ поддерживает ряд функций из этого стандарта, которые могут использоваться как
альтернатива конструкции FOR XML команды SELECT.
Помимо уже указанного выше, нельзя не отметить функциональность web-сервисов,
доступную в Sybase IQ. В Sybase IQ 12.7 прямо в базу данных встроен web-сервер
HTTP(S), который обеспечивает получение данных в XML-формате, а также в таких
стандартах как SOAP. Введена также прямая интеграция с Microsoft Visual
Studio.NET
через провайдер ADO.NET.
Исторически в Sybase IQ используется функциональность, известная как
EnterpriseConnect, для обеспечения взаимодействия продуктов Sybase с другими
популярными СУБД. Сюда относится как репликация данных (осуществляется за счет
применения Sybase Replication Server), возможность поддержки комбинированных
запросов, которые обращаются к Sybase IQ и внешним базам данных, а также
для первичного наполнения баз данных Sybase IQ. Однако в последнее время
EnterpriseConnect замещается Sybase Data Integration Suite, который покрывает и
расширяет существующую функциональность. Он будет рассмотрен далее.
Multiplex
Входящий в Sybase IQ компонент Multiplex обеспечивает возможность объединения
многочисленных узлов SMP серверов в единую среду Sybase IQ. Для выполнения
пользовательских процессов внутри каждого из таких узлов продукт использует
легковесные потоки (lightweight threads) операционной системы. Такая
многопоточная
обработка значительно снижает затраты вычислительных ресурсов и памяти.
Один узел должен быть выделен для управления и обновления базы дынных, в
то время как все остальные узлы работают с базой в режиме «read-only» (только
на чтение). Поскольку только один узел является пишущим, никогда не возникает
никакой потребности в блокировке записей, поэтому нет никакой конкуренции между
узлами, работающими только на чтение. Sybase в дальнейшем планирует развивать
архитектуру multiplex для обеспечения более надежного функционирования в режиме
сети (grid).
Еще одно, что необходимо отметить об этой архитектуре – это преимущества,
которые она предоставляет компаниям, занимающимся агрегацией и продажей
данных. Использование техники multiplex означает, что каждый подписчик может
иметь свой собственный узел для чтения, что, несомненно, повышает общий уровень
безопасности системы. Также безопасность повышается за счет упомянутой ранее
возможности определения политики безопасности доступа на уровне столбцов.
Пример среды Multiplex показан на рисунке 2. В данном случае, 5 узлов
(количество
может быть любым и его можно увеличивать по мере необходимости) соединены с
единственной физической базой данных Sybase IQ (и снова, количество может быть
любым, включая зеркалированные варианты для работы в режиме 24 х 7) посредством
волоконно-оптической связи.
В случае отказа любого из узлов, включая обновляющий (пишущий) узел, можно
переключить пользователей и перераспределить функции на другой узел. Есть также
возможности организации горячего резерва, восстановления после сбоев (failover),
расширенные возможности по поддержки версионности, а также возможности
по распределению и балансировке нагрузки между узлами. Эти возможности не
являются автоматическими функциями, но находятся под контролем администратора,
что позволяет администратору динамически распределять ресурсы в зависимости
от бизнес-задач. Кроме этого, существует приложение для балансировки нагрузки
OpenSwitch, которое может быть использовано при необходимости и которое работает
на уровне сервера приложений. Также стоит отметить, что компания Sybase имеет
ряд
партнерских соглашений с поставщиками аппаратных решений для хранения данных,
что позволяет обеспечить еще более надежную доступность и защиту от сбоев.
Стоит отметить стратегию Sybase в области поддержки параллелизма, которая
существенно отличается от стратегии основных конкурентов и четко определяет
ситуации, в которых Sybase IQ будет самым адекватным выбором. Большая часть
поставщиков сконцентрировала свои усилия в части параллелизма, на улучшении
производительности отдельных запросов. Основной идеей при этом является то, что,
если отдельно взятый запрос работает лучше, то это также обеспечит преимущества
при обработке многочисленных конкурентных запросов. Тем не менее, это не всегда
верно. Например, относительно просто увидеть, как база данных использует
разбиение
данных на партиции для оптимизации конкретного запроса, что в свою очередь
влечет
за собой потери производительности обработки второго запроса.
Рисунок 2. Пример среды Multiplex
Sybase, со своей стороны, приводит аргумент, что в Sybase IQ оптимизация
отдельно взятых запросов заложена на уровне внутреннего дизайна. Таким
образом, возможности параллелизма Sybase IQ предоставлены для обеспечения
производительности многочисленных одновременных запросов, а не отдельно взятого
запроса.
Sybase IQ поддерживает выполнение операций по сопровождению «на лету» (в
том числе, добавление колонок на лету). Во время проведения операций по
сопровождению пользователи не видят никаких изменений, которые происходят во
время сессии (из-за разделения пишущего и читающих узлов). Пользователь видит
обновления только после переподключения к базе данных в рамках следующей
сессии.
В завершение важно отметить, что, когда запись обновлений в базе данных
осуществляется в пакетном режиме (исключением является Dynamic ODS), эти
пакеты могут задаваться по времени. Это означает, например, что можно определить
пакет как состоящий из транзакционных данных за 2 минуты. Сегодня практически
все производители технологий для хранилищ данных поддерживают обновления в
режиме близком к реальному времени. Однако из этого вовсе не следует, что все
эти
поставщики могут обеспечить также и анализ в режиме близком к реальному времени.
Это будет зависеть от сложности и предсказуемости задаваемых вопросов. В такой
среде преимущества Sybase IQ особенно велики там, где речь идет о необходимости
обработки сложных запросов или где возникают непредсказуемые запросы (то есть,
запросы, для которых невозможно заранее провести настройку системы).
На данный момент существуют два дополнительных продукта для Sybase IQ. Они
заслуживают отдельного упоминания. Это Risk Analytics Platform и Data
Integration
Suite.
Решение Risk Analytics Platform построено на базе Sybase IQ и обеспечивает
возможность оперативной аналитики (operational business intelligence). На
настоящий
момент это решение позиционируется исключительно для рынков ценных бумаг
для решения таких задач, как управление рисками, соответствие законодательным
требованиям и оперативный мониторинг трейдинговых операций (trading desk
monitoring).
Решение включает транзакционную СУБД Sybase ASE для поддержки требований к
передаче данных в режиме реального времени, программные решения третьих фирм
для алгоритмической обработки, решение TM1 компании Applix для поддержки OLAP
запросов и множество средств связности. Платформа Risk Analytics Platform может
обеспечивать загрузку очень больших объемов данных в хранилище для последующего
анализа. Однако платформа сама по себе может обеспечить обработку в режиме
реального времени только порядка 80 000 – 100 000 транзакций в секунду, что
не достаточно, например, для алгоритмического трейдинга. Поэтому компания будет
заключать партнерские отношения с соответствующими поставщиками решений для
обработки потоковых данных для решения этих задач. Стоит отметить, что компании
Reuters и AleriLabs являются партнерами Sybase.
По-нашему мнению, применение Risk Analytics Platform может быть расширено
для других областей, например, анализ мошенничества с кредитными картами,
оптимизация операций в розничной торговле и т.п., а также для других задач на
рынке
ценных бумаг. Кроме того, оно может использоваться для создания так называемых
«активных» хранилищ данных.
Data Integration Suite компании Sybase был выпущен в ноябре 2006 года. Его
компоненты, показанные на рисунке 3, включают различные элементы, в числе
которых репликационный сервер Sybase Replication Server и средство федерации
данных Avaki, которое компания приобрела в прошлом году. Самое последние
добавление в этот набор – это ETL-компонента, которую Sybase недавно получила
с приобретением компании Solonde. Как видно из рисунка, эта компонента будет
интегрирована в пакет после выпуска новой версии.
Solonde представляет интерес, в частности, поскольку этот продукт был изначально
разработан как средство, поддерживающее сетевую обработку, поэтому он показывает
превосходный уровень производительности. Кроме того, поскольку средство
разрабатывалось в Германии, оно имеет хорошие связи с решениями компании SAP.
Планируется, что в первую очередь Sybase будет позиционировать этот продукт для
использования в среде с гетерогенными источниками и только Sybase IQ в качестве
приемника. Т.е. это решение будет поставляться только в сочетании с Sybase IQ (в
версии Extended Enterprise Edition). Впоследствии эта позиция изменится.
Мы полагали, что Sybase IQ столкнется с двумя препятствиями. Во-первых, вопрос
технологии хранения данных по столбцам. Колонкоориентированные реляционные базы
данных для большинства людей представляют новую технологию. Во-вторых, проблема
недоверия. Менеджерам, для которых привычными являются производительность
и требования к аппаратным ресурсам традиционных хранилищ данных, непросто
поверить в обоснованные заявления Sybase относительно производительности Sybase
IQ. Менеджеры, которые привыкли к отчетам, на получение которых уходит 24 часа,
могут быть поражены тем, что эти же отчеты получаются на Sybase IQ за минуты.
Однако теперь мы не видим этих препятствий. Колонкоориентированная технология
хранения данных вообще и Sybase IQ в частности появилась достаточно давно, и
сейчас
Sybase может приводить достаточное количество реальных примеров использования
Sybase IQ клиентами. Использование колонкоориентированного подхода действительно
может обеспечить такие улучшения в области производительности. Более того,
Sybase
может это демонстрировать тестовыми проектами подтверждения концепции (Proofof-concept, POC).
Рисунок 3. Компоненты Sybase Data Integration Suite
С точки зрения компании Bloor Research, поколоночный подход к хранению
данных, пропагандируемый Sybase, обеспечивает значительно более высокую
производительность при меньших затратах по сравнению с традиционными подходами
к созданию аналитических систем, отчетных систем и хранилищ данных. Кроме того,
колонкоориентированная технология также обеспечивает гораздо большую гибкость
по сравнению с той, которую могут предложить поставщики специализированных
программно-аппаратных решений. Мы не видим никаких препятствий для продолжения
успеха Sybase IQ. На самом деле, мы хотели бы видеть позиционирование данного
продукта для решения более широкого спектра задач. Мы рады видеть, что компания
Sybase начинает предлагать свое решение на новые рынки, однако при этом
она скорее продолжает прицельно позиционировать Sybase IQ как решение для
конкретных под-секторов, чем пропагандирует его как продукт широкого применения
для всего сектора хранилищ данных. С нашей точки зрения, Sybase IQ соответствует
этому определению, и ждем, когда компания Sybase заявит об этом.