Вопрос 41. OLAP-системы. Хранилище данных.
OLTP-системы (Online Transaction Processing). ПО мере накопления информации в БД у предприятий и организаций появляется возможность более глубокого анализа данных и принятия решений. Системы такого плана называются OLAP-системами (Online Analitical Processing). В основе таких систем лежат не БД, а хранилище данных.
Определение: хранилище данных - это предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор данных, предназначенных для поддержки и принятия решений.
Термин «предметно-ориентированный» означает, что в хранилище хранятся данные о субъектах и объектах предметной области, но не содержится данных об операции этой предметной области.
Пример: в банке хранятся данные о вкладах, типах вкладов, но не содержится данных о кол-ве средств снятых клиентом с вклада. Т.о. в хранилище находятся данные, интересные для принятия решений.
Термин «интегрированные» означает, что в общем случае данные в хранилище поступают их разных БД, и могут иметь различные форматы, поэтому необходимо создать интегрированный источник для обобщения и согласования представления данных. Привязка ко времени означает, что данные обязательно должны храниться либо конкретной датой, либо некоторым периодам, т.к. хранилище содержит данные, собранные в течение длительного периода времени.
Термин «неизменяемый» означает, что данные в хранилище не могут обновляться и удаляться. Хранилище не содержит исторические данные и может только повторяться.
Сравнительная характеристика OLTP-системы и хранилища данных:
OLTP-система Хранилище данных
Содержит текущие данные Содержит исторические данные
Повторяющийся способ обработки данных Не регламентирует способ обработки
Высокая интенсивность обработки транзакций Средняя и низкая эффективность обработки транзакций
Предназначена для обработки транзакций Предназначены для проведения анализа
Принятие повседневных решений Принятие стратегических решений
Большое кол-во пользователей Небольшое кол-во пользователей
OLAP - это динамический синтез, анализ и консолидация больших объемов многомерных данных. В настоящее время существуют OLAP - системы на базе реляционной модели, называются они ROLAP. Они функционируют под управлением обычных реляционных СУБД (Oracle Express). Системы на базе многомерной модели называются MOLAP. Функционируют на основе специализированных многомерных СУБД.
Многомерная модель данных:
Город Дата Объем продаж Товар
Гай 01.09.12 500
Орск - -
Орск 01.09.12 700
01.09.2012 02.09.2012
Гай 500 -
Орск - 700
3-хмерный массив можно отобразить в виде куба, осями которого будут являться даты и города, а в ячейках будет храниться объем продаж:
Объем продаж в кредит - получим 4-хмерный куб, где каждая ячейка будет 4-мя классифицироваться 4-мя значениями.
Многомерный куб можно поворачивать разными гранями и анализировать различные срезы куба, например, регионального менеджера интересует динамика продажи в разрезе региона. Вертикальный срез позволяет делать анализ заданного наименования товара. Горизонтальный разрез позволяет делать анализ товара по определенной дате.
Многомерные СУБД должны выполнять следующие аналитические операции:
1) консолидация - эта операция включает такие обобщенные функции, как суммирование, т.е. свертка. Например, показатели по отдельным городам могут быть свернуты в один показатель по стране в целом.
2) нисходящий анализ - эта операция, обратная консолидации. Она позволяет отображать подробные данные для свернутых показателей.
3) разбиение с поворотом (создание сводной таблицы) - в такой таблице данные средств представляются с разных точек зрения. Чаще всего разбиение с поворотом выполняется вдоль оси с целью выявления тенденций.
Многомерные СУБД имеют следующий принцип: 1) хранят данные в сжатом виде, это позволяет содержать в RAM большой объем данных, что повышает скорость обработки запросов; 2) многомерная модель не требует выполнения операций следующей таблицы, т.к. доступ к данным осуществляется напрямую, что повышает скорость обработки запросов.
Проектирование хранилищ данных с использованием реляционной модели.
В хранилище размещают факты и размерности (факт - объем продаж; размерность - дата, товар, город). Существует 3 схемы хранилищ в реляционной модели: 1) звезда; 2) снежинка; 3) смешанная.
OLTP-системы (Online Transaction Processing). ПО мере накопления информации в БД у предприятий и организаций появляется возможность более глубокого анализа данных и принятия решений. Системы такого плана называются OLAP-системами (Online Analitical Processing). В основе таких систем лежат не БД, а хранилище данных.
Определение: хранилище данных - это предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор данных, предназначенных для поддержки и принятия решений.
Термин «предметно-ориентированный» означает, что в хранилище хранятся данные о субъектах и объектах предметной области, но не содержится данных об операции этой предметной области.
Пример: в банке хранятся данные о вкладах, типах вкладов, но не содержится данных о кол-ве средств снятых клиентом с вклада. Т.о. в хранилище находятся данные, интересные для принятия решений.
Термин «интегрированные» означает, что в общем случае данные в хранилище поступают их разных БД, и могут иметь различные форматы, поэтому необходимо создать интегрированный источник для обобщения и согласования представления данных. Привязка ко времени означает, что данные обязательно должны храниться либо конкретной датой, либо некоторым периодам, т.к. хранилище содержит данные, собранные в течение длительного периода времени.
Термин «неизменяемый» означает, что данные в хранилище не могут обновляться и удаляться. Хранилище не содержит исторические данные и может только повторяться.
Сравнительная характеристика OLTP-системы и хранилища данных:
OLTP-система Хранилище данных
Содержит текущие данные Содержит исторические данные
Повторяющийся способ обработки данных Не регламентирует способ обработки
Высокая интенсивность обработки транзакций Средняя и низкая эффективность обработки транзакций
Предназначена для обработки транзакций Предназначены для проведения анализа
Принятие повседневных решений Принятие стратегических решений
Большое кол-во пользователей Небольшое кол-во пользователей
OLAP - это динамический синтез, анализ и консолидация больших объемов многомерных данных. В настоящее время существуют OLAP - системы на базе реляционной модели, называются они ROLAP. Они функционируют под управлением обычных реляционных СУБД (Oracle Express). Системы на базе многомерной модели называются MOLAP. Функционируют на основе специализированных многомерных СУБД.
Многомерная модель данных:
Город Дата Объем продаж Товар
Гай 01.09.12 500
Орск - -
Орск 01.09.12 700
01.09.2012 02.09.2012
Гай 500 -
Орск - 700
3-хмерный массив можно отобразить в виде куба, осями которого будут являться даты и города, а в ячейках будет храниться объем продаж:
Объем продаж в кредит - получим 4-хмерный куб, где каждая ячейка будет 4-мя классифицироваться 4-мя значениями.
Многомерный куб можно поворачивать разными гранями и анализировать различные срезы куба, например, регионального менеджера интересует динамика продажи в разрезе региона. Вертикальный срез позволяет делать анализ заданного наименования товара. Горизонтальный разрез позволяет делать анализ товара по определенной дате.
Многомерные СУБД должны выполнять следующие аналитические операции:
1) консолидация - эта операция включает такие обобщенные функции, как суммирование, т.е. свертка. Например, показатели по отдельным городам могут быть свернуты в один показатель по стране в целом.
2) нисходящий анализ - эта операция, обратная консолидации. Она позволяет отображать подробные данные для свернутых показателей.
3) разбиение с поворотом (создание сводной таблицы) - в такой таблице данные средств представляются с разных точек зрения. Чаще всего разбиение с поворотом выполняется вдоль оси с целью выявления тенденций.
Многомерные СУБД имеют следующий принцип: 1) хранят данные в сжатом виде, это позволяет содержать в RAM большой объем данных, что повышает скорость обработки запросов; 2) многомерная модель не требует выполнения операций следующей таблицы, т.к. доступ к данным осуществляется напрямую, что повышает скорость обработки запросов.
Проектирование хранилищ данных с использованием реляционной модели.
В хранилище размещают факты и размерности (факт - объем продаж; размерность - дата, товар, город). Существует 3 схемы хранилищ в реляционной модели: 1) звезда; 2) снежинка; 3) смешанная.