Увеличить скорость отчётов

[AP-1055D]

Добрый день,

Коллеги, я работаю в продуктовом ретейле. В нашей компании одними из самых «тяжёлых» отчётов являются отчёты по продажам в разрезе магазинов и номенклатур. Построение отчёта может занимать от часа до дней. В настоящее время существует потребность в увеличении скорости работы отчётов. Кроме того, хотелось бы получить интерактивные отчёты. Например, чтобы пользователь мог самостоятельно определять положение колонок в отчёте, делать группировки, создавать сводные таблицы.
По сути, проблема состоит из двух: как повысить скорость работы отчётов и как сделать интерактивные отчёты?
Для интерактивных отчётов наиболее лучшим средством было бы использование Cognos PowerPlay.

Какие я вижу способы решения этих проблем:
1. В Microsoft Dynamics AX можно использовать компонент PivotTable для сводных таблиц. Использование этого компонента позволит сделать отчёты интерактивными, но не увеличит скорость построения отчёта.
2. Перенести логику расчёта отчётов в SSRS (Reporting Services). Я думаю, что это увеличит скорость работы, но отчёты не будут интерактивными.
3. Смотреть в сторону PowerPivot для Excel 2010 или Sharepoint 2010.
4. В SQL Server 2012 появился механизм отчётов Power View. Я пробовал этот компонент и думаю, что он был бы наиболее подходящим.
5. Построить хранилище данных, куда агрегировать данные. Я думаю, что использование хранилища данных повысит скорость работы. К сожалению, с хранилищами данных опыта работы нет.

Объём база данных составляет около 600 Гб, количество строк в основных таблицах 67 и 50 миллионов. СУБД Microsoft SQL Serer 2005.

Хотелось бы узнать, были ли у кого-нибудь похожие задачи, и каким образом вы пытались их решить?
Данная тема также опубликована на сайте SQL.ru http://www.sql.ru/forum/actualthread...d=922030&pg=-1.

[lev]

Я бы такой отчет вынес в OLAP. Там пользователь может и разрезы сам настраивать и столбцы и прочее.

P.S. На том же ресурсе где вы так же создали тему (sql.ru), думаю, не составит труда найти информацию о технологии обработки данных OLAP.

[AP-1055D]

Артём,

Не могли бы вы пояснить, пожалуйста, с помощью какого клиента к OLAP можно это делать?

[lev]

Цитата:

Сообщение от AP-1055D

Артём,

Не могли бы вы пояснить, пожалуйста, с помощью какого клиента к OLAP можно это делать?

про саму технологию работы с OLAP можно почитать ТУТ

К OLAP кубам можно подключиться, например с помощью Excel

З.Ы. а вообще если погуглить то можно много найти информации на эту тему

[Logger]

У нас OLAP кубы.
База еще больше.
Все довольны.

[AP-1055D]

Logger,

Вы просматриваете OLAP-кубы в самой AX или используете какой-то клиент для этого?

[Logger]

Цитата:

Сообщение от AP-1055D

Logger,

Вы просматриваете OLAP-кубы в самой AX или используете какой-то клиент для этого?

В качестве клиента используется Excel со сводными табличками.

[lev]

Цитата:

Сообщение от AP-1055D

Logger,

Вы просматриваете OLAP-кубы в самой AX или используете какой-то клиент для этого?

Работать с кубами OLAP можно и из аксапты (читатйе Справку пользователя, там про это написано).
Но лично в моем опыте использовался Excel.

[mazzy]

Цитата:

Сообщение от AP-1055D

Какие я вижу способы решения этих проблем:
1. В Microsoft Dynamics AX можно использовать компонент PivotTable для сводных таблиц. Использование этого компонента позволит сделать отчёты интерактивными, но не увеличит скорость построения отчёта.
2. Перенести логику расчёта отчётов в SSRS (Reporting Services). Я думаю, что это увеличит скорость работы, но отчёты не будут интерактивными.
3. Смотреть в сторону PowerPivot для Excel 2010 или Sharepoint 2010.
4. В SQL Server 2012 появился механизм отчётов Power View. Я пробовал этот компонент и думаю, что он был бы наиболее подходящим.
5. Построить хранилище данных, куда агрегировать данные. Я думаю, что использование хранилища данных повысит скорость работы. К сожалению, с хранилищами данных опыта работы нет.

1, 2, 3, 4 - это всего лишь разные инструменты для получения представления. инструменты по разному выглядят, но суть одна и та же - выборка первичных данных и расчет показателей отчета.

5 - это совершенно другой принцип.

грубо говоря, принципиально ускорение можно получить только за счет хранения промежуточных итогов. чем больше промеждуточных итогов, тем быстрее можно получить отчеты.

НО:
а) промежуточные итоги занимают дополнительное место на диске
б) промежуточные итгги требуют значительного времени на обновление.

хранилище - это и есть промежуточные итоги
в хранилище вы указываете по каким данным и в каких возможных разрезах надо хранить промежуточные итоги

[Kabardian]

Цитата:

Сообщение от AP-1055D

Построение отчёта может занимать от часа до дней. В настоящее время существует потребность в увеличении скорости работы отчётов.

Проблема известная, сталкивался. Вы запускаете сложные по методике формирования отчеты в транзакционной базе данных. Сложность отчетов заключается в том, что конкретные показатели отчета извлекаются из разных источников данных (таблиц) и над ними выполняются какие-то расчеты и такие расчеты выполняются много-много раз.

Подобные отчеты в большей степени нагружают АОСы, в меньшей - СУБД. Если у вас много таких отчетов, и они запускаются достаточно часто, и в системе много пользователей, то скоро у вас кроме проблем с отчетностью могут также внезапно появиться проблемы с общей производительностью системы.

Цитата:

Сообщение от AP-1055D

как повысить скорость работы отчётов и как сделать интерактивные отчёты?

В транзакционной базе данных лучше формировать только простые оперативные отчеты, которые быстро формируются. Сложные отчеты лучше вынести в OLAP, как вам уже посоветовали.

По мне, так если отчет в Аксапте формируется дольше 10 минут — это уже ненормально и нужно либо его оптизировать, либо переносить в OLAP.

[AP-1055D]

Спасибо всем за ответы. Хотелось бы ещё узнать мнение про хранилище данных. Кто-нибудь пробовал строить его для отчётов? Как вы думаете, для какого объёма данных имеет смысл прибегать к хранилищу? И, кстати, что вы думаете про PowerPivot, Power View?

[Logger]

Цитата:

Сообщение от AP-1055D

Спасибо всем за ответы. Хотелось бы ещё узнать мнение про хранилище данных. Кто-нибудь пробовал строить его для отчётов? Как вы думаете, для какого объёма данных имеет смысл прибегать к хранилищу? И, кстати, что вы думаете про PowerPivot, Power View?

Дело не в объеме а во времени исполнения отчетов.
Так как мощное железо позволит прожевать даже неоптимальные запросы.
А критерий вы сами для себя определяете.

[AP-1055D]

Mazzy,

Спасибо, я немного неправильно написал, объединив средства для просмотра и хранилище. Но, согласитесь, с помощью SSRS отчёты строятся значительно быстрее внутренних отчётов AX?

[mazzy]

Цитата:

Сообщение от AP-1055D

Но, согласитесь, с помощью SSRS отчёты строятся значительно быстрее внутренних отчётов AX?

Не соглашусь

да, ssrs лучше заоптимизирован, нежели внутренний генератор отчетов.
да, ssrs во многих местах не делает того, что делает внутренний генератор (не вызывает метод postLoad, например. или для ax4, ax2009 не накладывает RLS-ограничения). и за счет этого работает быстрее.

поэтому разница есть, но не существенная. на проценты, но не в разы.

но, в ssrs сложно вызывать аксаптовские УЖЕ готовые классы и многое приходится программировать заново вместо того, чтобы тупо вызывать метода класса. Если же из ssrs коннектиться к аксапте и выполнять методы классов, то выигрыш в скорости будет очень спорным.

в общем, я хотел сказать, что ssrs - это те же самые яйца, только в профиль.
ssrs - это та же самая выборка оперативных данных с дополнительными вычислениями, что и во внутреннем генераторе.

принципиально ускорить можно только за счет промежуточных итогов. а это - хранилище (OLAP).
но тут надо понимать, что хранилище также обладает врожденными недостатками (главный - неоперативность данных).
так уж устроен этот мир. приходится выбирать

[George Nordic]

Цитата:

Сообщение от mazzy

для ax4, ax2009 не накладывает RLS-ограничения

Да, это самый существенный недостаток.

Цитата:

Сообщение от mazzy

но тут надо понимать, что хранилище также обладает врожденными недостатками (главный - неоперативность данных).

А вот тут не согласен. DWH - это вообще отдельная тема. Можно не просто OLAP делать, а OLTP. Вот тебе и он-лайн.

Вопрос в том, для чего это нужно. И какие отчеты нужны. Можно и отдельными решениями строить отчеты из DWH - хоть Cognos, хоть Qlikview, да что душе угодно. Но опять - вопрос с доступом к данным и RLS.

С Уважением,
Георгий

[imir]

Цитата:

Сообщение от George Nordic

Да, это самый существенный недостаток.

А вот тут не согласен. DWH - это вообще отдельная тема. Можно не просто OLAP делать, а OLTP. Вот тебе и он-лайн.

Думаю, имелось в виду ROLAP? звучит заманчиво, но по мануалам там ограничение на ограничении, кто-то пробовал в реале его использовать с Аксой?

[George Nordic]

На какой платформе? Я думаю много коллег использует технологии Microsoft. Ряд партнеров использует сторонние решения, например IBM Cognos или Qlikview. Которые, кстати, могут кубы в памяти строить, с огромной скоростью.

С Уважением,
Георгий

[Ivanhoe]

Как правило, на проектах используем OLAP, просмотр - Excel или в самой Аксапте (есть компонент из Office, есть самописный).

По актуальности - как уже писали коллеги выше есть разные варианты реализации, но чтобы их обсуждать нужно смотреть конкретно ваш случай. Без привлечения специалиста по этой теме (ну или изучения документации + форумов) с наскоку задачу не решить.

Как правило, в ритейле достаточно актуальности "на вчера". Для оперативного планирования / закупок / пополнения все равно обычно не отчетами пользуются, а автоматическими / полуавтоматическими процедурами.

P.S. с чего еще можно начать - если у вас AX 4.0 / 2009, то в поставке идут стандартные кубы. Попробуйте с ними поиграться.

[AP-1055D]

Ivanhoe,

А какой компонент для просмотра есть в AX? Вы имеете в виду CCPivotTable?

[Ivanhoe]

Цитата:

Сообщение от AP-1055D

Ivanhoe,

А какой компонент для просмотра есть в AX? Вы имеете в виду CCPivotTable?

Компонент из поставки MS Office 2003, я не сильно технически владею информацией, если в Excel его встроить, то =ВНЕДРИТЬ("OWC11.PivotTable.11";"")

Ограничения, думаю, такие же как в 2003 офисе - 64 000 строк. Текущая позиция MS, насколько я знаю - использовать Excel современный, а если нужно в веб - то есть какие-то компоненты для SharePoint (тот же PowerPivot ?) или SSRS (но уже без интерактивности).