Существенное снижение производительности после перехода на AX 2009 с Axapta 3.0

[Rivez]

Добрый день!
Произведен переход с Axapta 3.0 до версии AX 2009 (SP1, RU5).
После перехода система замечено значительное снижение производительности, периодически тормозит (подвисает) в разных операциях: разноска, отчеты, различные расчетные операции, интерфейс. Переход был произведен изначально на MS SQL 2005, затем базу перенесли на 2008ой. При этом AOS не загружен, загрузка MS SQL 30-60%, иногда доходит до 80%.
Среднее количество активных сессий в день - 170-190.

В чем может быть причина таких тормозов (причем, они возникают периодически) ?

Текущее состояние системы:
1. Настройки AOS:

a. Вкладка Application Object Server:

i. Заполнено поле Application file location

ii. Заполнено поле Application bin directory

iii. Заполнено поле Application instance

iv. Заполнено поле TCP/IP port

v. Остальные поля пустые

b. Вкладка Database Connection

i. заполнены поля в группе Microsoft SQL Server

c. Вкладка DataBase Tuning

i. Отмечена галка «Limit the number of inactive connections»

ii. Остальные все поля пустые

d. Вкладка Tracing

i. Отмечена галка «RPC round trips to server»

ii. Отмечена галка «Allow client tracing on Application Object Server instance»

iii. Остальные поля пустые

e. Вкладка Perfomance

i. Поле «Minimum packet size to compress (in KB)» значение «1»

ii. «Processor Affinity» выбрано значение Default

2. Настройки клиента Axapta:

a. Вкладка «Разное» - заполнено только поле «Каталог журнала»

b. Вкладка «Соединение» - указано имя сервера, порт; галки «Подключение к принтерам на сервере», «Шифрование клиент-сервер» НЕ отмечены

c.Вкладка «Разработчик» - все галки и поля пустые, указан только слой.

d. Вкладка «Трассировка» - отмечена только галка «Цикла передачи RPC на сервер» И в поле «Число вложенных вызовов» указано значение «3»

e. Вкладка «Производительность» - выбрана «Автоматическая настройка»

3. Конфигурация, функционал, разработка Axapta:

a. Отключение конфигурации ЭЦП.

b. Созданы дополнительные индексы посредством рекомендации хранимой процедуры, которая анализировала статистику запросов.

c. На формах проанализированы дисплей-методы и нужные закэшированы.

4. На SQL Server сделаны следующие настройки

a. установлено значение параметра параллелизма «1».

b. Установлена галка автообновление статистики

c. Дефрагментации индексов в БД выполняется один раз в неделю

5. Инфраструктура

a. Работает три AOSа (на виртуальных серверах, т.е. один физически):

i. Для доступа через терминал (70-80 пользователей),

ii. Для пакетных заданий (почти не используется)

iii. Для остальных (100-120 пользователей)

b. Параметры сервера AOS: Процессоры: 4 INTEL Xeon X5570 2.93GHz, Память: 8GB, ОС: Windows Server 2008 R2 Standard 64 -bit.

c. Параметры сервера MS SQL: Процессоры: 2 Itanium 1.60 GHz (12 ядер); Оперативная память: 127GB; ОС: Windows Server 2003 Datacenter Edition SP2; Версия SQL и сервис-паков SQL Server 2008 (10.50.1600).

d. Сеть 1 ГБ/с

[Logger]

Объем базы без индексов и sysdatabaselog ?

[Logger]

В принципе никто не обещал что будет работать быстрее. Проблемы с блокировками решили - это да. А само исполнение кода и запросов - не обязано ускориться.

[Logger]

Проверьте еще сколько у вас начитывается данных из каталога с AOD файлами. Там генерился очень большой трафик, который винда не всегда могла успешно разрулить и из-за этого могли быть тормоза.

[Poleax]

Цитата:

(причем, они возникают периодически) ?

Какая переодичность? в какой время дня?

Цитата:

Сообщение от Rivez

4. На SQL Server сделаны следующие настройки

a. установлено значение параметра параллелизма «1».

b. Установлена галка автообновление статистики

c. Дефрагментации индексов в БД выполняется один раз в неделю

b. Параметры сервера AOS: Процессоры: 4 INTEL Xeon X5570 2.93GHz, Память: 8GB, ОС: Windows Server 2008 R2 Standard 64 -bit.

c. Параметры сервера MS SQL: Процессоры: 2 Itanium 1.60 GHz (12 ядер); Оперативная память: 127GB; ОС: Windows Server 2003 Datacenter Edition SP2; Версия SQL и сервис-паков SQL Server 2008 (10.50.1600).

d. Сеть 1 ГБ/с

• У БД какой выставлен Compatibility level ?
• Auto Shrink отключен?
• Сколько БД весит? Как распределена по RAID?
• Что показывает на SQL Server отчет Disk Usage by Top Tables?

Админы SQL сервера есть? Мониторят? Какие они рекомендации выдали?

Цитата:

b. Созданы дополнительные индексы посредством рекомендации хранимой процедуры, которая анализировала статистику запросов.
c. На формах проанализированы дисплей-методы и нужные закэшированы.

Можно чуть подробнее ?

[Rivez]

Цитата:

Сообщение от Logger

sysdatabaselog ?

В sysdatabaselog 11 170 731 записей.

Цитата:

Сообщение от Logger

Проверьте еще сколько у вас начитывается данных из каталога с AOD файлами

не совсем ясна задача, т.е. нужно мониторить сеть?

[Rivez]

Объем всей базы без индексов 106 ГБ
Из них SysDatabaseLog 5 Гб

[Alexius]

1. Сколько памяти съели АОСы, сколько осталось свободной на их виртуалках. АОС АХ 2009 гораздо прожорливее АХ 3.0.
2. a. установлено значение параметра параллелизма «1». Сбросить в 0.
3. Раз затык в SQL, то лучше всего поймать тормозные запросы с помощъю профайлера и разбираться более предметно.

[Rivez]

Цитата:

Сообщение от Poleax

Какая переодичность? в какой время дня?

нет периодичности, по-разному

Цитата:

Сообщение от Poleax

• У БД какой выставлен Compatibility level ?
• Auto Shrink отключен?

1 - SQL Server 2008 (100)
2 - откл


База весит порядка 250 Gb, и находится она на дисковом массиве HP EVA, по рейдам соответственно не распределена. Дисковых очередей не возникает. Загрузка дисков в нормальном рабочем режиме.

[raz]

Ну а обновление статистики и реиндексацию пробовали делать?

[Rivez]

Цитата:

Сообщение от raz

Ну а обновление статистики и реиндексацию пробовали делать?

1. При переносе данных индексы полностью создавались
2. обновление статистики делали

[Андрей К.]

Цитата:

Сообщение от Alexius

3. Раз затык в SQL, то лучше всего поймать тормозные запросы с помощъю профайлера и разбираться более предметно.

пытались использовать Quest® Performance Analysis for SQL Server (заточенную под itanium версию) - возникла проблема: данные по сессиям SQL не отображаются - мониторится лишь нагрузка на проц, память и прочее, грешим на Windows ia64, на который поставлен SQL Server. На других серверах все мониторится отлично. С проблемой обратились в саппорт Quest Software, ждем ответа.

[Poleax]

Цитата:

Сообщение от Rivez

нет периодичности, по-разному
1 - SQL Server 2008 (100)
2 - откл
База весит порядка 250 Gb, и находится она на дисковом массиве HP EVA, по рейдам соответственно не распределена. Дисковых очередей не возникает. Загрузка дисков в нормальном рабочем режиме.

Если не секрет какая модель, EVA 4400? Дисковый массив подключен по Fibre Channel ?

Приведу замечательный документ Microsoft Dynamics AX 2009 White Paper: Planning Database Configuration
Там как раз про настройку БД на SQL Server для Аксапты.

Из этого документа есть ссылка на Как уменьшить подкачки память буферного пула в 64-разрядной версии SQL Server

Цитата:

В 64-разрядные версии SQL Server могут возникнуть различные проблемы. Например могут возникнуть следующие проблемы:

• Внезапно снижается производительность SQL Server.
• Компьютер, на котором выполняется SQL Server перестает отвечать на короткое время.
• Ожидания для приложений, которые подключаются к SQL Server.
• Проблемы при выполнении простейших команд или использовать приложения в системе.

Лучше подробно прочитать этот Planning database configuration for Microsoft Dynamics AX.pdf
Внутри много ссылок.

P.S. Имхо мыслю, что все таки надо смотреть в сторону SQL Server. AOS мне не кажется подозрительным

[Rivez]

Цитата:

Сообщение от Alexius

1. Сколько памяти съели АОСы, сколько осталось свободной на их виртуалках. АОС АХ 2009 гораздо прожорливее АХ 3.0.

на каждом АОСе по 8 GB, АОС съедает по 5-6 GB, остается 2 свободных

[Rivez]

Цитата:

Сообщение от Poleax

Если не секрет какая модель, EVA 4400? Дисковый массив подключен по Fibre Channel ?

модель EVA 8000, логи и база лежат на дисковой группе из 46 fiber channel дисков, Скорость = 16 тыс.об/сек

[Logger]

Цитата:

Сообщение от Rivez

В sysdatabaselog 11 170 731 записей.

не совсем ясна задача, т.е. нужно мониторить сеть?

интересовал реальный объем базы. Всех таблиц КРОМЕ sysdatabaselog и индексов.

Ну сеть тоже можно помониторить. Я хотел бы чтобы вы убедились что у вас операционка может с достаточно скоростью обеспечить доступ к AOD файлам. Т.е. помониторьте обращение к диску.

[Rivez]

Цитата:

Сообщение от Alexius

3. Раз затык в SQL, то лучше всего поймать тормозные запросы с помощъю профайлера и разбираться более предметно.

Тормозные запросы известны, однако высокая загрузка SQL наблюдается редко, торможение системы происходит и при ненагруженном SQL.

[gl00mie]

А на чем у вас приложение лежит? Был как-то непонятный косяк на 2009-й, связанный с тем, что на виртуальном файл-сервере под w2k3, где для АОСов было расшарено приложение, возникали периодически какие-то дикие пиковые загрузки процессоров, что сопровождалось существенным торможением самих АОСов. Не помогло даже выделение файл-серверу 8-и ядер xeon 2.5. Поскольку процессорное время тратилось преимущественно в режиме ядра, есть версия, что косяк кроется во взаимодействии w2k3 x86 и SCSI-дров VMware. После того, как перенесли приложение на файл-сервер w2k8 r2, все рассосалось, спонтанные торможения пропали. Так что, может, дело не в СУБД?..

[Rivez]

Цитата:

Сообщение от gl00mie

А на чем у вас приложение лежит?

Параметры сервера AOS: Процессоры: 4 INTEL Xeon X5570 2.93GHz, Память: 8GB, ОС: Windows Server 2008 R2 Standard 64 -bit.
Параметры сервера MS SQL: Процессоры: 2 Itanium 1.60 GHz (12 ядер); Оперативная память: 127GB; ОС: Windows Server 2003 Datacenter Edition SP2; Версия SQL и сервис-паков SQL Server 2008 (10.50.1600).


На AOS нагрузки почти нет, процессор загружен в среднем на 30%

[savel]

Цитата:

Сообщение от Rivez

На AOS нагрузки почти нет, процессор загружен в среднем на 30%

А по моему - загрузка процессора AOS'а как раз и показывает нормальную рабочую загрузку. Т.е. это показатель, что процессорной мощности AOS'а хватает для текущих задач. Если средняя загрузка будет выше 30 - первый признак того что мощность нужно повышать. Выше 50 - повышать без раздумий.