emeadaxsupport: IDMF - How to troubleshoot job status issues like Last run result = Error

[Blog bot]

Источник: http://blogs.msdn.com/b/axsupport/ar...ult-error.aspx
==============

Consider a scenario where you are using IDMF 2.0, but one or more of the jobs you are running error. How do you establish what went wrong, so that you can correct the problem? In the example below, I am working with IDMF 2.0 running on AX 2009, but the AX version I am using is not really relevant. Let's start with some background information and some links that you may find useful.

1. Background

IDMF 2.0 was released in July 2014 and these days you can download the most recent build from the LCS web site in the Downloadable tools area.

MSDN Blogs > Microsoft Dynamics AX Solution Architecture > Microsoft Dynamics AX Intelligent Data Management Framework 2.0 released
http://blogs.msdn.com/b/axsa/archive/2014/07/21/idmf-2-0.aspx

// Supported Products:

Microsoft Dynamics AX 2012 R3
Microsoft Dynamics AX 2012 R2
Microsoft Dynamics AX 2012 Feature Pack
Microsoft Dynamics AX 2012
Microsoft Dynamics AX 2009

// Main Documentation Link:

Microsoft Dynamics AX Intelligent Data Management Framework (IDMF) [AX 2012]
http://technet.microsoft.com/en-us/library/hh378082.aspx

// Installation Guide:

Installation Guide for the Microsoft Dynamics AX Intelligent Data Management Framework (IDMF) [AX 2012]
http://technet.microsoft.com/EN-US/library/hh389759.aspx

// Using IDMF:

Using the Microsoft Dynamics AX Intelligent Data Management Framework (IDMF) [AX 2012]
http://technet.microsoft.com/EN-US/library/hh389763.aspx

// Troubleshooting IDMF:

Troubleshoot the Microsoft Dynamics AX Intelligent Data Management Framework (IDMF) [AX 2012]
https://technet.microsoft.com/EN-US/library/hh389765.aspx

// Default INSTALLATION path:

C:\Program Files\Microsoft Dynamics AX Intelligent Data Management Framework\

// Default LOG path:

C:\Program Files\Microsoft Dynamics AX Intelligent Data Management Framework\Log\



I won't go into details about how to install IDMF here as that is covered by the links above, except to say that once you've created your IDMF databases, you then need to run the post-installation tasks before you can use IDMF:



On this TEST environment, we can see the AX 2009 production database, the production replica database, and the two IDMF databases that are created when you install IDMF:



2. Running IDMF jobs

When you've completed the installation, you will see the IDMF 2.0 interface, and you will be asked to run some specific tasks in a certain order to get IDMF up and running.

One of the first actions you will need to take is to schedule a 'Synchronize metadata' job under the 'Schedule' tab:



When the job has been scheduled OK, you will see it under the 'Status' tab:



The IDMF jobs can have several different statuses:

------------
Canceled
Error
Fail
OnHold
Pass
Pending
Running
------------

Some of these are mentioned in more detail here:

Viewing the status of purge or archive jobs (IDMF) [AX 2012]
https://technet.microsoft.com/en-us/library/hh389757.aspx

So you've scheduled a job and tried to run it, and it appears under the 'Status' tab OK. The first status that you will see is 'Pending':



You may then see the job 'Running':



3. Dealing with an error

What do you do if that job changes status to 'Error'?



Well, the first thing I suggest that you look at is the 'Trace log' hyperlink



In my scenario, the Trace output looks like this:

----------------------------------------------------------------------------------------
Oct 30 2015 11:18AM Source: Scheduler service ExecutionResult: MetaSync started
Oct 30 2015 11:18AM Source: Scheduler service ExecutionResult: Synchronizing required procedures
Oct 30 2015 11:18AM Source: Scheduler service ExecutionResult: Synchronizing AOT Stats
Oct 30 2015 11:18AM Source: Scheduler service ExecutionResult: Completed AOT Stats
Oct 30 2015 11:18AM Source: Scheduler service ExecutionResult: Gathering virtual companies and their details
Oct 30 2015 11:18AM Source: Scheduler service ExecutionResult: Virtual company information gethered completed
Oct 30 2015 11:18AM Source: Scheduler service ExecutionResult: Started Creating update table query
Oct 30 2015 11:19AM Source: Scheduler service ExecutionResult: Finished Creating update table query
Oct 30 2015 11:19AM Source: Scheduler service ExecutionResult: Executing update table query
Oct 30 2015 11:19AM Source: Scheduler service ExecutionResult: EXCEPTION while doing meta sync :System.Data.SqlClient.SqlException (0x80131904):
Could not allocate space for object 'sys.sysrowsets'.'clust' in database 'IDMFArchiveDB' because the 'PRIMARY' filegroup is full.
Create disk space by deleting unneeded files, dropping objects in the filegroup, adding additional files to the filegroup, or setting autogrowth on for existing files in the filegroup.
at System.Data.SqlClient.SqlConnection.OnError(SqlException exception, Boolean breakConnection, Action`1 wrapCloseInAction)
at System.Data.SqlClient.TdsParser.ThrowExceptionAndWarning(TdsParserStateObject stateObj, Boolean callerHasConnectionLock, Boolean asyncClose)
at System.Data.SqlClient.TdsParser.TryRun(RunBehavior runBehavior, SqlCommand cmdHandler, SqlDataReader dataStream, BulkCopySimpleResultSet bulkCopyHandler, TdsParserStateObject stateObj, Boolean& dataReady)
at System.Data.SqlClient.SqlCommand.RunExecuteNonQueryTds(String methodName, Boolean async, Int32 timeout, Boolean asyncWrite)
at System.Data.SqlClient.SqlCommand.InternalExecuteNonQuery(TaskCompletionSource`1 completion, String methodName, Boolean sendToPipe, Int32 timeout, Boolean asyncWrite)
at System.Data.SqlClient.SqlCommand.ExecuteNonQuery()
at Microsoft.Dynamics.AX.DataManagement.Framework.DataAccess.IDMFDataAccess.ExecuteQuery(String sourceConn, String query)
at Microsoft.Dynamics.AX.DataManagement.Framework.MetaData.MetaDataService.SyncTables()
at Microsoft.Dynamics.AX.DataManagement.Framework.MetaData.MetaDataService.MetaSyncProcess()
at Microsoft.Dynamics.AX.DataManagement.Framework.MetaData.MetaDataService.Process()
ClientConnectionId:097160a4-9c1d-4b2a-9a69-ccad7f7dd026
Oct 30 2015 11:19AM Source: Scheduler service ExecutionResult: MetaSync completed with errors
----------------------------------------------------------------------------------------

What happens if I try to run another 'Synchronize metadata' job now without resolving the error?

Well, you end up with a job that's 'OnHold':



You need to resolve the original issue first.

In my demo, I have restricted the max file size of the IDMFArchiveDB to provoke this error, so I simply change the database file configuration so that I won't run out of space.

Once I've done that, I simply restart the schedule that has a status of 'Error' by right-clicking on it, choosing 'Restart schedule', and providing a new run date and run time when prompted:



You'll see the job status change to 'Pending' and the 'Description' will say when it was 'Restarted':



Once the job has finished, the status will change to 'Success':



In fact, in the screenshot above, we can see that the first job completed successfully, and as a result, the second job which was 'OnHold' was also able to run after that, and complete successfully.

Also note that the 'Substasks' in the 'Trace' pane have a 'Status' of 'Pass'

You can now go ahead and run the other jobs, e.g. 'Synchronize master data':



4. Summary

You schedule jobs under the 'Schedule' tab.
You see jobs and their statuses under the 'Status' tab.
Resolve any issue with jobs that 'Error' then try to re-run the schedule.
Jobs that have a status of 'OnHold' won't run until preceding jobs have had their errors resolved and they've run successfully.




Источник: http://blogs.msdn.com/b/axsupport/ar...ult-error.aspx

[Vadik]

Просто любопытно - им (IDMF) кто-то пользуется ? Если да - для чего ? Как впечатления ?

[Link]

Цитата:

Сообщение от Vadik

Просто любопытно - им (IDMF) кто-то пользуется ? Если да - для чего ? Как впечатления ?

У нас сейчас все легаси данные из 4ки в 2012R3 перегоняют с помощью этого зверя. Я правда в другой команде - на разработке.

[Vadik]

Цитата:

Сообщение от Link

У нас сейчас все легаси данные из 4ки в 2012R3 перегоняют с помощью этого зверя

Спасибо, а можно чуть подробнее? Это разовая миграция данных? Если да, то каких - транзакционные, мастер-данные? Или что-то другое?

[Link]

Цитата:

Сообщение от Vadik

Спасибо, а можно чуть подробнее? Это разовая миграция данных? Если да, то каких - транзакционные, мастер-данные? Или что-то другое?

Разовая в разрезе компании-страны. В данный момент есть страны перешедшие на 2012, а есть еще на 4ке. Транзакционных данные похоже не тянут, только мастер данные и настройки.

[Vadik]

Цитата:

Сообщение от Link

Разовая в разрезе компании-страны. В данный момент есть страны перешедшие на 2012, а есть еще на 4ке

Ясно. Мы в похожей ситуации использовали DMF с ODBC источником и базу четверки как source

[Vadik]

В тему:

Цитата:

IDMF - Purge job deletes all records due to missing validation:

There is no validation on the Value to determine if we want it to be BLANK or ‘’ (two single quotes) which leads to delete all records from the table not just the ones having blank SalesId.
Value validation has been improved so that we don’t delete data that we didn’t expect to delete

New version of Microsoft Dynamics AX Intelligent Data Management Framework (IDMF) is now available on LCS

[Link]

Цитата:

Сообщение от Vadik

Просто любопытно - им (IDMF) кто-то пользуется ? Если да - для чего ? Как впечатления ?

Я кажется ввел всех в заблуждение своим вчерашним постом. Сегодня утром перечитал и понял, что я перепутал с DMF Собственно по сабжу, который о IDMF: его предназначение отличается от DMF, и служит он для разделения базы на архивную и активную, что бы ускорить работу с последней. И отвечая на вопрос - я не сталкивался, что бы его (IDMF) кто то использовал.

[trud]

Встречал использование данной тулзы селзами на тендерах для ответа на вопрос потенциального клиента - есть ли в аксапте архивирование исторических данных. можно ответить что конечно же есть, и вставить пару скриншотов даже. не хуже чем у других

[Link]

Цитата:

Сообщение от trud

Встречал использование данной тулзы селзами на тендерах для ответа на вопрос потенциального клиента - есть ли в аксапте архивирование исторических данных. можно ответить что конечно же есть, и вставить пару скриншотов даже. не хуже чем у других

Если посмотреть обсуждение в похожих темах по тегу внизу, то видно, что упоминаний об использовании дальше, чем "поставил поиграться" не упомянуто.

[fed]

Цитата:

Сообщение от Link

Если посмотреть обсуждение в похожих темах по тегу внизу, то видно, что упоминаний об использовании дальше, чем "поставил поиграться" не упомянуто.

Если посмотреть на сообщение от Vadik, то можно сделать вывод что ее вообще мало кто использует (раз уж такие фундаментальные баги выявляются спустя 6 или 7 лет после релиза бета-версии.