Обработка DBF через .net

[someOne]

Возможно кому то пригодится NET компонент (DLL) для работы с файлами dbf в Аксапта...

Приимущества данного решения:

- Надежность (не требуется использования "глючных" ADODB, ODBC и так далее.)
- Быстродействие (обработка файла KLADR.DBF (198 тыс записей) заняла 25 секунд, пример - ниже)
- Возможность использования как на сороне клиента, так и на стороне сервера в т.ч. x64

Компонент самописный, взято отсюда: http://www.sql.ru/Forum/actualthread...194256#7194256
(спасибо автору)

Компонент преобразует dbf файл в стандартный объект NET DataTable. Так же умеет делать и обратную процедуру.

Пример использования - ниже. Как и другие NET компоненты, данную DLL перед использованием нужно "прописать" в Reference AOT аксапты.

static void DBFTest(Args _args)
{
    System.Data.DataTable           dt;
    System.Data.DataRowCollection   rows;
    System.Data.DataRow             row;
    int                             cnt;
    int                             i;
    str                             name;
    str                             code;
    int                             t1, t2;
    ;
    new InteropPermission(InteropKind::ClrInterop).assert();

    try
    {
        t1 = timeNow();
        
        dt = DBFclient.DirectAccess::Load("c:\\kladr.DBF");

        rows = dt.get_Rows();

        cnt = rows.get_Count();
        
        info(strFmt("строк %1", cnt));

        for (i = 0; i < cnt; i++)
        {
            row = rows.get_Item(i);

            name = row.get_Item("name");
            code = row.get_Item("code");
        }
    }
    
    catch (exception::CLRError)
    {
        throw error(AifUtil::getClrErrorMessage());
    }

    catch (exception::Internal)
    {
        throw error("Internal");
    }

    CodeAccessPermission::revertAssert();
    
    t2 = timeNow();
    
    info(strFmt("%1", t2 - t1));
    
}

Привожу саму DLL и проект с ее исходными кодами (возможно пригодится что то исправить...)

[MikeR]

Перенес в базу знаний

[gl00mie]

См. также http://fastdbf.codeplex.com

[someOne]

Цитата:

Сообщение от gl00mie

См. также http://fastdbf.codeplex.com

Проверил этот вариант. Мне он понравился больше. Профессиональная разработка, больше возможностей, грамотно сделано....

Некоторые особенности этого варианта:
- штатно нельзя задать кодировку символов файла при чтении
(по умолчанию она в стандартной западной кодировке, а российские файлы DBF кодируются в кодировке 866, в основном). Пришлось "подправить" это в DLL. - прилагается.

- текстовые поля возврашаются без "обрезанных" с права пробелов,
например

"Адыгея                                  "

из примера в c файлом kladr.dbf

А во остальном этот вариант - очень даже "FastDbf"

Вот пример использования на том же примере...
Файл - 198 тыс строк, время работы примера - 21 секунда, даже быстрее чем предидущий пример!!!

static void DBFTest(Args _args)
{
    SocialExplorer.IO.FastDBF.DbfFile   dbfFile;
    SocialExplorer.IO.FastDBF.DbfRecord dbfRecord;
    SocialExplorer.IO.FastDBF.DbfHeader dbfHeader;

    int                             cnt;
    int                             i;

    str                             name;
    str                             code;

    int                             name_idx;
    int                             code_idx;

    int                             t1, t2;
    ;
    new InteropPermission(InteropKind::ClrInterop).assert();

    try
    {
        t1 = timeNow();

        dbfFile = new SocialExplorer.IO.FastDBF.DbfFile();

        dbfFile.Open("c:\\KLADR.DBF", System.IO.FileMode::Open);

        dbfHeader = dbfFile.get_Header();

        cnt = dbfHeader.get_RecordCount(); // определяет количество строк в файле

        dbfRecord = new SocialExplorer.IO.FastDBF.DbfRecord(dbfHeader, System.Text.Encoding::GetEncoding(866)); // можно задать кодировку в dbf файле

        // определение порядкового номера столбца по его имени
        name_idx = dbfRecord.FindColumn("name");
        code_idx = dbfRecord.FindColumn("code");

        info(strFmt("строк в файле %1", cnt));

        for (i = 0; i < cnt; i++)
        {
            dbfFile.Read(i, dbfRecord);

            name = dbfRecord.get_Item(name_idx);
            // Для корректного отображения результата по текстовым полям нужно использовать strrTrim для удаления пробелов в конце строки
            name = strRtrim(name);

            code = dbfRecord.get_Item(code_idx);
        }

        dbfFile.Close();
    }

    catch (exception::CLRError)
    {
        error(AifUtil::getClrErrorMessage());

        dbfFile.Close();
    }

    catch (exception::Internal)
    {
        throw error("Internal");
    }

    t2 = timeNow();

    info(strFmt("Время обработки %1", t2 - t1));

}

Проект свободный для коммерческого использования, так что может быть и это пригодится кому то.

[alvares]

Коллеги, а есть у кого рабочий пример для создания DBF c помощью "FastDbf"

Не могу понять как работать с заголовком DBF, подскажите в чем не прав - пример создает файл нулевой длины и не отпускает его пока открыта АХ.

static void DBFCreate(Args _args)
{
    SocialExplorer.IO.FastDBF.DbfFile       dbfFile = new SocialExplorer.IO.FastDBF.DbfFile();
    SocialExplorer.IO.FastDBF.DbfRecord     dbfRecord;
    SocialExplorer.IO.FastDBF.DbfHeader     dbfHeader;
    ;

    dbfFile.Create("c:\\tt1.dbf");

    dbfHeader = dbfFile.get_Header();

    dbfHeader.AddColumn("StrCol", SocialExplorer.IO.FastDBF.DbfColumnType::Character, 20, 0);
    dbfHeader.AddColumn("NumCol1", SocialExplorer.IO.FastDBF.DbfColumnType::Number, 15, 3);
    dbfHeader.AddColumn("NumCol2", SocialExplorer.IO.FastDBF.DbfColumnType::Number, 3, 0);
    dbfHeader.AddColumn("DateCol", SocialExplorer.IO.FastDBF.DbfColumnType::Date);
    dbfHeader.AddColumn("BoolCol", SocialExplorer.IO.FastDBF.DbfColumnType::Boolean);
    
    dbfRecord = new SocialExplorer.IO.FastDBF.DbfRecord(dbfHeader, System.Text.Encoding::GetEncoding(1251));
    dbfRecord.set_Item(1, 'Test');
    dbfRecord.set_Item(2, '100.10');
    dbfRecord.set_Item(3, '10');
    dbfRecord.SetDateValue(4,str2datetime('31.12.2010', 123));
    dbfRecord.set_Item(5, '1');

    dbfFile.Write(dbfRecord);
    dbfFile.WriteHeader();
    dbfFile.Close();
}

Спасибо.

[someOne]

Цитата:

Сообщение от alvares

Коллеги, а есть у кого рабочий пример для создания DBF c помощью "FastDbf"

Не могу понять как работать с заголовком DBF, подскажите в чем не прав - пример создает файл нулевой длины и не отпускает его пока открыта АХ.

Спасибо.

Вот вам рабочий пример.

При работе с NET не забывайте о таких особенностях:
1. Ядро аксапты не перехватывает CLR ошибки, поэтому их нужно перехватывать в коде самому, иначе остаются "висеть" инициализированные объекты (в вашем случае захваченные файлы). Со сборкой мусора при использовании CLR не все так просто...
Кроме того вы просто не сможете понять в чем причина ошибки...

2. В NET принято нумерация последовательности объектов (строк, стобцов...) с нуля а не с единицы как в аксапте.

static void DBFCreate(Args _args)
{
    SocialExplorer.IO.FastDBF.DbfFile       dbfFile = new SocialExplorer.IO.FastDBF.DbfFile();
    SocialExplorer.IO.FastDBF.DbfRecord     dbfRecord;
    SocialExplorer.IO.FastDBF.DbfHeader     dbfHeader;
    ;

    try
    {
        winApi::deleteFile("c:\\tt1.dbf");

        dbfFile.Create("c:\\tt1.dbf");

        dbfHeader = dbfFile.get_Header();

        dbfHeader.AddColumn("StrCol",  SocialExplorer.IO.FastDBF.DbfColumnType::Character, 20, 0);
        dbfHeader.AddColumn("NumCol1", SocialExplorer.IO.FastDBF.DbfColumnType::Number, 15, 3);
        dbfHeader.AddColumn("NumCol2", SocialExplorer.IO.FastDBF.DbfColumnType::Number, 3, 0);
        dbfHeader.AddColumn("DateCol", SocialExplorer.IO.FastDBF.DbfColumnType::Date);
        dbfHeader.AddColumn("BoolCol", SocialExplorer.IO.FastDBF.DbfColumnType::Boolean);

        dbfRecord = new SocialExplorer.IO.FastDBF.DbfRecord(dbfHeader, System.Text.Encoding::GetEncoding(1251));
        

        dbfRecord.set_Item(0, 'Test');
        dbfRecord.set_Item(1, "100");
        dbfRecord.set_Item(2, "10");
        dbfRecord.SetDateValue(3,str2datetime('31.12.2010', 123));
        dbfRecord.set_Item(4, 'f');

        dbfFile.Write(dbfRecord);
        dbfFile.WriteHeader();
        dbfFile.Close();
    }
    catch (Exception::CLRError)
    {
        dbfFile.Close();
        Error(AifUtil::getClrErrorMessage());
    }
}

[gl00mie]

Там не помешают кое-какие косметические улучшения, к примеру, enum'ы, используемые для указания параметров методов, там кое-где объявлены внутри классов - их лучше вынести на уровень namespace'а, чтобы можно было ссылаться на них в коде Х++ (IntelliSense в MorphX тоже по-другому их "не видит"). После этого может потребоваться добавить соотв. namespace в список using в ряде исходников библиотеки, чтобы они нормально компилировались. Плюс, чтобы работать с dbf на сервере, сборка должна быть помещена в GAC, а для этого у нее должно быть это... strong name, т.е. надо будет еще ее подписать. А так да, очень обстоятельно сделано...

[someOne]

Цитата:

Сообщение от gl00mie

Плюс, чтобы работать с dbf на сервере, сборка должна быть помещена в GAC, а для этого у нее должно быть это... strong name, т.е. надо будет еще ее подписать. А так да, очень обстоятельно сделано...

Помещать в GAC не обязательно. Достаточно поместить DLL файл в папку сервера,
например

c:\Program Files\Microsoft Dynamics  *\Bin\

Кроме того, после добавления DLL в reference нужен перезапуск сервера. И все будет работать без помещения в глобальный кеш сборок.

По моему так даже проще и надежнее - проще обновлять версии DLL сборок

[gl00mie]

Коллега допилил библиотеку FastDBF, устранив кое-какие косяки, правда, не возьмусь утверждать, сопровождены ли исправления соотв. комментариями.

PS. Библиотека давно и успешно используется в пром. эксплуатации, дала очень серьезный выигрыш в скорости.

[cyrus]

Мы тоже ее используем. В промышленной эксплуатации грузим таблицы размером от 60mb, сделали warper и table field mapping. Работает стабильно уже пол-года.

[Андрей К.]

Люди, помогите! Зарегистрировал FastDBF через своего клиента AX2009 , положив DLL в папку c:\Program Files\Microsoft Dynamics AX\50\Server\*имя сервера*\Bin\
После чего у меня на машине код импорта DBF отрабатывает на ура, но у других пользователей вылетает ошибка:

Цитата:

Объект "CLRObject" не может быть создан

на этой строке кода

dbfFile = new SocialExplorer.IO.FastDBF.DbfFile();

АОС перезагружали
CAS используем:

new InteropPermission(InteropKind::ClrInterop).assert();

в чем может быть проблема?

UPD. проблема решена перемещением выполнения кода на сервер

[kaw]

посмотрите:
ClrObject static method invocation error.

или попробуйте пример
CLRObject.new Method

[gl00mie]

Цитата:

Сообщение от Андрей К.

Зарегистрировал FastDBF через своего клиента AX2009 , положив DLL в папку c:\Program Files\Microsoft Dynamics AX\50\Server\*имя сервера*\Bin\
Объект "CLRObject" не может быть создан
UPD. проблема решена перемещением выполнения кода на сервер

Вы, значит, забыли положить сборку также в каталога bin клиента (на всех хостах, где у вас может запускаться код работы с этой сборкой).

[handy-comp]

При работе с FastDBF рекомендую обязательно использовать dbfRecord.Clear()

На вышеприведенном примере:

....
bfRecord = new SocialExplorer.IO.FastDBF.DbfRecord(dbfHeader, System.Text.Encoding::GetEncoding(1251));
        
dbfRecord.Clear(); //!!!!!!!!!!!

dbfRecord.set_Item(0, 'Test');
dbfRecord.set_Item(1, "100");
..........

Выявлено что при первой записи неправильно инициализируются некоторые типы полей значениями по умолчанию, что делает файл не читаемым для опять таки некоторых привередливых ПО.
Принудительный вызов dbfRecord.Clear() все лечит