быстрое удаление товаров

[wojzeh]

коллеги, может кто-нибудь поделиться кодом или ссылкой на таковой для быстрого удаления товаров InventTable, EcoResProduct и прочих связанных с ними таблиц?

нужно удалить примерно 122 тыщи позиций, так что желательно, чтоб запустить в батче в несколько потоков - есть 4 сервера с 4 ядрами.

спасибо!

[Logger]

Зачем быстро? Спешка нужна при ловле блох.
Лучше скрыть неиспользуемые позиции, а затем не спеша удалять.
Нужно ведь еще проверить что они нигде не используются.

[KiselevSA]

Готового нет. Но вот так,вроде, должно сработать:

InventTable		_inventTable;
EcoResProduct	_ecoResProduct;
ItemId			_itemId;
RefRecId		_recId;

while select forupdate _inventTable
{
	_itemId = _inventTable.ItemId;
	_recId = _inventTable.Product;
	if(_inventTable.validateDelete())
	{
		ttsbegin;
		_inventTable.delete();
		ttscommit;
	}
	else
	{
		info(strfmt("Error delete item %1", _inventTable.ItemId));
	}
	
	while select forupdate _ecoResProduct
	where
		_ecoResProduct.RecId == _recId
		{
			if( _ecoResProduct.validateDelete())
			{
				ttsbegin;
				_ecoResProduct.delete();
				ttscommit;
			}
			else
			{
				info(strfmt("Error delete product %1", _ecoResProduct.DisplayProductNumber));
			}
		}
}

[БАХ43]

А проводки по этим позициям есть? Если нет, то так быстрее будет. Еще можно на SQL запросе - еще быстрее получится.

ttsbegin;
    inventTable.skipDatabaseLog(true);
    inventTable.skipDataMethods(true);
    inventTable.skipDeleteActions(true);
    delete_from inventTable
        notexists join inventTrans
            where  inventTable.ItemId   == inventTrans.ItemId;

    ttscommit;

[БАХ43]

Еще в 5.0 есть класс InventUnusedDimCleanUp. Можно взять за основу, только поменять везде InventDim на InventTable. Там как раз пример построения запроса на SQL.

[wojzeh]

Цитата:

Сообщение от KiselevSA

Готового нет. Но вот так,вроде, должно сработать:

таким вот сейчас и пользуюсь, но нужна обёртка для параллельной обработки

[wojzeh]

@Модератор, а где кнопка "Мне не нравится"? ещё лучше бы "Удалить камент как бестолковый"

[wojzeh]

Цитата:

Сообщение от Владимир Максимов

А "в лоб" - нельзя?

Отдельную таблицу со списком удаляемой номенклатуры и RunBaseBatch с возможностью указать диапазон по этой таблице. Далее несколько пакетных заданий по разным диапазонам. Заодно и лог удаления останется

именно это и надо! где взять?

[Владимир Максимов]

Цитата:

Сообщение от wojzeh

именно это и надо! где взять?

В смысле? Создать. Чего сложного-то? Как-то ведь 122 тысячи позиций указываете. Неужели константами в джобе? Ну, так вместо констант создать табличку и в нее загнать все 122 тысячи значений

[Владимир Максимов]

Как вариант, можно привязать удаляемые номенклатуры как каким-нибудь особым веткам классификатора. И отдельные пакетники каждый по своей ветке

[wojzeh]

в исходном топике не было вопроса "как?", там была просьба поделиться готовым кодом.

Цитата:

Сообщение от Владимир Максимов

В смысле? Создать. Чего сложного-то?

сложного то, что времени нет

[БАХ43]

Создать таблицу со списком удаляемых позиций, например InventTableCleanUp, дальше примерно так:

        InventTable.skipDataMethods(true);
        InventTable.skipDeleteActions(true);
        InventTable.skipDatabaseLog(true);
        InventTable.skipEvents(true);

        delete_from InventTable 
            exists join InventTableCleanUp
            where InventTableCleanUp.ItemId == InventTable.ItemId ;

у меня 9 млн записей в InventDim за 3 часа удалилось. на 122 тыс - считайте сами. Там просто к InventTable еще куча таблиц привязана, которые тоже надо очистить. Но, я думаю, что удалять номенклатуры, по которым есть проводки - это полный пипец. А как же остатки? Вдруг не все в ноль. Тогда надо и InventTrans чистить и InventSum.

[БАХ43]

Может есть еще какой-то критерий, по которому можно отсортировать записи? Например, я удалял данные из неактуальных компаний (наследие предков) таким вот кодом

protected void deleteAllNotCurCompany()
{
    str                             sqlStr;
    Dictionary                      dict = new Dictionary();
    SysDictTable                    dictTable;
    tableId                         tableId;
    int64                           recordCount, recordSum, tableCount;
    Common                          common;
    Connection                      connection = new Connection();
    SqlSystem                       sqlSystem = new SqlSystem();
    Statement                       statement;
    int                             i;
;

    
    progressBar.setText(strfmt("Удаляю таблицы неактуальных компаний (%1) ...", dict.tableCnt()));
    progressBar.setTotal(dict.tableCnt(), 2);
    
    for (i=1; i<=dict.tableCnt(); i++)
    {
        progressBar.incCount(1, 2);
        tableId = dict.tableCnt2Id(i);
        dictTable = new SysDictTable(tableId);
        if (!dictTable || dictTable.isMap() || dictTable.isTmp() || dictTable.isView() || !dictTable.dataPrCompany())
            continue;
        common = dictTable.makeRecord();
        common.disableCache(true);

        while select crosscompany count(RecId) from common
            group by dataAreaId
        {
            recordCount = common.RecId;
            if (recordCount && !this.isInCurCompany(common.dataAreaId))
            {
                sqlStr  = 'DELETE FROM ' + dictTable.name(DbBackend::Sql); 
                sqlStr += ' WHERE (' + dictTable.fieldName(fieldnum(common, DataAreaId),DbBackend::Sql);
                sqlStr += ' = ' + sqlSystem.sqlLiteral(common.dataAreaId) + ') ';
                connection.ttsbegin();
                statement = connection.createStatement();
                new SqlStatementExecutePermission(sqlStr).assert();
                statement.executeUpdate(sqlStr);
                connection.ttscommit();
                CodeAccessPermission::revertAssert();
                recordSum += recordCount;
                tableCount++;
            }
        }
    }
    info(strfmt("Удалено %1 записей в %2 таблицах неактуальных компаний", recordSum, tableCount));
}

//BAH Да, если компания текущая или виртуальная в текущей
private boolean isInCurCompany(DataAreaId _dataAreaId)
{
;

    if (this.getCompanyFromVirtual(_dataAreaId) == curExt())
        return true;
    return false;
}

//BAH186 26.01.2018 Возвращает первую попавшуюся компанию, входящую в состав виртуальной 
private DataAreaId getCompanyFromVirtual(DataAreaId _virtual)
{
    VirtualDataAreaList virtualDataAreaList;
    ;
    if (this.isVirtual(_virtual))
    {
        select firstonly virtualDataAreaList
            where virtualDataAreaList.virtualDataArea == _virtual;
        return virtualDataAreaList.Id ? virtualDataAreaList.Id : "";
    }
    else
        return _virtual;
}

//BAH186 Да, если компания виртуальная
private boolean isVirtual(DataAreaId _dataAreaId)
{
    DataArea dataArea;
    boolean  ret;
    ;
    select firstonly id from dataArea
        where dataArea.id == _dataAreaId &&
              dataArea.isVirtual == NoYes::Yes;
    if (dataArea)
    {
        ret = true;
    }
    return ret;
}

почти 20 млн записей (Удалено 19772500 записей в 403 таблицах неактуальных компаний
) за 1-2 часа (точнее не засекал, отслеживал каждый шаг в дебаггере). И то на тестовой базе, которая в 3-5 раз медленнее рабочей.

[wojzeh]

вот решение http://alexvoy.blogspot.ca/2018/02/p...dating-or.html