Быстрый отчет 500 тысяч строк в Эксель

[Ace of Database]

Извините, я про смысл 500 тыс. строк рассказывать не буду.
Решения, которые требуют установки дополнительного ПО, не подходят.
Всем спасибо за ответы!

[Dreadlock]

500 000 строк никто никогда в нормальном состоянии не проанализирует. Значит хотят сделать из этих данных PivotTable, или что-то типа того.

Не стоит ли взглянуть в сторону AnalysisServices или подумать про отчет на PowerBI?!

[Ace of Database]

Решение приняла длинная цепочка людей. Я нахожусь внизу этой пирамиды, предлагаю разные варианты, но цепочка уже все решила. Тут работает теория шести рукопожатий.
И так понятно какие можно принять организационные решения.
Проще подождать 7 часов, пока отчет отработает.

[Zick-Zibn]

Я бы вам посоветовал смотреть в сторону EPPPlus. Есть у нас отчет "Журнал выставленных счетов фактур". Ранее он работал на основе XMLExcelDocument_RU, кол-во строк более 500 тыс. работал не устойчиво, время формирования, более двух часов, да и не всегда он смог сформироваться, часто его формирование заканчивалось ошибкой, какой сейчас не вспомню. Естественно это раздражало пользователей, со временем формирования они еще могли мирится, но факт того, что отчет в итоге может и не сформироваться, это их естественно не устраивало. Я тоже тогда задумался о переводе отчета на что то другое. В итоге остановился на EPPPlus.
После переноса отчета на EPPPlus время формирования отчета стало в районе 40 минут. Ни разу не было жалоб, что бы отчет не сформировался, по каим либо причинам. Вообщем советую вам посмотреть в сторону EPPPlus.

[Ace of Database]

Установка дополнительного ПО потребует его обслуживание и привлечения дополнительных ресурсов.
На решение этой задачи был выделен только ресурс программиста, который не обладает правом решать, какое ПО нужно устанавливать.
Узнав все дополнительные требования, цепочка людей решила, что 7 часов работы отчета её устроит.

Этот отчет нужен очень малому количеству людей, чтобы выделять ради него дополнительное количество ресурсов.

[Ace of Database]

В общем, решили все оставить как есть, пусть работает 7 часов.
Отчет работает стабильно потому, что выводит данные в обычный текстовый файл (HTML). Но долго, потому что преобразование этого файла в Эксель работает 6 часов.
Для себя я на будущее поставил задачу ускорения вывода больших файлов в Эксель. Но в данный момент у меня нет времени заниматься разработкой инструментов на перспективу.

[Ace of Database]

А EPPPlus требует что-то устанавливать на комп ?

[Zick-Zibn]

Цитата:

Сообщение от Ace of Database

Установка дополнительного ПО потребует его обслуживание и привлечения дополнительных ресурсов.
На решение этой задачи был выделен только ресурс программиста, который не обладает правом решать, какое ПО нужно устанавливать.
Узнав все дополнительные требования, цепочка людей решила, что 7 часов работы отчета её устроит.

Этот отчет нужен очень малому количеству людей, чтобы выделять ради него дополнительное количество ресурсов.

Ммм... Да там только одну dll в узел References добавить, вот и вся установка ПО.

[Ace of Database]

Чтобы убедить админа поставить DLL на сервер, надо чтобы в компании поднялся ажиотаж вокруг этого отчета. Пока что ажиотажа нет, будут ждать отчет 7 часов.

[Zick-Zibn]

Цитата:

Сообщение от Ace of Database

А EPPPlus требует что-то устанавливать на комп ?

Нет, ее надо скопировать в клиентску папку Bin, ну и на сервере тоже в Bin. И повторюсь добавить ссылку на dll в AOT\References

[Ace of Database]

Цитата:

Сообщение от Zick-Zibn

Нет, ее надо скопировать в клиентску папку Bin, ну и на сервере тоже в Bin. И повторюсь добавить ссылку на dll в AOT\References

На сервер копировать файлы может только админ.
Я смутно помню, как делал копирование файлов при запуске Аксапты через SysFileDeployer. У меня даже есть рабочая Аксапта с этим примером. Но все равно это опять надо исследовать, подготавливать инфраструктуру. А нужны быстрые решения на коленке.

[mazzy]

Цитата:

Сообщение от Ace of Database

У меня есть текстовый файл из 500 тысяч строк, мне надо загнать его в Эксель. Формат текстового файла я могу сделать любой, какой будет удобною

Два вопроса:
1) как это сделать начиная с некоторой строки имеющегося файла Экселя.
2) как это сделать в новый файл Эксель.

Цитата:

Сообщение от Logger

Можно иметь заготовку из xml файлов.

Цитата:

Сообщение от AlexeyS

Экспорт в эксель через XML

вам ответили.
выводите в xml, который Эксель понимает.

1. ваш имеющийся файл экспортируйте из Экселя в xml
2. найдите точку, куда хотите вставить.
3. разбейте в этой точке на два файла - перфикс и суффикс
4. из аксапты добавьте к префиксу XML отчета через XMLWriter (он не хранит структуру в памяти, а просто выводит в файл)
5. из аксапты добавьте суффикс

Цитата:

Сообщение от Ace of Database

На сервер копировать файлы может только админ.
Я смутно помню, как делал копирование файлов при запуске Аксапты через SysFileDeployer. У меня даже есть рабочая Аксапта с этим примером. Но все равно это опять надо исследовать, подготавливать инфраструктуру. А нужны быстрые решения на коленке.

да, ну. ерунда какая-то

[Zick-Zibn]

Цитата:

Сообщение от Ace of Database

На сервер копировать файлы может только админ.
Я смутно помню, как делал копирование файлов при запуске Аксапты через SysFileDeployer. У меня даже есть рабочая Аксапта с этим примером. Но все равно это опять надо исследовать, подготавливать инфраструктуру. А нужны быстрые решения на коленке.

Можно скопировать только на клиента, при условии что класс не будет работать на сервере.

[Ace of Database]

Цитата:

Сообщение от mazzy

вам ответили.
выводите в xml, который Эксель понимает.

Нужно, чтобы файл имел расширение XLSX - это основное требование. Я боюсь, что преобразование из XML в XLSX опять займет много времени.
Вы извините, если я задаю глупые вопросы, просто у меня нет времени самому пробовать все эти варианты. Может у кого-то есть готовый опыт и даже код.
А то я потрачу пару дней на вывод данных в XML, а потом выяснится, что он долго конвертируется в XLSX

[Ace of Database]

Цитата:

Сообщение от Zick-Zibn

Можно скопировать только на клиента, при условии что класс не будет работать на сервере.

Основное требование - должно работать в пакете.
Вот основные требования:
1) Должен работать в пакете
2) Файл должен иметь расширение XLSX. Такое требование клиента. Если файл имеет другое расширение, но умеет открываться в Экселе, то это не подходит. Потому что обязательно должно быть расширение XLSX.
3) Расширение файла должно соответствовать его формату, иначе Excel ругается.

[mazzy]

Цитата:

Сообщение от Ace of Database

Нужно, чтобы файл имел расширение XLSX - это основное требование. Я боюсь, что преобразование из XML в XLSX опять займет много времени.

а зачем преобразовывать?
просто дайте расширение XLSX

вы попробуйте. проверно.

ЗЫ: другое дело, если файл будут разбирать какие-нибудь библиотеки, отличные от Excel... например, тот же EPPPlus. Но это значит, что где-то на ваших серверах EPPPlus уже стоит. Значит и вам поставить можно.

[Ace of Database]

Цитата:

Сообщение от mazzy

а зачем преобразовывать?
просто дайте расширение XLSX
вы попробуйте. проверно.

А, ну если так Я просто уже привык, что все в жизни дается сложно

[Ace of Database]

Нашелся быстрый способ - оказалось что это обычный вывод в Эксель через наследование от XMLExcelReport_RU через метод fillData()
500 тысяч строк выводятся за 10 минут при включенном CIL.
Видимо, просто в тот день у меня был неудачный день, что у меня сложилось мнение, что XMLExcelReport_RU выведет этот отчет за 2,5 часов.
После получения моральной и психологической поддержки от товарищей на использование класса XMLExcelReport_RU, все получилось.

[mazzy]

Цитата:

Сообщение от Ace of Database

наследование от XMLExcelReport_RU через метод fillData()

Эксель на сервере... Наверняка лицензионный...
Что ж, у богатых свои причуды.

[Raven Melancholic]

Цитата:

Сообщение от mazzy

Эксель на сервере... Наверняка лицензионный...

Не, XMLExcelReport_RU работает без самого Excel это же OXML. Ну, конечно, если не нужно открывать интерактивно. Если в файл, то Excel не нужен.