Свертка дублирующихся справочников (управляемые формы)

Публикация № 563619

Администрирование - Администрирование данных 1С - Чистка базы

дубли свертка справочники

Инструмент, предназначенный для опытных специалистов, позволяющий удалять дубли в справочниках, с очень широкими возможностями. Если надо свернуть договоры по владельцу и наименованию, при этом правильным выбирать который не помечен на удаление или у которого код с префиксом - это ОНО. Для тех, кто пользуется переносами данных или просто появляются задвоения в справочниках, посвящается...

Краткое описание возможностей и функционала:

  • Выискивание дублей может производиться как обычным сравнением в запросе, так и при помощи сложного алгоритма, созданного оператором.
  • Определение правильного элемента настраивается от автоматического (глупого) метода, до прописывания правил вручную.
  • Имеется возможность производить любые действия перед подменой ссылок.
  • Весь процесс может быть автоматизирован полностью и запускаться одной кнопкой.
  • Хелп достаточно подробный и даже с некоторыми примерами (писал исключительно для себя). Надеюсь, поможет.

Из минусов и осторожностей:

  • При неправильной настройке может сильно подвешивать сервер или выполняться оооочень долго.
  • Поиск дублей запросом в справочниках с владельцем приводит к ошибке, которую, увы, не придумал, как исправить. Поэтому в таких случаях лучше переходить на ручное сравнение.
  • Структура обработки максимально модульная, но, к сожалению, в некоторых местах допустил оплошности, из-за чего некоторые моменты кривовато-непонятные.

Инструмент создавался год назад и до сегодняшнего дня используется периодически. Правила свёртки для многих баз сохранены, и их даже не изменяю. Протоколирование уже не один раз спасало при работе с падучими серверами - всё упало, а я знаю, на каком элементе, и могу не спеша анализировать.

Скачать файлы

Наименование Файл Версия Размер
Свертка дублирующихся справочников (управляемые формы):
.epf 82,36Kb
22.05.20
0
.epf 82,36Kb Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. корум 311 24.11.16 11:50 Сейчас в теме
(0) есть отличия от тысяч клонов?

Сам писал или переделка чего-то найденного?
strange2007; +1 Ответить
2. strange2007 142 24.11.16 12:18 Сейчас в теме
Есть небольшие отличия гибкостью настроек и широтой возможностей. Например, можно сделать так, что дублем будут считаться элементы у которых владелец будет один из нескольких. Алгоритм можно внести любой, в зависимости от ситуации.
Так-же определение правильного элемента можно вертеть-крутить как угодно, в т.ч. и по кол-ву ссылок на тот или иной элемент.
С нагрузкой и информативностью можно много чего понаделать. Например, при поиске ссылок нагрузку на сервер можно увеличить, а при определении правильных сделать больше упор на информативность, чтобы примерно представлять сколько ещё часов всё будет работать.
И да, сам писал. Совсем сам.
корум; +1 Ответить
3. корум 311 24.11.16 12:49 Сейчас в теме
4. Agema 24.11.16 13:28 Сейчас в теме
Пока почитаю отзывы. Пригодится
5. strange2007 142 25.11.16 07:55 Сейчас в теме
Нашёл! Инструмент создавался примерно месяц. Из них 12 дней активной работы и 7 дней доработок по чуть-чуть
6. МимохожийОднако 130 30.11.16 08:10 Сейчас в теме
(0) В БП3.0 есть встроенная обработка ПоискИУдалениеДублей. Она сильно отличается функциональностью от данной обработки?
7. корум 311 30.11.16 09:40 Сейчас в теме
(6) по описанию, отличается сильно. при определении верного истинного элемента можно опираться на свой код, на "правильного" владельца, на нужный префикс и т.д.

Держу на заметке, но пока необходимости нет - не качаю.
9. strange2007 142 30.11.16 09:48 Сейчас в теме
(7) Так и я её первую версию (под ТК) делал от необходимости, а не от пальцегнутости)))))
По правде там ещё небольшая вкусность в полной автоматизации и в работе с нагрузкой на компы. Но это можно оценить в критических ситуациях
8. strange2007 142 30.11.16 09:41 Сейчас в теме
(6) Скорее всего отличия есть. Может плохо смотрел, но там не нашёл как свернуть дубль, например:
1. "Козлов Иван "
2. "Иван Козлов..."
10. Zhilyakovdr 93 30.11.16 17:48 Сейчас в теме
Не изобретайте велосипеды
http://infostart.ru/public/124277/
Открывать в режиме обычного приложения
11. strange2007 142 01.12.16 04:50 Сейчас в теме
(10) Это очень хорошая разработка, но она не перекрывает весь спектр задач, которые преследовал я. А именно там не нашёл информации по распределению нагрузки. Т.е. запусти я подобный инструмент на любом предприятии, где имеется приличная нагрузка на сервера и заказчик меня бы порвал))))))))
Так же там не нашёл каким образом сравнить, например, номенклатуру у которых:
1. Могут совпадать артикулы.
2. Если п.1 не выполняется, то сравнивать по набору свойств.
3. Если п.2 не выполняется, тогда сравнить по наличию остатков в базе.

Ну и я бы не хотел оказаться на месте оператора по свёртыванию с указанным Вами инструментом, когда необходимо проанализировать пару сотен тысяч дублей.

Хотя конечно же, может я там много галочек и кнопочек не нашёл. Не спорю.

В общем каждый сам для себя выбирает, что и как использовать. И да, для обычных форм подобный инструмент я создал в 2010 году)))))
12. Zhilyakovdr 93 01.12.16 10:05 Сейчас в теме
(11)
1) Любые технические работы выполняются когда сервер меньше всего нагружен, чаще всего ночью;
2) По поводу 3х пунктов, просто напросто создается три настройки;
3) Гнать с***ым веником тех людей которые так зас**ли базу;

"В общем каждый сам для себя выбирает, что и как использовать" - полностью согласен)))
А лучше всего, когда такие инструменты использовать не надо)))
strange2007; +1 Ответить
13. Дмитрий74Чел 187 19.12.16 14:47 Сейчас в теме
(10) Ха-ха. А если сервер 1С в другоми домене и вообще в N км от разработчика? Например на Канарских островах? Для "обычного приложения" нужен толстый клиент - а он на узком канале просто не взлетит.
Плавали, знаем. Просто поместили базу в ЦОД крупного провайдера, но канал оказался не очень - только в тонком клиенте все работает.
P.s. Конфигураторы разрабов - в другом серваке. А на боевом - только главный страшный прог.
14. strange2007 142 20.12.16 07:15 Сейчас в теме
(13) Немного не понял что этим хотели сказать или в чём была ирония. Инструмент, предложенный в этой ветке использует средства 1С для передачи информации между сервером и клиентом, поэтому если всё остальное работает, то и инструмент должен справиться со своей задачей.
Или смысл в (13) был про другое? Уточните.
15. Zhilyakovdr 93 20.12.16 09:48 Сейчас в теме
(13) Про RDP и другие удаленки не слыхали.... У нас в организации около 30 своих точек и еще сеть франчази, все на нашей поддержке, разбросаны по всей стране. У большинства интернет через свистки и файловые БД и все работает нормально, а вы тут на ЦОДы жалуетесь....
16. dddxddd 17.01.17 12:43 Сейчас в теме
Пытаюсь свернуть дубли номенклатуры в БП 3.
На закладке "для запроса" при выборе "наименование" для метаданных "номенклатура" странный вариант отбора "<" ">" и т.д. интересно, это что имеется ввиду?
Пытаюсь в этой закладке отобрать для поиска дублей номенклатуру у которой одинаковые единицы измерения, но что-то не получается.
17. strange2007 142 20.01.17 07:17 Сейчас в теме
(16) На закладке "для запроса" задаются условия для запроса. Запросом выбирается начальный список который потом анализируется на элемент наличия дублей. Т.е. в этой закладке, например, можно выбрать только элементы без групп (ЭтоГруппа = Ложь ). Больше или меньше, это тоже условия для запроса. Например, если надо исходный список построить по условию "выбрать всех контрагентов у которых минимальное кол-во дней долга 10", тогда условие на этой закладке надо сделать "ДнейДолга > 9".
Описание поиска самих дублей описывается на второй закладке. В Вашем случае я бы сделал так:
На первой закладке запрос обрезал по группам, т.е.
ЭтоГруппа = Ложь
Т.о. будет выбран список состоящий только из элементов и без групп.

На второй закладке "Поиск дублей" добавить тоже только одну строку
ЕдиницаИзмерения Равенство
Т.о. сравниваться номенклатуры будут только по реквизиту ЕдиницаИзмерения.

На третей закладке "Определение правильного" рекомендуется только установить флаг "Поиск ссылок перед отображением дублей".
Т.о. для каждого элемента будут найдены все ссылки, чтобы при автоопределении правильного обработка выбирала правильным тот элемент, у которого больше всего ссылок.
И всё. Если больше условий нет, тогда можно запускать выполнение
18. strange2007 142 20.01.17 07:20 Сейчас в теме
(16) Если база очень большая и там много кто работает, то надо "играться" с механизмом нагрузок. Тут чуть позапутаней, но оно того стоит.
Ах да, чтобы скорость не была слишком долгой, то не заставляйте механизм "нырять" сильно часто на клиента, но и слишком редко тоже плохо, т.к. не видно где он там копошится и сколько времени осталось.
19. borman 77 20.03.18 17:39 Сейчас в теме
информер показывает нечто странное
Прикрепленные файлы:
20. strange2007 142 21.03.18 07:40 Сейчас в теме
(19) Добрый день. Немного странно. Подскажите на какой операции это случилось?
21. borman 77 21.03.18 15:42 Сейчас в теме
Ну собственно на операции свертки дублей номенклатуры. Был установлен фильтр по ВидуНоменклатуры и 2 параметра сравнения: по Артикулу и Наименованию. Собственно, все. Никаких хитрых настроек не делалось. Конфигурация там допиленная УТ11.3.
Номенклатуры в базе много и дублей тоже. Информер дошел до "из них обработано" 20000 - и я прервал обработку.
Забавно еще то, что после этого мне никак не удается запустить в вашей обработке процесс поиска дублей - результат всегда пустой, хотя типовая обработка видит дубли по таким же параметрам.
22. pvb2003 31.07.19 17:32 Сейчас в теме
2 файла - какой качать ? Хоть версию поставьте , что бы было видно какой последний ...
24. strange2007 142 22.05.20 11:40 Сейчас в теме
(22) Некрасиво получилось. Задвоение глупое. Сам недоглядел. Каюсь
23. GERDUSKA 15.05.20 16:43 Сейчас в теме
Оставьте свое сообщение

См. также

daСклонение: склонение ФИО, должностей, чисел, прилагательных, существительных на языке 1С + ТестЦентр Промо

Универсальные функции v8 1cv8.cf Абонемент ($m)

Функция предназначена для склонения выражений, которые часто требуется при формировании печатных форм договоров и прочих печатных форм. Функция склоняет по падежам ФИО, должности, числительные, валюты, единицы измерения, предметы. Также функция склоняет глаголы и прилагательные по числам и родам и существительные по числам. Имеется режим определения рода переданного выражения. Поддержка форматной строки для вывода результата. Функция не использует внешние библиотеки и веб-сервисы, написана на чистом языке 1С, и поэтому легко встраивается в любую конфигурацию или внешнюю обработку. Правила склонения оформлены в виде таблицы и могут быть легко изменены при необходимости.

1 стартмани

14.02.2015    99231    96    daMaster    88    

Сравнение реального дохода со средним доходом из API.HH.RU

Зарплата Управленческие v8 v8::СПР ЗУП3.x УУ Абонемент ($m)

Внешняя обработка на управляемой форме для 1С:Предприятие 8.3 по интеграции с HH.RU используя HH REST API. Ключевые функции: получение списка вакансий по должностям (Ключ для работы не нужен); расчет среднего дохода; Тестирование проводилось на платформе 1С:Предприятие 8.3 (8.3.13.1513) Зарплата и управление персоналом, редакция 3.1 (3.1.11.68) совместно с API.HH.RU.

1 стартмани

11.11.2019    3667    4    solaru    2    

Конфигурация для рекламного агентства

Управление услугами и сервисом Управление взаимоотношениями с клиентами (СRM) Производство готовой продукции (работ, услуг) Управление взаимоотношениями с клиентами (СRM) Производство готовой продукции (работ, услуг) v8 Реклама, PR и маркетинг УУ Абонемент ($m)

Данная конфигурация выполнена для решения тестового задания: Цель задания: 1) Понять, на каком из клиентов сколько мы заработали;  2) Понять, по какому виду СМИ сколько мы заработали;  3) Проследить по каждой услуге: у кого за сколько купили и кому за сколько продали, с возможностью перейти в соответствующий документ. Реализовано с помощью: 1. Справочники - контрагенты, номенклатура 2. Документы - Поступление услуг, реализация услуг 3. Отчеты - отчет по контрагентам, номенклатуре и движений.

1 стартмани

21.05.2019    3963    0    solaru    0    

Загрузка номенклатуры в УТ 10.3 из Excel файла с генерацией штрихкодов

Загрузка и выгрузка в Excel Обработка справочников Оптовая торговля Розничная торговля Учет ТМЦ Оптовая торговля Розничная торговля Учет ТМЦ v8 УТ10 Россия Абонемент ($m)

Обработка позволяет генерировать новые номенклатурные позиции на основе данных из файла Excel с последующей генерацией штрихкодов (ШК). Может быть полезна при больших поступлениях товаров на склад, где ручное создание и присваивание штрихкода  (ШК) может занимать много времени.

1 стартмани

24.03.2017    7546    6    solaru    0    

Под капотом управляемых форм

Практика программирования v8 1cv8.cf Бесплатно (free)

Управляемые формы уже давно и плотно вошли в жизнь 1С-разработчика. Однако, судя по недавним публикациям на Инфостарте, многие до сих пор мало знакомы с ними. Предлагаю разобраться с тем, что же это такое.

26.08.2013    260781    0    Evil Beaver    266    

[NotaBene] Универсальный отчет по таблице значений

Практика программирования v77::ОУ v77::БУ v77::Расчет 1cv7.md Россия Абонемент ($m)

1C v.7.7 Готовое решение. Не требует настройки. Не требует допрограммирования. Данная обработка решает часто встречающуюся задачу вывода в "красивом" виде таблицы значений (полученной, например, из запроса). Поддерживается произвольное группирование данных, отключение/включение группировок, в т.ч и создание "шахматок" (типа "продажи понедельно"). Обработка может использоваться как и в отладочных целях (для нормального просмотра ТЗ), так и в составе вполне рабочих отчетов. По крайней мере, я неоднократно клиентам данную обработку ставил вместо того, чтобы каждый раз писать замороченные выводы данных. И клиенты довольны, и мне - проще...

2 стартмани

07.05.2007    27954    1    CheBurator    61