Поиск и замена дублирующихся элементов

Публикация № 100041

Администрирование - Администрирование данных 1С - Поиск данных

Данная обработка взята из Управление Торговлей 10.3. Отличие от стандартной обработки в том, что она позволяет выполнять поиск, замену и удаление дублирующихся элементов не только справочников , но и любого ссылочного элемента: Документы, Справочники, Планы видов расчета, Задачи, Бизнес процессы, Планы видов характеристик, Планы счетов.

Данная обработка позволяет выполнять поиск, замену и удаление дублирующихся элементов любого ссылочного элемента.

Выберем сперва тип данных как на скриншоте.

 Поиск может выполняться в двух режимах:

  • По равному значению реквизита,
  • По похожим словам

В первом режиме обработкой выполняется поиск элементов ссылочного элемента, имеющих одинаковое значение заданного реквизита. Данный режим следует применять, когда равенство этих значений у элементов ссылочного элемента с высокой вероятностью означает, что данные элементы дублируют друг друга. Например, для справочника "Контрагенты" это может быть реквизит "ИНН".

Второй режим может применяться только для свойств и реквизитов строкового типа. В этом режиме выполняется поиск элементов справочников, имеющих похожие значения указанного реквизита. При этом выполняется как анализ входящих в значение отдельных слов (например, данный режим позволить найти такие элементы как "Пластинформ", "ООО Пластинформ", "Пластинформ ООО"),  так и побуквенное сравнение каждого слова (Иванов Иван Иванович, Иванов Иван Ивонович). Поиск дублей в таком режиме может занять продолжительное время.

 

 

Для поиска дублирующихся элементов необходимо указать:

  • Справочник, в котором необходимо выполнить поиск
  • Имя реквизита, по значению которого будет выполняться анализ и поиск дублей
  • Режим поиска (либо по равному значению реквизита, либо по похожим словам)

Кроме этого, можно добавить дополнительные ограничения для поиска дублирующихся элементов ссылочного элемента.

Для режима поиска "по похожим словам", дополнительным параметром поиска является - "степень соответствия объектов". Установка этого значения выполняется с помощью условной оценочной шкалы, имеющей крайние значения "Не отличаются" и "Значительно отличаются". Соответственно, при значении "Не отличаются" обработкой отбираются элементы, значения указанного реквизита которых отличаются только различным порядком слов в значении, например, "ЗАО ТД Нева" и "Нева ТД ЗАО". В случае установки значения параметра отличного от "Не отличаются" допускается как различия в составе слов значения ("Свергуненко А.В., ИП" и "Свергуненко А.В"), так и различие в самих словах ("Иванович" и "Ивонович"). Соответственно, в самом правом положении ползунка степень допустимого различия максимальна. По умолчанию значение данного параметра установлено как оптимальное для поиска, но в отдельных случаях может требовать изменения.

 

После выполнения поиска дублирующихся элементов программа отображает результаты в двух таблицах. Первая - таблица групп. Вторая - таблица дублирующихся элементов в выбранной группе. первая таблица не подлежит изменения и открыта только для просмотра. Список элементов второй таблицы возможно изменять - удалять элементы заведомо не являющиеся дублирующимися или, наоборот, вручную добавить элемент в список. (Данная возможность также позволяет не выполнять предшествующий поиск, а вручную заполнить весь список для последующей обработки, например, если никакими средствами получить желаемые результаты поиска не получается).

Для выполнения замены элементов необходимо во второй таблице выбрать "Правильный элемент". После чего нажать на кнопку "Далее". Программа отобразит список ссылок на оставшиеся элементы в группе. При выполнении замены все найденные ссылки будут заменены на ссылку "Правильного элемента".

 

Выполнение замены ссылок возможно выполнять в одной транзакции, путем установки флажка "Выполнять все замены в одной транзакции". В этом случае замена будет произведена только для всех элементов одновременно. Любая неудачная попытка замены одной из ссылок отменит все сделанные до этого изменения в данных. При этом следует учитывать, что в некоторых случаях может сложиться ситуация, когда полностью автоматически замену выполнить не удастся. В таких случаях можно применять комбинированный подход - выполнять замену автоматически, после чего корректировать данные вручную, после чего опять запускать автоматическую замену. Соответственно, при таком подходе использование транзакции будет невозможным.

Флажок "Отключить контроль записи при замене" устанавливает режим записи у объектов "Обмен данными" при замене ссылок.

Флажок "Удалять элементы после замены" устанавливает, что после замены всех ссылок необходимо удалять все "НЕ правильные элементы" из информационной базы.

ВАЖНО! Следует учитывать, что ссылки заменяются именно в том объекте, в котором они найдены. Например, если ссылка найдена в движениях документа, она будет заменена в наборе записей соответствующего регистра, сам документ при этом перепроводиться не будет! Кроме этого, необходимо помнить, что действия, выполняемые данной обработкой, являются необратимыми.


 

Скачать файлы

Наименование Файл Версия Размер
ПоискИЗаменаДублирующихсяЭлементовВсеСсылки.epf

.epf 54,97Kb
826
.epf 54,97Kb 826 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. iov 409 29.11.11 23:18 Сейчас в теме
(0) А множественные фильтры ? И множественные сравнения? Не ну плюс конечно но блин маложеж. ;)

4. DennyPhilord 30.11.11 11:59 Сейчас в теме
(1) iov, я планирую сделать, но решил выложить что есть.
2. Boroda 90 29.11.11 23:50 Сейчас в теме
"Данная обработка взята из Управление Торговлей 10.3..." И, как я понял, расширен функционал. Но адаптирована ли она под иные конфигурации, нежели Управление Торговлей? Будет ли она нормально работать, без фокусов, скажем, в Бухгалтерии или ЗУПе и пр.?
3. DennyPhilord 30.11.11 11:54 Сейчас в теме
(2) Boroda, она универсальна и подходит под любую конфигурацию, просто находилась в УТ.
6. lvictor58 130 30.11.11 17:11 Сейчас в теме
(2) Boroda, Я попытался запустить ее в для изменения Видов расчета (в ЗУП) так вот: в документах "Перенос данных" она замену не осилила!
7. Boroda 90 30.11.11 18:20 Сейчас в теме
(6) Жаль! У меня в Переносах данных тоже куча дублирующей фигни... Вообще "Переносы данных" - очень специфическая штука, там ссылки на всё, поэтому может и не пойти. Под них что-то специальное писать надо. А это скорее под "нормальные" докумены, справочники и пр. сделано. Ладно, скачаю, попробую потестировать на обычных дублях.
5. 1977 2 30.11.11 13:00 Сейчас в теме
А Комплексной Автоматизации не подойдёт?
8. Yashazz 3612 01.12.11 10:21 Сейчас в теме
БоянЪ. Уже бывали тут универсалки, заменяющие по ссылкам любых типов, и в т.ч. с красивыми отборами.
9. grum01 213 01.12.11 11:55 Сейчас в теме
Обработка стандартная, есть на любом диске ИТС и на сайте.
Че у нас теперь плюсы за любой пустой трафик раздают?
"-"
19. DennyPhilord 12.12.11 13:41 Сейчас в теме
(9) grum01,отличия от стандарта описаны в шапке
(17) tormozit, спс, нужно посмотреть))
(14) Lex1C, Не проводит - только заменяет
(13) deusss, )) время появится добавлю все необходимое
24. FReIM 5 16.12.11 14:19 Сейчас в теме
(19) Успехов в разработке! За обработку огромнейшее спасибо. Сэкономил уйму времени.
10. VitaliyPovod 01.12.11 16:54 Сейчас в теме
iov пишет:

(0) А множественные фильтры ? И множественные сравнения? Не ну плюс конечно но блин маложеж.


Полностью согласен! :)
11. 01.12.11 16:56 Сейчас в теме
Yashazz пишет:

БоянЪ. Уже бывали тут универсалки, заменяющие по ссылкам любых типов, и в т.ч. с красивыми отборами.


Если не трудно можно поподробнее?
13. deusss 02.12.11 07:19 Сейчас в теме
А скрины можно по качественнее. Я ничего разглядеть не могу, от этого не решаюсь скачать)
14. Lex1C 02.12.11 11:11 Сейчас в теме
А документы она не "перепроводит"? т.е. Затрагивает только движения, и учет "не собьется"? Объекты меняются во всех регистрах и ссылках справочников? Я писал такое под 7.7 ну там приходилось сильно извращаться в глобальном модуле, писать обработку проведения специальную - чтобы в движениях документа ничего не трогалось, кроме указанных ссылок...
15. оля 7 02.12.11 17:15 Сейчас в теме
В любом случае хорошая обработка
16. prestige 04.12.11 10:19 Сейчас в теме
Решила комментировать все потенциально интересные обработки чтобы не потерялись, а на всех пригодившихся в реале ставить плюс. Пока камменты.
17. tormozit 6176 06.12.11 19:05 Сейчас в теме
Похожая обработка "Поиск и замена дублей" есть в составе подсистемы "Инструменты разработчика" http://infostart.ru/public/15126/
21. ludai 16.12.11 10:18 Сейчас в теме
(17) tormozit, если я правильно понимаю, эта обработка работает как внешняя, а чтобы той воспользоваться, надо будет объединять свою конфигурацию с той подсистемой. Меня вот очень интересует возможность заменить везде ссылку на элемент плана видов расчета в ЗУП, но вот навешивать на ЗУП ради этого подсистему не хочется.
Надеюсь, эта обработка поможет.
23. FReIM 5 16.12.11 14:17 Сейчас в теме
Неплохо бы иметь возможность сортировать по выбираемому полю или представлению поля таблицу значений с найденными элементами.
И вопрос. Во всех ли регистрах заменяются ссылки? А то вроде как ссылки находит, но вот меняет ли? По крайней мере в регистрах сведений точно находит.
(17)
Поскольку работаю с не типовой конфигурацией - могу заверить, что данная обработка сканирует дерево метаданных конфигурации без привязок к конкретной конфигурации.
18. zif74 9 06.12.11 20:09 Сейчас в теме
20. FReIM 5 15.12.11 17:44 Сейчас в теме
22. ludai 16.12.11 10:57 Сейчас в теме
Скачала, проверила. Ссылки в документах заменились, а в регистрах расчета нет:(((
25. ludai 16.12.11 15:30 Сейчас в теме
Стандартная обработка ПоискИЗаменаЗначений с диска ИТС отработала лучше((((
26. imshev 29.12.11 10:43 Сейчас в теме
ludai пишет:

Стандартная обработка ПоискИЗаменаЗначений с диска ИТС отработала лучше((((
и у меня так же ((((
27. Pashikuss 29.12.11 11:19 Сейчас в теме
ПоискИЗаменаЗначений однозначно лучше
28. jhfrek 185 29.12.11 11:31 Сейчас в теме
С планами счетов не работает. По коду не могу найти.
{Форма.Форма.Форма(2115)}: Поле объекта не обнаружено (ТипКода)
Если Метаданные[ТипДанныхДляПоиска][мВидОбрабатываемогоСправочника].ТипКода = Метаданные.СвойстваОбъектов.ТипКодаСправочника.Число Тогда
29. blackjack666 15 12.03.12 22:57 Сейчас в теме
Какие-то проблемы с поиском дублей.
Мне нужно убрать лишние договоры. Делаю поиск по равному значению наименований с доп.группировками по владельцу и виду договора. Находит штук 6 (хотя их сотни), заменяю, запускаю заново - находит штук 5 и так далее. А если доп. группировку по владельцу не ставить, а поставить отбор, то нормально выдаёт все дублирующиеся договоры по выбранному контрагенту. Но вручную всех контрагентов пеербирать тоже не дело, их сотни.
30. blackjack666 15 12.03.12 23:11 Сейчас в теме
При использовании доп.группировок по ним нужна сортировка запроса.
31. materiy_boec 20.04.12 10:40 Сейчас в теме
а если задублировались документы а номера у них есть разные а есть одиннаковые, обработка найдёт все или определённые только?
32. alma-soft 11.05.12 16:07 Сейчас в теме
спасибо за работу автору, в качестве пожеланий мне например не хватает множественных фильтров, и как я понял нет нужной глубины просмотра, например если необходимо проверить на дубли не контрагента, а его договора.
33. H0SE 11.05.12 17:30 Сейчас в теме
Спасибо за обработку.Очень сильно помогла ))
34. ls300 5 26.06.13 20:05 Сейчас в теме
Плюсище автору, очень выручил!
35. lock73 104 15.07.13 16:41 Сейчас в теме
При использовании данной обработки были обнаружены некоторые проблемы при замене ссылок в ПВР. Выявленные проблемы решены в http://infostart.ru/public/194436/
36. chmv 15.07.13 16:44 Сейчас в теме
37. Ionmuerto 15.01.14 08:29 Сейчас в теме
Данная обработка Поиск и замена дублирующихся элементов справочников подходит под управляемые формы 1с Управление Торговлей 11.1?
38. DennyPhilord 15.01.14 13:39 Сейчас в теме
она же универсальна, запустишь клиент в толстом режиме и будет счастье))
39. sayanogorsk 05.05.14 16:02 Сейчас в теме
Обработка очень актуальна, особенно для ПВР. Но, к сожалению, не дорабатывает с некоторыми регистрами. Из-за чего в документе НЗРО замена происходит, а в движениях - не во всех, то же с документом премии, и, соответственно, документ Перенос данных вообще не обрабатывается.
Можно ли поправить?
40. DennyPhilord 05.05.14 17:03 Сейчас в теме
да, движения не обрабатываются, реквизиты объектов только. Я попробую модернизировать в ближайшее время..
41. ssn5810 80 26.06.17 20:03 Сейчас в теме
Да круто!!!! задумалась на 4-5% я подождал 6 мин и выключил !!!
Прикрепленные файлы:
42. DennyPhilord 27.06.17 11:09 Сейчас в теме
(41) может быть режим поиска изменить? вообще операция ресурсоёмкая
Оставьте свое сообщение

См. также

daСклонение: склонение ФИО, должностей, чисел, прилагательных, существительных на языке 1С + ТестЦентр Промо

Универсальные функции v8 1cv8.cf Абонемент ($m)

Функция предназначена для склонения выражений, которые часто требуется при формировании печатных форм договоров и прочих печатных форм. Функция склоняет по падежам ФИО, должности, числительные, валюты, единицы измерения, предметы. Также функция склоняет глаголы и прилагательные по числам и родам и существительные по числам. Имеется режим определения рода переданного выражения. Поддержка форматной строки для вывода результата. Функция не использует внешние библиотеки и веб-сервисы, написана на чистом языке 1С, и поэтому легко встраивается в любую конфигурацию или внешнюю обработку. Правила склонения оформлены в виде таблицы и могут быть легко изменены при необходимости.

1 стартмани

14.02.2015    107141    108    daMaster    90    

Сравнение реального дохода со средним доходом из API.HH.RU

Зарплата Управленческие v8 v8::СПР ЗУП3.x УУ Абонемент ($m)

Внешняя обработка на управляемой форме для 1С:Предприятие 8.3 по интеграции с HH.RU используя HH REST API. Ключевые функции: получение списка вакансий по должностям (Ключ для работы не нужен); расчет среднего дохода; Тестирование проводилось на платформе 1С:Предприятие 8.3 (8.3.13.1513) Зарплата и управление персоналом, редакция 3.1 (3.1.11.68) совместно с API.HH.RU.

1 стартмани

11.11.2019    4680    7    solaru    2    

Конфигурация для рекламного агентства

Управление услугами и сервисом Управление взаимоотношениями с клиентами (СRM) Производство готовой продукции (работ, услуг) Управление взаимоотношениями с клиентами (СRM) Производство готовой продукции (работ, услуг) v8 Реклама, PR и маркетинг УУ Абонемент ($m)

Данная конфигурация выполнена для решения тестового задания: Цель задания: 1) Понять, на каком из клиентов сколько мы заработали;  2) Понять, по какому виду СМИ сколько мы заработали;  3) Проследить по каждой услуге: у кого за сколько купили и кому за сколько продали, с возможностью перейти в соответствующий документ. Реализовано с помощью: 1. Справочники - контрагенты, номенклатура 2. Документы - Поступление услуг, реализация услуг 3. Отчеты - отчет по контрагентам, номенклатуре и движений.

1 стартмани

21.05.2019    5924    0    solaru    0    

Загрузка номенклатуры в УТ 10.3 из Excel файла с генерацией штрихкодов

Загрузка и выгрузка в Excel Обработка справочников Оптовая торговля Розничная торговля Учет ТМЦ Оптовая торговля Розничная торговля Учет ТМЦ v8 УТ10 Россия Абонемент ($m)

Обработка позволяет генерировать новые номенклатурные позиции на основе данных из файла Excel с последующей генерацией штрихкодов (ШК). Может быть полезна при больших поступлениях товаров на склад, где ручное создание и присваивание штрихкода  (ШК) может занимать много времени.

1 стартмани

24.03.2017    8441    7    solaru    0    

Под капотом управляемых форм

Практика программирования v8 1cv8.cf Бесплатно (free)

Управляемые формы уже давно и плотно вошли в жизнь 1С-разработчика. Однако, судя по недавним публикациям на Инфостарте, многие до сих пор мало знакомы с ними. Предлагаю разобраться с тем, что же это такое.

26.08.2013    274429    Evil Beaver    273    

[NotaBene] Универсальный отчет по таблице значений

Практика программирования v7.7 1cv7.md Россия Абонемент ($m)

1C v.7.7 Готовое решение. Не требует настройки. Не требует допрограммирования. Данная обработка решает часто встречающуюся задачу вывода в "красивом" виде таблицы значений (полученной, например, из запроса). Поддерживается произвольное группирование данных, отключение/включение группировок, в т.ч и создание "шахматок" (типа "продажи понедельно"). Обработка может использоваться как и в отладочных целях (для нормального просмотра ТЗ), так и в составе вполне рабочих отчетов. По крайней мере, я неоднократно клиентам данную обработку ставил вместо того, чтобы каждый раз писать замороченные выводы данных. И клиенты довольны, и мне - проще...

2 стартмани

07.05.2007    30005    2900    CheBurator    63