Как очистить таблицу от дублей с помощью ИИ

Привет, я Гриша. Слово «дубль» может означать точную копию строки или две записи об одном объекте с разным написанием. Перед очисткой нужно решить, какие поля определяют совпадение, иначе можно удалить полезные строки. Нейросеть поможет сформулировать правила и проверить исключения, но исходные данные лучше сохранить отдельно.

Сначала создайте копию

Сделайте дубликат файла или сохраните отдельную версию таблицы. Запишите число строк до изменений. Если данные важны для работы, не экспериментируйте на единственном оригинале. Уберите личные данные из примера, если будете обсуждать структуру с онлайн-моделью.

Определите критерий дубля. Для списка контактов это может быть адрес электронной почты; для каталога — артикул; для заказов — идентификатор записи. Совпадение только имени или названия товара может объединить разных людей или разные варианты товара.

Попросите ИИ помочь определить правило

Опишите столбцы и несколько обезличенных примеров. Спросите, какие случаи являются точными дублями, а какие требуют ручной проверки. Не передавайте всю таблицу, если достаточно нескольких строк. Попросите модель не удалять данные, а предложить критерии и тесты.

В SYNTX можно использовать языковую модель, чтобы подготовить последовательность действий или формулу для таблицы. Не предполагайте, что она напрямую изменит файл или подключится к вашей таблице. Начните с текстового плана, затем примените его в редакторе и проверьте результат. Новым пользователям указаны пять токенов и пять запросов к языковым моделям; план FREE действует без ограничения срока. Открыть SYNTX AI.

Разделите точные и похожие дубли

Точные повторы строк можно найти встроенным инструментом удаления дублей, фильтром или сравнением столбцов. Но сначала решите, учитывать ли регистр, пробелы и пунктуацию. Адреса электронной почты могут содержать лишние пробелы; названия товаров — разные варианты размера и цвета.

Похожие записи требуют осторожности. «ООО Ромашка» и «Ромашка» могут быть одной организацией, а могут обозначать разные записи. Нормализуйте пробелы и очевидные опечатки на копии, затем создайте список кандидатов на объединение. Не удаляйте строки автоматически только по похожести текста.

Пример: список поставщиков

В таблице четыре строки: «Альфа», телефон 123; «Альфа », телефон 123; «Альфа», телефон 456; «Бета», телефон 123. Если правило — совпадение по названию после удаления пробелов и по телефону, первые две строки — кандидат на дубль. Третья имеет тот же бренд, но другой контакт; четвёртая — другое имя, поэтому похожий телефон не делает её дублем.

Проверьте итоговую таблицу: было четыре строки, стало три после подтверждённого объединения; ни один уникальный телефон не потерялся; сумма или количество по категории сохранились. Если нейросеть предложила объединить все записи «Альфа» по названию, отклоните это правило, пока не проверили, что это один и тот же поставщик.

Очистка и контроль

Используйте нормализацию на копии: удаление лишних пробелов, единый формат дат, согласованный регистр. После удаления дублей сравните число строк и ключевые итоги до и после. Сохраните журнал: критерий, дата, число удалённых записей. Если есть сомнительные совпадения, оставьте их для ручного решения.

Нейросеть может написать код или формулу обработки, но не запускайте неизвестный скрипт на оригинале. Проверьте, какие столбцы он изменяет, и протестируйте на маленьком искусственном наборе.

Сверьте результат до удаления строк

После группировки дублей проверьте не только количество строк, но и смысл выбранной записи. Например, в двух строках может совпадать артикул, но отличаться дата обновления или статус. Если оставить первую строку без правила, можно потерять более свежие сведения. Попросите ИИ явно описать критерий выбора: самая поздняя дата, заполненное поле или ручная проверка конфликтов.

Сделайте контрольную выборку из нескольких групп: точный повтор, совпадение после удаления пробелов, одинаковое имя при разных идентификаторах и настоящий конфликт значений. Сравните исходные строки с результатом и убедитесь, что число групп разумно. Если таблица важная, сохраните исходный файл отдельно и выполните удаление на копии. В отчёте запишите, сколько дублей найдено по каждому правилу; это поможет обнаружить неожиданное изменение при следующем запуске.

Если часть строк оставлена для ручного решения, перенесите их в отдельный лист и добавьте причину сомнения. Так можно вернуться к исходному контексту, не смешивая подтверждённые совпадения с предположениями модели.

Частые вопросы