Назначение
Находит строки с одинаковыми ключевыми полями и оставляет первую, последнюю или только ключи, встречающиеся один раз. Не сортирует источник перед выбором: «первая» и «последняя» относятся к существующему порядку строк.
Входы и выходы
Один вход in и один выход out с той же структурой; порядок выбранных вхождений сохраняется.
Параметры
| Параметр | Настройки и значения | Варианты и ограничения |
|---|---|---|
keys | Ключевые поля; пустой список означает сравнение всей строки. | Количество: 0–256 |
keep | first — первая строка, last — последняя, unique — только ключи, встретившиеся ровно один раз. | Варианты: first, last, uniqueПо умолчанию: first |
comparison | typed учитывает типы; text сравнивает текстовые представления значений. | Варианты: typed, textПо умолчанию: typed |
case_sensitive | Учитывать регистр текстовых ключей. | По умолчанию: enabled |
trim | Игнорировать пробелы в начале и конце текстового ключа. | По умолчанию: disabled |
Пошаговая настройка
- Прочитайте поля и выберите естественный ключ записи.
- Решите, какое вхождение сохранять; при необходимости задайте нужный порядок в источнике.
- Выберите тип сравнения, учёт регистра и обработку пробелов.
- Проверьте оставшиеся строки и количество удалённых дублей.
Правила и диагностика
- NULL не считается пустым текстом.
- typed различает текст «1» и число 1; режим text преобразует значения в текстовые представления.
- last возвращает строки в порядке их последних появлений.
- unique удаляет все вхождения повторяющегося ключа, а не оставляет одно из них.
Пример настройки
Для повторяющихся записей клиентов выберите keys=[CustomerID], keep=last. Если источник упорядочен от старых записей к новым, выход содержит последнюю версию каждого клиента.