Дубли — это та проблема, которую замечают не сразу. Сначала это просто «ну, пара одинаковых контактов». Через год оказывается, что одному клиенту звонят три менеджера, история переговоров размазана по четырём карточкам, а отчёт по количеству клиентов завышен на треть.
Хуже всего, что дубли обычно всплывают в худший момент: когда клиент говорит «мне уже звонили от вас вчера, вы там не разговариваете между собой?».
Разберём, откуда они берутся, как разгрести накопленное и как настроить систему, чтобы новые не появлялись.
Откуда берутся дубли
Полезно понимать причины, потому что от них зависит лечение.
Разные каналы не знают друг о друге. Клиент оставил заявку на сайте, потом позвонил, потом написал в WhatsApp. Если каналы не связаны с контролем дублей, вы получаете три карточки одного человека.
Один и тот же клиент пишет с разных адресов и номеров. Директор оставил заявку с личной почты, потом бухгалтер написала с корпоративной.
Менеджеры не ищут перед созданием. Проще завести новый контакт, чем проверять, есть ли такой. Особенно когда телефон записан в другом формате.
Импорт без проверки. Загрузили базу из Excel поверх существующей — и удвоили её.
Разные форматы записи. +7 (912) 345-67-89, 89123456789 и 8 912 345 67 89 — для человека это один номер, для системы могут быть три разных, если не настроено нормально.
Интеграции. Сайт, маркетплейс, 1С и телефония создают элементы каждая по-своему. Без общего контроля дублей это фабрика по производству копий.
Как работает контроль дубликатов в Битрикс24
В Битрикс24 есть встроенный механизм — мастер контроля дубликатов. Сразу оговорка: мастер контроля дубликатов доступен не на всех тарифах.
По каким полям система ищет совпадения:
- для лидов — ФИО, название компании, телефон, e-mail;
- для контактов — ФИО, телефон, e-mail;
- для компаний — название компании, телефон, e-mail.
Где запускается поиск. Откройте нужный раздел — «Контакты», «Компании» или «Лиды», зайдите в настройки и выберите контроль дубликатов. Отметьте, по каким полям проверять, сохраните и запустите сканирование.
Как часто система проверяет. По умолчанию Битрикс24 ищет дубликаты ежедневно. Частоту можно изменить в настройках автоматического поиска дубликатов или отключить проверку совсем — чего делать не стоит.
Автоматическое объединение и его правила
Это важная часть, которую стоит понять до запуска, иначе результат может удивить.
Автоматическое объединение доступно для лидов, контактов и компаний. Система объединит записи сама, если выполняются условия:
- все значения проверяемых полей совпадают;
- элементами занимается один и тот же сотрудник;
- для лидов — они находятся на одной стадии канбана.
Если хотя бы одно значение поля отличается, автоматического объединения не будет — CRM предложит объединить карточки вручную и покажет, что именно расходится. Тогда вы сами выбираете, какие данные оставить.
Логика здесь понятная и правильная: система не рискует затирать данные, в которых не уверена. Но из этого следует практический вывод — большую часть накопленных дублей всё равно придётся смотреть глазами.
Ручное объединение
Вручную можно объединять дубликаты лидов, сделок, контактов, компаний, счетов, предложений и элементов смарт-процессов — то есть заметно более широкого списка сущностей, чем автоматическое.
Кто может это делать: администратор Битрикс24 и сотрудники с правами на изменение и удаление элементов CRM. Это логично — при объединении часть данных исчезает, и такое право стоит выдавать не всем.
При объединении вы выбираете, какие значения полей оставить. История, дела и связанные элементы при этом собираются в одну карточку — переписка и звонки не теряются.
Когда штатного контроля не хватает: приложения из Маркетплейса
Встроенный механизм закрывает базовый сценарий, но у него есть заметные ограничения:
- ищет по фиксированному набору полей — ФИО, название компании, телефон, e-mail. По ИНН он дубли не находит, хотя для юрлиц это самый надёжный признак;
- не умеет искать по вашим пользовательским полям;
- автоматическое объединение работает только для лидов, контактов и компаний — сделок в этом списке нет;
- нет удобного списка всех потенциальных дублей одной таблицей;
- не приводит в порядок форматы телефонов и почты;
- не оценивает качество базы в целом.
Всё это закрывается приложениями из Маркетплейса Битрикс24. Их там много, и делятся они на несколько типов.
Расширенный поиск и объединение. Ищут по дополнительным признакам — в том числе по ИНН, по ID и по вашим пользовательским полям — и работают со всеми сущностями, включая сделки и смарт-процессы. Показывают результат таблицей со ссылками на объединение, а не по одной карточке. Из таких: «Контроль дубликатов», «Контроль дубликатов по пользовательским полям», «Поиск и объединение дубликатов», «Поиск Дубликатов Pro», «Поиск дубликатов Контактов и Компаний».
Автоматическое объединение на лету. Приложение проверяет карточку в момент создания или изменения и объединяет совпадения само, по своим правилам — например, сравнивая имя, фамилию, телефон и почту. Такие решения удобны, когда база пополняется потоком: «Автоматическое объединение контактов», «Объединение дублей контактов». Последнее, кстати, вместо удаления дополняет карточку и оставляет комментарий о том, что объединение было — полезно, когда важна прослеживаемость.
Роботы контроля дублей в воронке. Отдельный класс: робот проверяет новый лид на дубли прямо в процессе обработки и помечает или переводит его на нужную стадию. Хорошо ложится на входящий поток заявок с сайта и из рекламы.
Наведение порядка в данных. Приложения вроде «Автоформат полей CRM» анализируют поля с телефонами, почтой и сайтами и приводят их к единому виду. Это стоит запускать до поиска дублей: чем однообразнее записаны номера, тем больше совпадений найдёт любой инструмент.
Оценка качества базы. «Качество базы» показывает контакты без телефонов, кривые номера и нарушения в справочниках. «Очистка пустых клиентов» находит карточки без единого способа связи — без телефона, почты, мессенджера и сайта — и предлагает заархивировать или удалить. Часто выясняется, что треть базы — это вообще не клиенты, а мусор от старых импортов.
На что обратить внимание перед установкой
Приложение получает доступ к вашей клиентской базе. Это не повод отказываться, но повод посмотреть на разработчика, количество установок и отзывы, а не ставить первое попавшееся.
Почти все такие приложения платные — обычно по подписке Маркетплейса. Считайте это нормальной стоимостью чистой базы, но заранее.
Массовое автообъединение опаснее ручного. Прежде чем запускать приложение на всю базу, проверьте его на небольшом сегменте и убедитесь, что правила объединения совпадают с вашим представлением о том, что такое дубль. Один и тот же телефон у мужа и жены, общий номер приёмной у нескольких контактов, ИНН одного юрлица у разных филиалов — на таких случаях автоматика ошибается.
Сделайте выгрузку до запуска. Объединение необратимо независимо от того, штатное оно или из приложения.
Как разобрать накопленные дубли: порядок действий
Если в базе годами копились копии, не бросайтесь объединять всё подряд. Сделайте это по шагам.
1. Сначала сделайте резервную копию или хотя бы выгрузите базу. Объединение необратимо. Выгрузка в Excel перед началом — пять минут, которые однажды спасут.
2. Приведите в порядок форматы телефонов. Если номера записаны как попало, поиск дублей найдёт лишь часть. Массовое приведение к единому формату лучше сделать до сканирования — для этого как раз есть приложения автоформатирования полей.
3. Начните с компаний, потом контакты, потом лиды. Компаний обычно меньше всего, на них удобно проверить, что механизм работает как вы ожидаете.
4. Запустите сканирование и посмотрите объём. Если система нашла 40 дублей — разберите руками за час. Если 4000 — это отдельный проект, и разбирать его надо порциями.
5. Разберите то, что не объединилось автоматически. Это самая долгая часть. Здесь важно смотреть не только на поля, но и на историю: у какой карточки больше переговоров, та обычно и должна быть основной.
6. Проверьте ответственных. После объединения у клиента останется один менеджер. Заранее решите, кто это будет — тот, кто вёл дольше, или тот, кто общался последним.
7. Проверьте сделки. Сделки, привязанные к объединённым контактам, должны остаться на месте. Пробегитесь по нескольким карточкам и убедитесь.
Как выглядит чистка базы на 20 000 контактов
Чтобы было понятно, во что вы ввязываетесь, вот реальный масштаб работ на средней базе, которую не чистили несколько лет.
Что обычно находится. Дублей в такой базе бывает от 8 до 20% — то есть две-четыре тысячи лишних карточек. Ещё примерно столько же составляют «пустышки»: контакты без телефона и почты, оставшиеся от старых импортов и тестов.
Сколько это занимает. Сканирование — минуты. Автоматическое объединение закроет процентов тридцать находок, где все поля совпали. Остальное — ручной разбор, и это главная статья затрат: на тысячу спорных пар уходит день работы человека, который понимает бизнес и может решить, дубль это или два разных юрлица.
Порядок, который экономит время:
- Сначала выгрузка базы — до любых действий.
- Приведение телефонов к единому формату. Это увеличивает находки на 20–30%: половина дублей просто не находится, потому что номера записаны по-разному.
- Компании — их меньше всего, на них проверяем, что механизм работает как ожидаем.
- Контакты — основной объём.
- Лиды — в последнюю очередь, там больше всего мусора и меньше всего ценности.
- После чистки — сразу настройка контроля, иначе через полгода всё вернётся.
Чего делать не надо. Не запускайте массовое автообъединение на всю базу в первый день. Сначала прогоните на сегменте в 200–300 карточек и посмотрите глазами, что получилось. Мы видели случай, когда автоматика слила два филиала одной компании с разными договорами и адресами — восстанавливать пришлось из выгрузки.
Кто должен разбирать. Не стажёр. Решение «дубль или не дубль» требует знания клиентов: один телефон у мужа и жены, общий номер приёмной у нескольких контактных лиц, один ИНН у головной компании и филиала — всё это выглядит как дубли и ими не является.
Как перестать плодить новые
Разбор накопленного бессмысленен, если через месяц дубли появятся снова. Что нужно настроить:
Не отключайте автоматическую проверку. Ежедневный поиск — то, что не даёт базе снова зарасти.
Настройте контроль на входящих каналах. Заявки с сайта, письма, звонки и сообщения должны проверяться на совпадение с существующими клиентами до создания новой карточки.
Приучите менеджеров искать перед созданием. Поиск по номеру телефона занимает три секунды. Это вопрос регламента, а не техники.
Наведите порядок с форматом телефонов. Единый формат ввода — половина решения проблемы.
Проверяйте импорт. Перед загрузкой базы из Excel всегда проверяйте, что вы не грузите то, что уже есть.
Следите за интеграциями. Каждая новая интеграция — потенциальный источник дублей. После подключения сайта, маркетплейса или 1С проверьте через неделю, не начали ли появляться копии.
Ситуации из практики
«Клиенту звонят два менеджера». Классический симптом. Кроме объединения дублей здесь нужно правило распределения: если номер уже есть в CRM, звонок и заявка уходят действующему ответственному, а не первому свободному.
«В отчёте 5000 клиентов, а реально около трёх». Дубли завышают все метрики: количество клиентов, конверсию, средний чек. Пока база не почищена, планировать по такой аналитике нельзя.
«После подключения сайта пошли дубли». Форма создаёт новый лид на каждую заявку. Нужно, чтобы при совпадении телефона или почты заявка привязывалась к существующему клиенту.
«Дублей полно, а штатный поиск их не видит». Скорее всего, они различаются в тех полях, по которым он ищет: у одной компании указан телефон, у другой только ИНН, названия написаны по-разному — «ООО Ромашка» и «Ромашка, ООО». Штатный механизм по ИНН не ищет, здесь нужно приложение с расширенными признаками поиска.
«Один клиент — три компании: ООО, ИП и физлицо». Это не всегда дубли. Иногда это реально разные юрлица одного собственника, и объединять их нельзя — иначе развалится документооборот. Такие случаи нужно смотреть глазами и связывать через поля, а не сливать.
«Объединили и потеряли данные». Именно поэтому нужна выгрузка до начала и осторожность с массовыми операциями. Объединение необратимо.
Частые вопросы
Дубли — редкий случай, когда проблему можно решить один раз и почти навсегда, если после чистки закрыть каналы их появления. Без второй части чистка превращается в ежегодный ритуал.