Единое хранилище данных от партнёров и филиалов для малого бизнеса

Пятое число месяца, 22:30. Коммерческий директор дистрибьютора открывает 23 файла от дилеров. У одного три листа с объединёнными ячейками, второй прислал скриншот отчёта из 1С:УТ 11, третий написал остатки текстом в WhatsApp. К полуночи сводная готова, но одна и та же модель встречается в ней под четырьмя названиями, и цифрам верят примерно наполовину.

Мы не раз собирали для таких компаний единое хранилище данных от партнёров. У крупного производителя под эту задачу работают отдел аналитики, MDM и DWH. Малому бизнесу нужна та же логика в облегчённом виде: справочники, сопоставление, автоматическая загрузка и один экран для собственника. Ниже по шагам, в том порядке, в каком мы делаем это на проектах.

Excel тут ни при чём

С одним файлом Excel справляется нормально. Сложности начинаются, когда источников 10–50 и каждый называет товар по-своему. У одного дилера «iPhone 15 128GB Black», у другого «Айфон 15 128 чёрный», у третьего внутренний артикул из его базы. Пока эти строки сводит человек, он тратит вечер на сверку и почти не занимается продажами.

Что требуется от системы:

• одна база, куда приходят данные всех партнёров;
• справочники, по которым строки сопоставляются без участия человека;
• загрузка без дублей и пустых строк;
• отчёт, где продажи и остатки видны на вчерашний день.

Шаг 1. Справочники

На одном проекте у производителя электроники справочников было восемь: партнёры, магазины, типы магазинов, цвета, встроенная память, оперативная память, модели и сам товар. Дистрибьютору стройматериалов или запчастей обычно хватает пяти:

• Контрагенты. Кто присылает данные, с ИНН и ответственным менеджером.
• Точки и склады. Где лежит товар и к какому партнёру относится.
• Номенклатура. Единый артикул, наименование, единица измерения.
• Характеристики. Цвет, размер, фасовка: то, по чему вы реально делите отчёты.
• Соответствия. Таблица «код партнёра → наш артикул».

Главное правило: у каждого товара один канонический код. Наименование может отличаться хоть в каждом файле, сопоставление идёт по коду.

Справочник номенклатуры обычно уже есть в вашей 1С:УТ 11 или МойСклад. Его и берём за основу. Параллельную номенклатуру заводить не стоит: две независимые базы товаров расходятся за месяц.

Шаг 2. Сопоставление номенклатуры

Это самый трудоёмкий этап. Работает такой порядок. При подключении партнёра мы выгружаем его номенклатуру целиком и сопоставляем с вашей полуавтоматически: сначала точное совпадение артикула, затем поиск по похожему названию. Спорные строки разбирает ваш менеджер по ассортименту. На 1 500 позиций это обычно два-три рабочих дня.

Дальше соответствия хранятся в базе. Новая позиция без соответствия попадает в очередь «не сопоставлено», ответственный получает уведомление. В отчёт она уходит только после проверки.

Пока товары сводятся по названию на глаз, аналитике по партнёрам доверять нельзя. Единый код снимает этот вопрос.

Если партнёр работает в 1С:УТ 11, проще всего один раз настроить у него выгрузку с вашим артикулом в отдельной колонке или в дополнительном реквизите. Это час работы его программиста, и сопоставлять потом почти ничего не придётся.

Шаг 3. Загрузка

Схема повторяется от проекта к проекту:

1. Партнёр присылает файл на выделенную почту, загружает его в личный кабинет или отдаёт выгрузку из своей учётной системы по расписанию.
2. Файл попадает в промежуточную таблицу. Там проверяются обязательные колонки, даты, отрицательные остатки, повторная загрузка того же периода.
3. Очищенные строки переходят в хранилище: отдельную базу PostgreSQL или регистры в вашей 1С.
4. Из хранилища данные берёт отчёт: Yandex DataLens, Power BI или отчёт в самой 1С.

Если файл не прошёл проверку, партнёр получает письмо с номером строки и причиной. Менеджеру не нужно переписываться с дилером из-за сдвинутой колонки.

Начинать стоит с пилота: один-два партнёра с самыми аккуратными данными. За две-три недели видно, где ломается формат, какие проверки нужны и сколько строк уходит в ручной разбор. После этого подключение каждого следующего партнёра занимает день-два.

Шаг 4. Один экран для собственника

Ради этого всё и делается. Собственник утром открывает отчёт и видит продажи по партнёрам, остатки по складам, динамику по моделям. Готовить сводную вручную больше никому не нужно.

Последняя строка часто полезнее остальных. Сразу видно, что трое дилеров не прислали данные за месяц и цифры по ним неполные.

Если партнёров всего пять

Полноценное хранилище с MDM и DWH для пяти дилеров избыточно. В таких случаях мы делаем облегчённую версию:

• единый шаблон выгрузки для всех партнёров с обязательной колонкой артикула;
• скрипт, который забирает вложения из почты или Telegram и складывает строки в одну таблицу;
• хранилище в вашей 1С или в Google Таблице с защищёнными листами;
• отчёт в DataLens или в той же 1С.

Такая схема обходится заметно дешевле и запускается за пару недель. Когда партнёров станет 20–30, её можно перенести в отдельную базу: справочники и соответствия переедут без изменений.

Инструмент здесь вторичен. Решают три вещи: единый формат, единые коды и автоматическая загрузка.

С чего начать на этой неделе

1. Выпишите всех, кто присылает отчёты, в каком виде и с какой периодичностью.
2. Возьмите справочник номенклатуры из учётной системы и проверьте, у всех ли позиций есть артикул.
3. Составьте один шаблон выгрузки и отправьте его двум самым дисциплинированным партнёрам.
4. Настройте сбор файлов в одну папку или на один почтовый ящик.
5. Соберите первый отчёт хотя бы на четыре показателя и покажите его собственнику.

Можно написать нам в Telegram @automationdev24: опишите процесс, и мы скажем, хватит ли доработки текущей системы или нужна своя.