Автоматизация финансового учета: я ничего не записываю
Коротко: трата попадает в мой учёт сама. Я собрал 3 части - захват, разметку и сводку, - и покажу каждую изнутри. Но сначала признание: одна из них молча врала мне целый месяц, и цифры при этом выглядели абсолютно нормально.
Я прикладываю телефон на кассе и больше не делаю ничего. Операция приезжает в базу, две записи об одной и той же оплате склеиваются в одну, а если точка незнакомая, бот присылает карточку с кнопками категорий.
Автоматизация финансового учёта распадается на эти три части, и собираются они порознь: захват операции, её разметка по категориям и витрина, в которую вы смотрите. И начинать надо с первой. Пока операции вводятся руками, любая аналитика поверх держится на вашей дисциплине, а дисциплина кончается на третьей неделе.
Вот разбор системы, которая у меня работает в бою: что в ней устроено как, от чего я отказался и где она ломалась. Деньги в ней мои личные, и это важная оговорка - в конце есть отдельный раздел про то, что из этой механики переносится на компанию, а что не переносится совсем.
Автоматизация финансового учета: из чего она состоит
Деление на три части звучит как теория, но оно отвечает на главный вопрос: с чего начать и что можно не делать вовсе.
Захват. Факт траты должен попасть в систему без вашего участия. Причём это самая дорогая часть и единственная, которую нельзя обойти: всё остальное работает с тем, что захват принёс.
Разметка. Сырая операция - это сумма, время и строка вроде SOTIS PURI.
Чтобы из неё получился учёт, нужна категория. И машина знает её для знакомых
точек, а для новых не знает.
Витрина. Готовые цифры должны лежать там, куда вы правда заглядываете. У меня это обычная Google-таблица, и я объясню ниже, почему не дашборд.
Так всё это у меня и жило раньше: связка iPhone Shortcuts и Google Sheets, телефон скидывал строчку в таблицу, а категорию я проставлял руками. То есть захват там уже был, а разметки не было, и именно она съедала весь смысл.
Захват: откуда берутся операции, если их не вводить руками
Никакой интеграции с банком у меня нет, и доступа к счёту у системы тоже нет. Я ловлю два сигнала, которые телефон и так получает.
Канал первый - Wallet. Автоматизация iOS срабатывает на оплату Apple Pay и шлёт POST на вебхук. Внутри ровно то, что видит сам телефон:
{"sum":"3,00 ₾","card":"TBC CARD WORLD ELITE","name":"Sotis Puri",
"seller":"Sotis Puri","date":"09.08.26","time":"16:11"}
Но точность тут минутная, номера карты нет, а банк определяется по названию карты.
Канал второй - SMS. Вторая автоматизация ловит сообщение банка и отправляет
его целиком, вместе с полем type: payment, transfer, withdrawal или
income. SMS богаче: там есть и четыре цифры карты, и секунды, и иногда место.
Причём разобраны у меня три банка - TBC, BOG и Credo, и форматы для каждого сняты с живых сообщений, а не из документации. И ни один банк не обязан присылать SMS в том виде, в котором его ждёт парсер.
Сырьё кладётся до разбора. Всё, что приходит на вебхук, сначала падает в отдельную таблицу-аудит как есть: заголовки, тело, текст. И только потом начинается парсинг. Выглядит это избыточно ровно до первого дня, когда парсер ошибся: тогда переразобрать можно из своего лога, а не идти к банку за выпиской.
Любой приёмник чужих данных должен сначала записывать сырьё и только потом его разбирать. Разбор вы однажды перепишете, а неперехваченное сообщение не вернётся.
Собирает это всё n8n на моём сервере: вебхук, запись сырья, вызов разбора, ветка «нужна категория». Почему сервер свой и во что это обходится - в разборе про n8n.
Честные дыры захвата. Не каждая оплата приходит обоими каналами, и это надо знать заранее:
- оплата в приложении, без прикладывания телефона, даёт только SMS
- один из моих банков SMS не шлёт вообще, только пуши, и от него остаётся только канал Wallet
- виртуальная карта тоже видна одним каналом
То есть дублирование - это страховка, а не гарантия. А операцию, которой не было ни в одном канале, система не придумает.
Дедуп: почему одна оплата не становится двумя тратами
Прикладывание телефона на кассе рождает оба сигнала сразу. И если их просто записать, в учёте будет две траты по три лари вместо одной.
Склейка идёт по ключу из шести полей: валюта, сумма, время с окном в десять минут, карта, банк и тип операции. Попало в окно и совпало по остальному - значит это одна и та же оплата, и вторая запись не создаёт новую трату, а дописывается к существующей.
Отдельно работает защита от повторной доставки: у каждого сигнала считается отпечаток, и один и тот же сигнал, пришедший дважды, второй раз игнорируется. Это разные вещи, и нужны обе. Причём отпечаток ловит дубль доставки, а окно ловит дубль события.
Где это ломается, и я живу с этим. Две разные оплаты на одинаковую сумму, с одной карты, в пределах десяти минут склеятся в одну. Но у меня это случается редко и ловится глазами в сводке, а честный способ закрыть дыру один: доложить в ключ название точки. И я его не доложил, потому что тогда операции с кривым мерчантом перестанут склеиваться вовсе, а это случается чаще.
В дедупе нет правильной настройки, есть выбор, какую ошибку вы предпочитаете: лишнюю операцию или потерянную. Выберите осознанно и запишите решение, иначе через полгода будете гадать, почему окно именно десять минут.
Разметка: бот спрашивает категорию ровно один раз
Дальше начинается то, ради чего всё и затевалось. У операции есть сумма и есть строка названия точки. А категории у неё нет.
Система приводит название к нормальному виду - верхний регистр, схлопнутые пробелы, отрезанный хвост после звёздочки - и ищет получившийся ключ в справочнике. Нашла: категория и подкатегория проставляются сами, вы об операции даже не узнаете. Не нашла: в телеграм прилетает карточка.
Кнопки собираются из базы на лету, поэтому список живой: на снимке их восемнадцать, и любая новая добавляется прямо из переписки. И тап по категории разворачивает её подкатегории, а там же лежат «Своя подкатегория» и «Как есть».
Своя категория вводится текстом, но не свободным сообщением. Бот присылает запрос на ответ, и ловится именно ответ на него. И разница тут техническая, но без неё вся схема не работает - объясню в разделе про отвергнутые варианты.
Ответ запоминается. Выбранная категория пишется в справочник рядом с нормализованным ключом точки, и следующая покупка в том же месте размечается без вопроса. То есть это и есть весь механизм обучения: никакой модели здесь нет, есть таблица соответствий, которая растёт от ваших же ответов.
Когда я переносил систему со старой схемы, я забрал туда справочник на 180 строк, накопленный за годы ручной разметки в таблице. Из-за этого новая система с первого дня узнавала частые точки и почти не спрашивала. И сейчас в справочнике 179 записей и 80 подкатегорий - цифра почти не выросла, и это правильно: список мест, где человек правда тратит деньги, конечен.
Самая ценная часть учёта - не схема, а накопленный справочник. Если вы когда-нибудь вели учёт руками в таблице, не выбрасывайте её: ваша разметка за прошлые годы и есть готовая обучающая выборка.
Про то, почему бот разговаривает кнопками, а не текстом, и чем это лучше чата, - в разборе про ботов в телеграме.
Чего система не спрашивает, и почему это важнее кнопок
Самое неочевидное решение во всей системе - не про то, как спрашивать, а про то, когда молчать. Причём тип операции приходит из SMS, и от него зависит поведение.
Обычная трата - спросить категорию и запомнить ответ в справочник.
Снятие наличных - не спрашивать совсем. Потому что категория у снятия появится потом, когда наличные потратятся, и спрашивать её в момент снятия бессмысленно: вы ответите наугад. Такие операции разбираются позже, командой со списком последних.
Перевод - спросить категорию, но в справочник не писать. На карточке выше
как раз перевод: мерчант у него Money Transfer:, один на все переводы в
принципе. И запиши его в справочник один раз - все будущие переводы молча улетят
в ту категорию, которую вы выбрали для первого.
Вот та самая развилка, которую легко не заметить при проектировании, а потом полгода удивляться, почему справочник отравлен.
Было
Любая новая операция сразу просила категорию, и половина вопросов была бессмысленной.
Стало
Снятие молчит и ждёт разбора, перевод спрашивает, но ничего не запоминает.
Витрина: почему Google-таблица, а не дашборд
Все данные лежат в одном месте и отдаются одной функцией выгрузки. А витрина у них сейчас одна - обычная Google-таблица с двумя листами.
Лист логов - все операции построчно. Среди колонок есть две, которые я считаю обязательными для любого учёта:
- полный текст исходного SMS. Сомневаешься в строке - смотришь, из чего она родилась, прямо здесь, а не ищешь сообщение в телефоне за прошлый месяц
- короткий код операции из первых восьми знаков её идентификатора. По нему правится ровно одна строка, без догадок
Лист ДДС - сводка по категориям и месяцам, считает только то, что помечено к учёту. Обновляется всё по кнопке в своём меню прямо в таблице, никуда ходить не надо.
Поверх этого стоит редактор операции: вводишь номер строки, открывается окно с карточкой, меняешь категорию каскадом и флаг учёта, жмёшь сохранить - и правка уезжает в базу, а лист обновляется сам. Родилось это из боли: раньше исправить одну забытую операцию означало лезть в консоль базы с двумя запросами.
А дашборд я не делал сознательно. Таблица гибче под ручной тюнинг, план-факт и формулы, а дашборд поверх честных данных рисуется потом за вечер. Причём сбор и сверка стоят месяц, графики - вечер, и начинать с вечера бессмысленно. Про то, как вообще разговаривать с таблицами из скриптов и из модели, у меня есть отдельный разбор.
Когда учёт соврал: правки в три касания
Учёт врёт чаще всего в одном случае: операция записана правильно, но относится не к вам. Для этого в боте есть команда со списком последних операций, и по каждой три действия.
Не учитывать. Сняли с вашей карты чужие деньги, вернули наличными - операция остаётся в истории, но выпадает из сводки.
Изменить сумму. Заплатили за двоих, половину вернули. Ставите свою долю, оригинал сохраняется в примечании.
Разбить. Один чек с рынка на триста лари - это не одна трата, а три разные
категории. И вводите вы суммы через пробел, 100 120 80, а получаете три
операции, каждую размечаете отдельно. Исходная уходит из учёта целиком.
У разбивки есть деталь, до которой я дошёл не сразу: дочерние операции не пишутся в справочник. Иначе один чек с рынка, разрезанный на три категории, научил бы систему ерунде, а справочник на том и держится, что одна точка - одна категория.
Что я отверг и почему
Вот самая полезная часть любого разбора, потому что отвергнутое обычно выбрасывают из рассказа, а повторить чужие грабли оно помогает лучше успехов.
Нативное приложение на iOS - нет. К Apple Wallet сторонние программы не пускают, и выигрыша над связкой «штатная автоматизация плюс вебхук» у него никакого. Поддерживать его пришлось бы тоже мне.
Второй телеграм-бот под финансы - нет, и это было самое тяжёлое решение. У телеграм-бота один приёмник обновлений, и он у меня уже занят трекером продуктивности. Поэтому вместо второго бота я вставил в трекер развилку сразу после приёмника: финансовые нажатия и команды уходят в финансовый обработчик, всё остальное идёт трекеру как раньше.
Свободный текст категории обычным сообщением - нет. Тот же чат слушает трекер, и любое моё сообщение туда он считает своим часовым отчётом. Поэтому остались только кнопки и ответы на конкретный запрос бота, которые развилка ловит адресно. Вот пример ограничения, которое пришло не из техники, а из того, что у инструмента уже есть другая жизнь.
Отдельный сервис аналитики - нет, не сейчас. Таблица пока гибче, а переехать в дашборд можно в любой момент: данные отдаются одной функцией, и витрина к ним не привязана.
Полный учёт возвратов - упростил. Вместо честной двойной записи «двадцать мои, двадцать вернули» я просто ставлю свою долю и пишу оригинал в примечание. Бухгалтерски это неправильно. А для вопроса «сколько я трачу на еду» - достаточно.
Любое решение «не делать» стоит записывать вместе с причиной в тот же день. Через полгода вы будете помнить только то, что чего-то не сделали, и начнёте делать заново.
Где это сломалось: шесть поломок с точными текстами
Тексты ошибок привожу дословно. Человек, у которого сломалось то же самое, вставляет их в поиск целиком, и пусть попадёт сюда.
Функция шифрования не нашлась внутри своей же базы.
function digest(text, unknown) does not exist
Расширение с хеш-функциями в этой базе живёт в отдельной схеме, а функции, работающие с повышенными правами, её в своём пути поиска не видят. А лечится это строчкой с явным перечислением схем в объявлении функции. Пока не вылечено, падает весь приём: отпечаток не считается.
Номер карты стал магазином, и месяц трат слип в одну категорию. В SMS
одного банка строка с картой выглядит как (*1474) - с одной звёздочкой.
Фильтр, который выбрасывает такие строки, ждал двух звёздочек подряд и эту
пропустил. Строка доехала до нормализации, стала ключом 1474), и все
операции с этой карты схлопнулись в один мерчант, то есть получили одну
категорию на всех.
Вот самый противный класс поломок: ничего не упало, учёт работает, цифры правдоподобные. Нашлось оно глазами в сводке, по категории, которая внезапно выросла.
Поломка, которая падает, стоит вечер. Поломка, которая продолжает отдавать правдоподобные цифры, стоит месяц данных. Проверяйте не то, что система отвечает, а то, что она отвечает разное на разное.
Кнопки перестали нажиматься. В телеграме у данных, которые кнопка шлёт обратно, предел в 64 байта. Идентификатор операции целиком туда не влезает вместе с кодом действия. Поэтому и код получился короткий, из восьми знаков, а потом он пригодился в таблице: ограничение протокола случайно подарило удобный человеческий идентификатор.
Поле ввода в диалоге таблицы удваивало цифры. Вводишь номер строки 158,
получаешь 158158: автоподстановка браузера дописывала своё в поле. А лечится
это тем, что значения от человека спрашиваются штатным окном таблицы, и своё
окно используется только для показа уже загруженных данных.
Обновление скрипта стёрло соседние файлы. Запись кода в таблицу заменяет весь набор файлов целиком, а не один. Я положил свой файл и потерял два чужих, которые лежали в том же проекте. Восстановил потом из копии. Теперь скрипт обновления сначала читает все файлы, подменяет один и кладёт обратно полный набор.
Открытый баг, который я не чиню. Сводка складывает лари и доллары в одну сумму, без приведения по курсу. Просто данных пока мало, сводка непоказательна, а честный мультивалютный учёт - это отдельная работа с историей курсов. Записано как известный баг, и чиниться будет, когда начнёт мешать.
Про то, как вообще не верить зелёному статусу в автоматизациях и где ставить ветку «не вышло - сообщи», у меня есть разбор про автоматизацию отчётов.
Сколько стоит и сколько заняло
Деньгами - ноль. База на бесплатном уровне, автоматизации iOS штатные, скрипт внутри таблицы бесплатен, а n8n стоит на моём сервере, который и так работает под полтора десятка других задач. То есть отдельной строки расходов у этой системы нет.
Временем - честно: я не считал вечера и выдумывать не буду. Могу сказать, как это строилось: одиннадцатью кусками, каждый проверялся сквозным прогоном на настоящей или синтетической оплате, и только потом брался следующий. Сначала база и склейка дублей, потом ловушка сырья, потом парсеры, потом бот, потом витрина.
Причём порядок тут важнее сроков. И если бы я начал с таблицы и красивой сводки, я бы получил красивую сводку над пустотой.
Что реально экономится - не минуты, а решения. Учёт, который ведётся сам, смотрят в конце месяца и делают выводы. А учёт, который надо заполнять, бросают в середине второго месяца, и дальше спор «куда уходят деньги» снова ведётся по ощущениям.
Если час чужой работы стоит 3000 ₽, то вечер своего времени на захват операций - дешёвая сделка. Захват собирается один раз, а работает каждый день, и никакая аналитика без него не стоит ничего.
Кому это не подойдёт
Тому, кому нужен бухгалтерский учёт. Это учёт движения денег, а не бухгалтерия. Здесь нет первичных документов, НДС, зарплаты, актов и сверки с банком по выписке. Механика захвата, склейки и справочника переносится на компанию один в один, а вот всё, что проверяет аудитор, - не переносится совсем. Если вы ищете, как автоматизировать финансовый учёт в юрлице, эта статья закрывает ровно нижний слой: откуда в системе берутся операции.
Тому, кто платит наличными. Наличные не порождают ни уведомления, ни SMS. А у меня они попадают в учёт через снятие, которое потом разбирается руками, и это самое слабое место схемы.
Тому, у кого банк молчит. Вся конструкция стоит на том, что телефон получает сигнал о списании. А банк без SMS и без уведомлений в Wallet закрывает вопрос сразу.
Тому, у кого учёт ведут несколько человек. Здесь один телефон, один чат и один набор правил. А семейный или командный учёт - это другая задача: там нужны права, разделение по людям и разбор, кто за что платил.
Тому, кто хочет приложение из магазина. Таких приложений хватает, и если вас устраивает отдавать им доступ к счёту, они дешевле по усилиям. Вся ценность своей схемы ровно в том, что доступа к счёту у неё нет и данные лежат у вас.
С чего начать, чтобы учёт дожил до второго месяца
- Соберите только захват.Одна автоматизация на телефоне, один вебхук, одна таблица с сырыми строками. Никаких категорий и сводок.
- Неделю ничего не делайте.Пусть просто копится. Вы увидите, какие каналы работают, а какие молчат, и сколько операций теряется.
- Добавьте склейку дублей.Как только каналов стало два, они начнут задваивать. Окно в десять минут и отпечаток сигнала закрывают это целиком.
- Сделайте разметку вопросом, а не угадыванием.Незнакомая точка - карточка с кнопками. Угадывать категорию по названию магазина не надо, вы потратите неделю и получите мусор.
- Заберите свою старую разметку.Если учёт когда-то вёлся в таблице, перенесите пары «точка - категория» в справочник. Система с первого дня будет молчать там, где вы уже ответили.
- Сводку делайте последней.Она собирается за вечер, когда данные честные, и не собирается никогда, когда они нечестные.
Первый шаг выглядит унизительно просто, и именно поэтому он работает. Потому что самая частая причина, по которой автоматизация финансового учёта не доживает до пользы, - человек начал с категорий и бюджетов и не довёл до конца ни одного канала захвата.
Какая вообще рутина стоит того, чтобы её автоматизировать, а какая останется игрушкой, я разбирал в отдельном хабе - учёт трат там стоит на первом месте, и теперь понятно, почему.
n8n на своём сервере: от пустой машины до работающих автоматизаций
Ставим n8n в докере на свой сервер и собираем первые воркфлоу: запись созвона в конспект, бот, который не шлёт дубли, и падения, которые видно сразу.
Этот путь я прошёл сам. Можем встретиться и собрать такое у вас: вы уходите не с записью урока, а с работающей системой и пониманием, как она устроена.
С чего начинать, зависит от того, что у вас уже есть. Что-то стоит и не заводится - разберём только это. Нет ничего - начнём с нуля. Поэтому цену называю после короткого разговора.
Написать в телеграмНапишите в бота, что у вас уже есть и что хотите собрать. Сообщение придёт мне лично, дальше договоримся о времени и оплате. Что можно разобрать по этой теме
Пишу про свои автоматизации в телеграм-канале: короткие заметки по ходу работы, без расписания и без рекламы.
Читать каналЕсли нужна не инструкция, а готовое решение под ваш бизнес - напишите мне, обсудим задачу.