Last year I celebrated two decades of immersion in IT, specifically within the Financial Services sector. During this period I have been a witness to remarkable transformations in banking and technology. The emergence of Fintech companies and their customer-centric
approach, along with significant advancements in software engineering like Agile methodologies, microservices, and cloud computing, have reshaped the landscape. Yet, intriguingly, the back-office operations of many financial service companies have remained
relatively static over these years, still grappling with ручне кодування, повторювані завдання та велика залежність від Excel.
Особливо ручний і водночас автоматизований процес у секторі фінансових послуг зіставлення та узгодження. This process arises in various forms, i.e. from identifying and addressing discrepancies (typically occurring due to issues
or gaps with the integrations) in master-slave integrations to correcting or removing duplicates and semi-automated updates of operational systems with data from external sources.
Незважаючи на наявність складне програмне забезпечення (e.g. FIS IntelliMatch, Calypso Confirmation Matching, Misys CMS, Temenos T24 Confirmation Matching…) for specific reconciliation tasks, such as payment and trade confirmation matching
(often based on SWIFT messages), the більшість завдань на відповідність часто покладаються на спеціальні або ручні рішення, including Excel or even paper-based methods. Very often automation is also not pertinent, as matching is often involved in one-time actions
like marketing campaigns, data clean-ups, alignment with partners…
Потрібне розуміння кращого примирення розтин його компонентів, тобто
-
Вона починається з збір і перетворення різнорідних наборів даних для порівняння. This consists of recuperating 2 data sets, which can be delivered in different formats, different structures, different scopes and with different names
or enumerations. The data needs to be transformed to make them comparable and loaded into the same tool (e.g. a database or Excel), so that they can be easily compared. -
Наступним кроком є визначення a алгоритм точного зіставлення. This can be a simple unique key, but it can also a combination of multiple attributes (composite key), a hierarchical rule (i.e. match first on key 1, if no match try on key 2…) or
a fuzzy rule (if key of data set 1 resembles key of data set 2 it is a match). Defining this matching algorithm can be very complex, but it is crucial in the ability to automate the matching and reach a good output quality. -
Після визначення алгоритму відповідності ми вводимо етап порівняння. For small data sets, this can be done quite simple, but for very large data sets, it can necessitate all kinds of performance optimizations (like indices, segmentation,
parallelism…) in order to execute the comparison in a reasonable time. -
Нарешті, виявлені розбіжності повинні бути переведені в результати, які можна вжити, як-от звіти, повідомлення колегам або третім особам або коригувальні дії (наприклад, створення файлів, повідомлень або операторів SQL для усунення відмінностей).
Тонкощі відповідності у фінансових послугах різноманітні. Давайте досліджувати деякі типові випадки використання у сфері фінансових послуг:
-
Більшість банків мають a Основний файл цінних паперів, describing all securities which are in position or can be traded at the bank. This file needs to be integrated with a lot of applications, but also needs to be fed by multiple data sources, like
Telekurs, Reuters, Bloomberg, Moody’s… This means a security needs to be uniquely matched. Unfortunately, there is not 1 unique identifier describing all securities. Publicly traded instruments have a commonly agreed ISIN code, but private and OTC products
like e.g. most derivatives usually do not. Banks have therefore invented internal identifiers, use fake ISIN codes (typically starting with an “X”) or use composite keys to uniquely identify the instrument (e.g. for a derivative this can be combination of
ticker of underlying security, strike price, option type and expiration date). -
У роздрібних банківських послугах це, очевидно, важливо однозначно ідентифікувати та відповідати конкретній фізичній особі. However even in a developed country like Belgium, this is easier said than done. Every individual in Belgium has a National Register Number,
so this seems the obvious choice for a matching key. Unfortunately, Belgian laws restrict the usage of this number to specific use cases. Additionally this identifier is not existing for foreigners and can change over time (e.g. foreign residents receive first
a temporary National Register number which can change to a definitive, other one later or in case of gender change the National Register Number will change as well). Another option is to use the identity card number, but this is also different for foreigners
and will change every 10 years. Many banks therefore use more complex rules, like a matching based on first name, last name and birth date, but obviously this comes also with all kinds of issues, like duplicates, spelling differences and errors in the names,
use of special characters in the names… -
Дуже схожа проблема відповідність компанії або, точніше, магазину. In Belgium, each company has a company number, which is similar to the VAT number (without the “BE” prefix), but this is again very national and 1 VAT number can
have multiple locations (e.g. multiple stores). There exists a concept of a “branch number” (“vestigingsnummer” in Dutch), but this concept is not very well known and rarely used. Similar there exists the LEI code (Legal Entity Identifier) which is a code
of a combination of 20 letters and codes, which uniquely identifies a company worldwide. Unfortunately, only large companies have requested a LEI code, so for smaller companies this is not really an option.
Again more complex matchings are often done, like a combination of VAT number, postal code and house number, but obviously this is far from being ideal. In search for a unique and commonly known identifier, the Google ID becomes also more and more in use, but
the dependency with a commercial company might also poses a big operational risk. -
Ще один цікавий випадок зіставлення авторизації та клірингового повідомлення в платіжній картці VISA. Normally a unique identifier should match both messages, but due to all kinds of exception cases (e.g. offline authorizations or
incremental authorizations), this will not always be correct. Therefore a more complex rule is required, looking at several identifiers, but also to other matching criteria like acquirer ID, merchant ID, terminal ID, PAN (card number), timestamp and/or amount.
Цей тип зіставлення також застосовується до інших випадків використання платежів, як-от. зіставлення завершення попередньої авторизації з попередньою попередньою авторизацією або повернення коштів із попередньою покупкою. -
Випадок фінансового використання, який стосується майже будь-якого бізнесу зіставлення рахунків-фактур і платежів. When a company issues an invoice, it needs to be able to see when the invoice can be considered as paid. This is important for the accounting, but also
to see if reminders for unpaid invoices should be sent out.
To uniquely match the payment with the invoice, in Belgium typically a structured comment is used in the payment instruction. This unique code with check digit provides a unique matching reference. Unfortunately, customers often forget to put the structured
comment or use the wrong one (e.g. copy/paste of a previous invoice). This means a company needs to have a fallback matching rule in case the unstructured comment is missing or wrong. Typically a combination of payment amount, payment date, IBAN of counterparty
and/or name of counterparty can give an alternative way to match those invoices.
Як бачите, знайти відповідність непросто, але розуміння основних кроків може допомогти в кращому підборі. Тим часом, незважаючи на свої обмеження, Excel залишається потужним інструментом для (ручного) зіставлення. Тому а quick reminder for everyone who wants
to do matching in Excel:
-
Скористайтесь VLOOKUP для виконання відповідності. Проте VLOOKUP має певні обмеження, як-от той факт, що він видає помилку, якщо немає відповідності, і що ви можете шукати лише в першому стовпці. Потужною альтернативою є використання XLOOKUP, Яка
does not have these limitations. -
Якщо вам потрібно складений пошуковий ключ, додайте стовпець у свій набір даних пошуку зі складеним ключем пошуку (тобто об’єднайте різні атрибути, наприклад, із «#» як роздільником), а потім використовуйте VLOOKUP/XLOOKUP для пошуку в цьому новому стовпці.
-
Дещо точки уваги під час використання VLOOKUP:
-
Не забудьте додати «false» як останній аргумент функції VLOOKUP, щоб забезпечити точний збіг.
-
Ensure that data formats are the same. E.g. a number “123” and the text “123” will not match, so it is important to convert them to the same format first. Idem for identifiers starting with leading 0’s. Often Excel will convert those to numbers, thus removing
the leading 0’s and not resulting in a match. -
Не використовуйте в Excel набори даних із понад 100.000 XNUMX рядків. Більші набори даних є проблематичними для продуктивності та стабільності Excel.
Також може бути цікаво встановити режим обчислення в «Вручну», якщо ви працюєте з VLOOKUP над великими наборами даних, інакше Excel перераховуватиме всі VLOOKUP щоразу, коли ви вносите незначну зміну в дані. -
Функція VLOOKUP має номер стовпця, який повертається як третій аргумент. Це число не адаптується динамічно під час додавання чи видалення стовпців, тому пам’ятайте про адаптацію під час додавання чи видалення стовпців.
-
Якщо вам просто потрібен збіг, ви можете використати формулу “=IF(ISERROR(VLOOKUP(,,1,false),”NO MATCH”,”MATCH”)”
-
Ці прийоми можуть допомогти пришвидшити підбір вручну, але очевидно, що справжня автоматизація завжди краща.
Відповідність у фінансових послугах – це a багатогранний виклик, but understanding its fundamental steps is key to improving outcomes. While tools like Excel offer temporary solutions, the future lies in intelligent automation, which can significantly
streamline these processes. For those seeking to delve deeper into matching complexities or automation, leveraging advanced tools and platforms, including AI-driven solutions like ChatGPT, can provide both insights and practical solutions.
Перегляньте всі мої блоги на https://bankloch.blogspot.com/
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://www.finextra.com/blogposting/25297/the-unseen-backbone-of-banking-a-deep-dive-into-matching-and-reconciliation?utm_medium=rssfinextra&utm_source=finextrablogs
- : має
- :є
- : ні
- $UP
- 000
- 1
- 10
- 100
- 11
- 13
- 14
- 15%
- 20
- 8
- a
- здатність
- Здатний
- бухгалтерський облік
- дії
- пристосовувати
- пристосований
- додавати
- додати
- Додатково
- адресація
- просунутий
- досягнення
- знову
- моторний
- алгоритм
- вирівнювання
- ВСІ
- майже
- по
- Також
- альтернатива
- завжди
- кількість
- an
- та
- Інший
- будь-який
- застосування
- застосовується
- підхід
- ЕСТЬ
- аргумент
- AS
- At
- Атрибути
- авторизації
- автоматизувати
- Автоматизація
- наявність
- Хребет
- Банк
- Banking
- Банки
- заснований
- основний
- BE
- стає
- було
- буття
- Бельгія
- Краще
- Великий
- народження
- блоги
- Bloomberg
- обидва
- Філія
- бізнес
- але
- by
- розрахунок
- Кампанії
- CAN
- карта
- випадок
- випадків
- знаменитий
- певний
- зміна
- символи
- ChatGPT
- перевірка
- вибір
- Очищення
- хмара
- хмарних обчислень
- См
- код
- Коди
- колеги
- Колонка
- Колони
- поєднання
- приходить
- коментар
- комерційний
- зазвичай
- зв'язку
- Компанії
- компанія
- порівнянний
- порівняний
- порівняння
- завершення
- комплекс
- складності
- обчислення
- концепція
- Турбота
- підтвердження
- вважається
- складається
- конвертувати
- виправити
- контрагент
- країна
- Критерії
- вирішальне значення
- виготовлений на замовлення
- Клієнти
- дані
- набір даних
- набори даних
- Database
- Дата
- десятиліття
- глибокий
- глибоке занурення
- глибше
- певний
- визначаючи
- остаточний
- поставляється
- заглиблюватися
- Залежність
- похідної
- Похідні
- описують
- Незважаючи на
- розвиненою
- Відмінності
- різний
- Цифра
- розрізнені
- занурення
- Різне
- do
- робить
- зроблений
- два
- дублікати
- під час
- нідерландська
- динамічно
- e
- кожен
- легше
- легко
- легко
- поява
- кодування
- Машинобудування
- забезпечувати
- Що натомість? Створіть віртуальну версію себе у
- суб'єкта
- помилка
- помилки
- істотний
- Навіть
- Кожен
- все
- перевершувати
- виняток
- виконувати
- існуючий
- існує
- витікання
- зовнішній
- факт
- підроблений
- false
- далеко
- Fed
- філе
- Файли
- фінансовий
- фінансова служба
- фінансові послуги
- Фінекстра
- FinTech
- Компанії Fintech
- Перший
- FIS
- виправляти
- для
- іноземні
- формат
- форми
- формула
- від
- функція
- фундаментальний
- майбутнє
- прогалини
- Стать
- покоління
- Давати
- дає
- добре
- хапаючись
- Мати
- важкий
- допомога
- будинок
- Однак
- HTTPS
- i
- ID
- ідеальний
- ідентифікатор
- ідентифікатори
- ідентифікує
- ідентифікувати
- ідентифікує
- Особистість
- if
- занурення
- важливо
- поліпшення
- in
- У тому числі
- зростаючий
- індекси
- індивідуальний
- розуміння
- інструмент
- інструменти
- інтегрований
- інтеграцій
- Розумний
- Розумна автоматизація
- цікавий
- внутрішній
- в
- тонкощі
- Винайдений
- рахунок-фактура
- рахунки
- залучений
- Є В
- питання
- IT
- ЙОГО
- JPG
- просто
- ключ
- ключі
- Дитина
- відомий
- ландшафт
- великий
- більше
- останній
- пізніше
- Законодавство
- провідний
- легальний
- юридична особа
- дозволяти
- використання
- лежить
- як
- недоліки
- місць
- шукати
- серія
- зробити
- керівництво
- багато
- Маркетинг
- Маркетингові кампанії
- майстер
- матч
- відповідає
- узгодження
- засоби
- тим часом
- Купець
- повідомлення
- повідомлення
- методології
- методика
- мікросервіс
- може бути
- незначний
- відсутній
- режим
- більше
- найбільш
- множинний
- повинен
- my
- ім'я
- Імена
- National
- Необхідність
- потреби
- Нові
- наступний
- немає
- нормально
- номер
- номера
- Очевидний
- трапляються
- of
- пропонувати
- offline
- часто
- on
- ONE
- тільки
- оперативний
- операції
- варіант
- or
- порядок
- OTC
- Інше
- інакше
- з
- Результати
- вихід
- над
- оплачувану
- PAN
- на паперовій основі
- особливо
- Сторони
- оплата
- виконувати
- продуктивність
- period
- фізичний
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- позах
- положення
- поштовий
- потужний
- Практичний
- попередній
- price
- попередній
- приватний
- Проблема
- процес
- процеси
- Продукти
- забезпечувати
- забезпечує
- публічно
- покупка
- put
- якість
- досить
- рідко
- досягати
- реальний
- насправді
- розумний
- отримати
- примирення
- посилання
- повернення
- реєструвати
- щодо
- опора
- покладатися
- залишився
- залишається
- чудовий
- запам'ятати
- нагадування
- видалення
- повторювані
- Звіти
- просив
- вимагається
- походить
- жителі
- обмежити
- в результаті
- роздрібна торгівля
- Роздрібне банкінг
- повертати
- Reuters
- Risk
- Правило
- Правила
- Зазначений
- то ж
- Пошук
- сектор
- Securities
- безпеку
- побачити
- пошук
- Здається,
- сегментація
- посланий
- обслуговування
- Послуги
- комплект
- набори
- кілька
- Повинен
- значний
- істотно
- аналогічний
- простий
- невеликий
- менше
- So
- Софтвер
- розробка програмного забезпечення
- Рішення
- Джерела
- спеціальний
- конкретний
- конкретно
- орфографія
- SQL
- Стабільність
- Починаючи
- починається
- заяви
- Крок
- заходи
- Як і раніше
- магазинів
- раціоналізувати
- удар
- структурований
- структур
- такі
- SWIFT
- Systems
- завдання
- Технологія
- Temenos
- тимчасовий
- термінал
- текст
- ніж
- Що
- Команда
- Майбутнє
- Пейзаж
- їх
- Їх
- потім
- Там.
- отже
- Ці
- вони
- третій
- треті сторони
- це
- ті
- Таким чином
- тікер
- час
- відмітка часу
- до
- інструмент
- інструменти
- торгувати
- торгував
- перетворень
- перетворений
- перетворення
- намагатися
- два
- тип
- типовий
- типово
- що лежить в основі
- розуміння
- на жаль
- створеного
- однозначно
- Updates
- us
- Використання
- використання
- використання випадку
- використовуваний
- використання
- зазвичай
- різний
- ПДВ
- дуже
- visa
- Картка VISA
- хотіти
- хоче
- шлях..
- we
- ДОБРЕ
- коли
- який
- в той час як
- ВООЗ
- волі
- з
- в
- без
- свідок
- робочий
- світовий
- Неправильно
- X
- рік
- років
- ще
- ви
- вашу
- зефірнет