Niewidoczny kręgosłup bankowości: głębokie zanurzenie się w dopasowywaniu i pojednaniu

Niewidoczny kręgosłup bankowości: głębokie zanurzenie się w dopasowywaniu i pojednaniu

Znacznik czasu: 1 grudnia 2023 5:34
Węzeł źródłowy: 2988681

W zeszłym roku świętowałem dwie dekady zanurzenia się w IT, szczególnie w sektorze usług finansowych. W tym okresie byłem świadkiem niezwykłych przemian w bankowości i technologii. Pojawienie się firm Fintech i ich zorientowania na klienta
podejście, wraz ze znaczącymi postępami w inżynierii oprogramowania, takimi jak metodologie Agile, mikrousługi i przetwarzanie w chmurze, zmieniły krajobraz. Jednak, co intrygujące, działalność zaplecza wielu firm świadczących usługi finansowe pozostała niezmieniona
stosunkowo statyczny na przestrzeni tych lat, z którym wciąż się zmagam ręczne kodowanie, powtarzalne zadania i duże poleganie na programie Excel.

Szczególnie ręcznym, a jednocześnie możliwym do zautomatyzowania procesem w sektorze usług finansowych jest dopasowanie i pojednanie. Proces ten przybiera różne formy, tj. polega na identyfikowaniu i eliminowaniu rozbieżności (zwykle występujących w wyniku problemów).
lub luki w integracjach) w integracjach master-slave, po poprawianie lub usuwanie duplikatów i półautomatyczne aktualizacje systemów operacyjnych danymi ze źródeł zewnętrznych.

Pomimo dostępności wyrafinowane oprogramowanie (np. FIS IntelliMatch, CalypsoConfirmation Matching, Misys CMS, Temenos T24Confirmation Matching…​) dla określonych zadań uzgadniających, takich jak dopasowywanie potwierdzeń płatności i transakcji
(często w oparciu o wiadomości SWIFT), większość zadań dopasowujących często opiera się na rozwiązaniach niestandardowych lub ręcznych, w tym Excel lub nawet metody papierowe. Bardzo często automatyzacja również nie jest trafna, ponieważ dopasowywanie często wiąże się z jednorazowymi działaniami
jak kampanie marketingowe, porządkowanie danych, współpraca z partnerami…​

Zrozumienie lepszego pojednania wymaga rozcinając jego elementy, tj

  • Zaczyna się gromadzenie i przekształcanie odmiennych zbiorów danych w celu zapewnienia porównywalności. Polega to na odzyskaniu 2 zestawów danych, które mogą być dostarczone w różnych formatach, różnych strukturach, różnych zakresach i pod różnymi nazwami
    lub wyliczenia. Dane należy przekształcić tak, aby były porównywalne i wczytać do tego samego narzędzia (np. bazy danych lub Excela), aby można było je łatwo porównać.

  • Następnym krokiem jest zdefiniowanie a precyzyjny algorytm dopasowywania. Może to być prosty, unikalny klucz, ale może to być również kombinacja wielu atrybutów (klucz złożony), reguła hierarchiczna (tj. najpierw dopasuj klucz 1, a jeśli nie, spróbuj dopasować klucz 2…​) lub
    reguła rozmyta (jeśli klucz zestawu danych 1 przypomina klucz zestawu danych 2, jest to dopasowanie). Zdefiniowanie tego algorytmu dopasowywania może być bardzo złożone, ale ma kluczowe znaczenie dla możliwości zautomatyzowania dopasowywania i osiągnięcia dobrej jakości wydruku.

  • Po zdefiniowaniu algorytmu dopasowywania wprowadzamy faza porównawcza. W przypadku małych zbiorów danych można to zrobić dość prosto, ale w przypadku bardzo dużych zbiorów danych może to wymagać wszelkiego rodzaju optymalizacji wydajności (takich jak indeksy, segmentacja,
    równoległość…​), aby dokonać porównania w rozsądnym czasie.

  • Wreszcie, zidentyfikowane rozbieżności należy przełożyć na możliwe do zastosowania wyniki, takie jak raporty, komunikacja ze współpracownikami lub osobami trzecimi lub działania korygujące (np. generowanie plików, komunikatów lub instrukcji SQL w celu usunięcia różnic).

Zawiłości dopasowywania w usługach finansowych są różnorodne. Pozwól nam zbadać kilka typowych przypadków użycia w krajobrazie usług finansowych:

  • Większość banków posiada tzw Główny plik papierów wartościowych, opisujący wszystkie papiery wartościowe, które znajdują się w pozycji lub mogą być przedmiotem obrotu w banku. Plik ten musi być zintegrowany z wieloma aplikacjami, ale musi być także zasilany z wielu źródeł danych, np
    Telekurs, Reuters, Bloomberg, Moody's…​ Oznacza to, że papier wartościowy musi być wyjątkowo dopasowany. Niestety nie ma jednego unikalnego identyfikatora opisującego wszystkie papiery wartościowe. Instrumenty będące w obrocie publicznym mają wspólnie uzgodniony kod ISIN, ale produkty prywatne i OTC
    jak np. większość instrumentów pochodnych zwykle tego nie robi. Banki wymyśliły zatem wewnętrzne identyfikatory, stosują fałszywe kody ISIN (zwykle zaczynające się od „X”) lub wykorzystują klucze złożone w celu jednoznacznej identyfikacji instrumentu (np. w przypadku instrumentu pochodnego może to być kombinacja
    ticker bazowego papieru wartościowego, cena wykonania, rodzaj opcji i data wygaśnięcia).

  • W bankowości detalicznej jest to oczywiście niezbędne jednoznacznie identyfikują i dopasowują konkretną osobę fizyczną. Jednak nawet w tak rozwiniętym kraju, jak Belgia, łatwiej to powiedzieć, niż zrobić. Każda osoba fizyczna w Belgii posiada numer w rejestrze krajowym,
    więc wydaje się to oczywistym wyborem pasującego klucza. Niestety, belgijskie prawo ogranicza użycie tego numeru do określonych przypadków. Dodatkowo identyfikator ten nie istnieje dla obcokrajowców i może zmieniać się z biegiem czasu (np. obcokrajowcy otrzymują jako pierwsi).
    tymczasowy numer w KRS, który może zmienić się na ostateczny, inny w późniejszym terminie lub w przypadku zmiany płci zmieni się również KRS). Inną opcją jest użycie numeru dowodu osobistego, ale to też jest inne w przypadku obcokrajowców
    i będzie się zmieniać co 10 lat. Wiele banków stosuje zatem bardziej złożone zasady, jak dopasowywanie na podstawie imienia, nazwiska i daty urodzenia, ale oczywiście wiąże się to również z różnego rodzaju problemami, takimi jak duplikaty, różnice w pisowni i błędy w nazwiskach,
    użycie znaków specjalnych w nazwach…​

  • Bardzo podobny problem dopasowanie do firmy, a dokładniej do sklepu. W Belgii każda firma ma numer firmy, który jest podobny do numeru VAT (bez przedrostka „BE”), ale jest to znowu bardzo krajowy i 1 numer VAT może
    mieć wiele lokalizacji (np. wiele sklepów). Istnieje koncepcja „numeru oddziału” („vestigingsnummer” w języku niderlandzkim), jednak koncepcja ta nie jest zbyt dobrze znana i rzadko stosowana. Podobnie istnieje kod LEI (identyfikator podmiotu prawnego), który jest kodem
    będące kombinacją 20 liter i kodów, które jednoznacznie identyfikują firmę na całym świecie. Niestety, tylko duże firmy poprosiły o kod LEI, więc w przypadku mniejszych firm nie jest to raczej opcja.
    Ponownie często stosuje się bardziej złożone dopasowania, takie jak kombinacja numeru VAT, kodu pocztowego i numeru domu, ale oczywiście jest to dalekie od ideału. W poszukiwaniu unikalnego i powszechnie znanego identyfikatora coraz częściej w użyciu staje się także Google ID, ale
    zależność od spółki handlowej może również stwarzać duże ryzyko operacyjne.

  • Innym ciekawym przypadkiem jest zgodność autoryzacji i komunikatu rozliczeniowego w płatności kartą VISA. Zwykle unikalny identyfikator powinien pasować do obu wiadomości, ale ze względu na wszelkiego rodzaju wyjątki (np. autoryzacje offline lub
    autoryzacje przyrostowe), nie zawsze będzie to prawidłowe. Dlatego wymagana jest bardziej złożona reguła, uwzględniająca kilka identyfikatorów, ale także inne kryteria dopasowania, takie jak identyfikator agenta rozliczeniowego, identyfikator sprzedawcy, identyfikator terminala, PAN (numer karty), znacznik czasu i/lub kwota.
    Ten rodzaj dopasowania dotyczy także innych przypadków użycia płatności, jak np. dopasowanie zakończenia preautoryzacji z poprzedzającą ją preautoryzacją lub zwrot pieniędzy z wcześniejszym zakupem.

  • Przypadkiem zastosowania finansowego, który dotyczy prawie każdej firmy, jest uzgadnianie faktur i płatności. Kiedy firma wystawia fakturę, musi wiedzieć, kiedy można ją uznać za zapłaconą. Jest to ważne dla księgowości, ale także
    aby sprawdzić, czy należy wysyłać przypomnienia o niezapłaconych fakturach.
    Aby jednoznacznie dopasować płatność do faktury, w Belgii w instrukcji płatności zazwyczaj stosuje się komentarz strukturalny. Ten unikalny kod z cyfrą kontrolną zapewnia unikalne dopasowanie odniesienia. Niestety, klienci często zapominają o umieszczeniu strukturyzowanego
    skomentuj lub użyj niewłaściwego (np. skopiuj/wklej poprzednią fakturę). Oznacza to, że firma musi mieć rezerwową regułę dopasowywania na wypadek braku nieustrukturyzowanego komentarza lub jego nieprawidłowego działania. Zazwyczaj jest to kombinacja kwoty płatności, daty płatności i numeru IBAN kontrahenta
    i/lub nazwa kontrahenta może zapewnić alternatywny sposób zestawienia tych faktur.

Jak widać dopasowywanie nie jest łatwe, ale zrozumienie podstawowych kroków może pomóc w lepszym dopasowywaniu. Tymczasem, pomimo swoich ograniczeń, Excel pozostaje potężnym narzędziem do (ręcznego) dopasowywania. Dlatego A szybkie przypomnienie dla każdego, kto chce
dopasowywania w programie Excel:

  • Zastosowanie WYSZUKAJ.PIONOWO, aby wykonać dopasowanie. WYSZUKAJ.PIONOWO ma jednak pewne ograniczenia, takie jak fakt, że wyświetla błąd w przypadku braku dopasowania i że można wyszukiwać tylko w pierwszej kolumnie. Potężną alternatywą jest użycie XWYSZUKAJ, który
    nie ma tych ograniczeń.

  • Jeśli potrzebujesz złożony klucz wyszukiwania, dodaj kolumnę do zbioru danych wyszukiwania za pomocą złożonego klucza wyszukiwania (tj. połącz różne atrybuty, np. z „#” jako separatorem), a następnie użyj funkcji WYSZUKAJ.PIONOWO/XWYSZUKAJ, aby wyszukać tę nową kolumnę.

  • Trochę punkty uwagi podczas korzystania z funkcji WYSZUKAJ.PIONOWO:

    • Nie zapomnij dodać „false” jako ostatniego argumentu funkcji WYSZUKAJ.PIONOWO, aby zapewnić dokładne dopasowanie.

    • Upewnij się, że formaty danych są takie same. Np. liczba „123” i tekst „123” nie będą pasować, dlatego ważne jest, aby najpierw je przekonwertować do tego samego formatu. Idem dla identyfikatorów zaczynających się od wiodących zer. Często Excel konwertuje je na liczby, usuwając w ten sposób
      wiodące 0 i nie skutkujące dopasowaniem.

    • Nie używaj w programie Excel zestawów danych zawierających więcej niż 100.000 XNUMX wierszy. Większe zbiory danych są problematyczne dla wydajności i stabilności programu Excel.
      Interesujące może być również ustawienie trybu obliczeń na „Ręczny”, jeśli pracujesz z WYSZUKAJ.PIONOWO na dużych zbiorach danych, w przeciwnym razie Excel przeliczy wszystkie WYSZUKAJ.PIONOWO za każdym razem, gdy dokonasz niewielkiej zmiany w danych.

    • WYSZUKAJ.PIONOWO zawiera numer kolumny, który ma zostać zwrócony jako trzeci argument. Liczba ta nie jest dynamicznie dostosowywana podczas dodawania lub usuwania kolumn, dlatego pamiętaj o dostosowaniu podczas dodawania lub usuwania kolumn.

    • Jeśli chcesz tylko dopasować, możesz użyć formuły „=JEŻELI(IBŁĄD(WYSZUKAJ.PIONOWO( , ,1,fałsz),”BRAK DOPASOWANIA”,”DOPASOWANIE”)”

Te triki mogą w tym pomóc przyspieszyć ręczne dopasowywanie, ale oczywiście prawdziwa automatyzacja jest zawsze lepsza.

Dopasowanie w usługach finansowych to a wieloaspektowe wyzwanie, ale zrozumienie jego podstawowych etapów jest kluczem do poprawy wyników. Chociaż narzędzia takie jak Excel oferują rozwiązania tymczasowe, przyszłość leży w inteligentnej automatyzacji, która może znacznie
usprawnić te procesy. Tym, którzy chcą głębiej zagłębić się w dopasowywanie złożoności lub automatyzację, wykorzystanie zaawansowanych narzędzi i platform, w tym rozwiązań opartych na sztucznej inteligencji, takich jak ChatGPT, może zapewnić zarówno wiedzę, jak i praktyczne rozwiązania.

Sprawdź wszystkie moje blogi na https://bankloch.blogspot.com/

Znak czasu:

Więcej z Fintextra