银行业看不见的支柱:深入探讨匹配与对账

银行业看不见的支柱:深入探讨匹配与对账

源节点: 2988681

去年,我庆祝了进入 IT 领域二十年,特别是在金融服务领域。在此期间,我见证了银行业和技术领域的显着变革。金融科技公司的出现及其以客户为中心
方法以及敏捷方法、微服务和云计算等软件工程的重大进步已经重塑了格局。然而,有趣的是,许多金融服务公司的后台运营仍然存在
这些年来相对静止,仍在努力解决 手动编码、重复性任务以及对 Excel 的严重依赖.

金融服务领域的一个特别手动但自动化的流程是 匹配与调节。这个过程以多种形式出现,即通过识别和解决差异(通常是由于问题而发生)
主从集成中的集成或间隙,以使用外部源的数据纠正或删除操作系统的重复项和半自动更新。

尽管有可用的 完善的软件 (例如 FIS IntelliMatch、Calypso 确认匹配、Misys CMS、Temenos T24 确认匹配...​)用于特定对账任务,例如付款和交易确认匹配
(通常基于 SWIFT 报文) 大多数匹配任务通常依赖于自定义或手动解决方案,包括 Excel 甚至纸质方法。很多时候,自动化也是不相关的,因为匹配通常涉及一次性操作
例如营销活动、数据清理、与合作伙伴的协调……​

了解更好的和解需要 剖析它的组成部分,即

  • 它始于 收集和转换不同的数据集以进行比较。这包括恢复 2 个数据集,这些数据集可以以不同的格式、不同的结构、不同的范围和不同的名称进行传递
    或枚举。数据需要进行转换以使它们具有可比性并加载到相同的工具(例如数据库或Excel)中,以便可以轻松地进行比较。

  • 下一步是定义一个 精准匹配算法。这可以是一个简单的唯一键,但也可以是多个属性的组合(复合键)、分层规则(即首先匹配键 1,如果不匹配则尝试键 2…​)或
    模糊规则(如果数据集 1 的键与数据集 2 的键相似,则为匹配)。定义此匹配算法可能非常复杂,但对于自动匹配并达到良好输出质量的能力至关重要。

  • 一旦定义了匹配算法,我们就输入 比较阶段。对于小型数据集,这可以非常简单地完成,但对于非常大的数据集,可能需要各种性能优化(例如索引、分段、
    并行性...​)以便在合理的时间内执行比较。

  • 最后, 已发现的差异必须转化为可操作的产出,例如报告、与同事或第三方的沟通或纠正措施(例如生成文件、消息或 SQL 语句来修复差异)。

金融服务匹配的复杂性是多种多样的。 让我们探索一下 一些典型的用例 在金融服务领域:

  • 大多数银行都有 证券主文件,描述所有在银行处于有利地位或可以交易的证券。该文件需要与许多应用程序集成,但也需要由多个数据源提供,例如
    Telekurs、路透社、彭博社、穆迪......这意味着证券需要唯一匹配。不幸的是,没有一个唯一的标识符来描述所有证券。公开交易的工具具有共同商定的 ISIN 代码,但私人和场外交易产品
    例如大多数衍生品通常不会。因此,银行发明了内部标识符,使用虚假的 ISIN 代码(通常以“X”开头)或使用复合密钥来唯一地标识该工具(例如,对于衍生品,这可以是
    标的证券的代码、执行价格、期权类型和到期日)。

  • 在零售银行业务中,显然有必要 唯一地识别并匹配特定的自然人。然而,即使在比利时这样的发达国家,这也是说起来容易做起来难。比利时的每个人都有一个国家登记号码,
    所以这似乎是匹配密钥的明显选择。不幸的是,比利时法律将该号码的使用限制在特定的用例中。此外,这个标识符对于外国人来说并不存在,并且可能会随着时间的推移而改变(例如,外国居民首先收到
    临时国家登记号码,可以更改为最终号码,稍后或在性别发生变化的情况下,国家登记号码也会发生变化)。另一种选择是使用身份证号码,但这对于外国人来说也不同
    并且每10年就会改变一次。因此,许多银行使用更复杂的规则,例如根据名字、姓氏和出生日期进行匹配,但显然这也会带来各种问题,例如重复、拼写差异和姓名错误,
    在名称中使用特殊字符...​

  • 一个非常相似的问题是 匹配一家公司或更具体地说是一家商店。在比利时,每家公司都有一个公司编号,类似于增值税号(没有“BE”前缀),但这又是非常全国性的,1个增值税号可以
    拥有多个地点(例如多个商店)。存在“分支编号”(荷兰语为“vestigingsnummer”)的概念,但这个概念并不是很为人所知并且很少使用。类似地,存在 LEI 代码(法律实体标识符),它是一个代码
    由 20 个字母和代码组合而成,在全球范围内唯一标识一家公司。不幸的是,只有大公司才会要求 LEI 代码,因此对于小公司来说,这并不是一个真正的选择。
    同样,通常会进行更复杂的匹配,例如增值税号、邮政编码和门牌号的组合,但显然这远非理想。在搜索唯一且众所周知的标识符时,Google ID 的使用也越来越多,但是
    对商业公司的依赖也可能带来巨大的运营风险。

  • 另一个有趣的案例是 VISA 卡支付中授权和清算消息的匹配。通常,唯一标识符应该与两条消息匹配,但由于各种异常情况(例如离线授权或
    增量授权),这并不总是正确的。因此,需要更复杂的规则,不仅要考虑多个标识符,还要考虑其他匹配标准,例如收单方 ID、商户 ID、终端 ID、PAN(卡号)、时间戳和/或金额。
    这种匹配也适用于其他支付用例,例如将预授权完成与其之前的预授权进行匹配,或者将退款与之前的购买进行匹配。

  • 几乎涉及所有业务的财务用例是 发票和付款匹配。当公司开具发票时,它需要能够看到发票何时可以被视为已付款。这对于会计来说很重要,但也
    查看是否应发出未付发票的提醒。
    为了将付款与发票唯一匹配,在比利时,付款指令中通常使用结构化注释。这个带有校验位的唯一代码提供了唯一的匹配参考。不幸的是,客户经常忘记将结构化的
    评论或使用错误的发票(例如复制/粘贴以前的发票)。这意味着公司需要有后备匹配规则,以防非结构化评论丢失或错误。通常是付款金额、付款日期、交易对手 IBAN 的组合
    和/或交易对手名称可以提供匹配这些发票的替代方式。

正如您所看到的,匹配绝非易事,但了解基本步骤有助于更好地匹配。 与此同时,尽管有其局限性,Excel 仍然是一个强大的(手动)匹配工具。 因此一个 快速提醒所有想要的人
在 Excel 中进行匹配
:

  • 使用 VLOOKUP 进行匹配。 然而,VLOOKUP 有一定的局限性,例如,如果没有匹配项,它会给出错误,并且您只能在第一列上搜索。 一个强大的替代方法是使用 XLOOKUP,这
    没有这些限制。

  • 如果你需要一个 复合搜索键,在搜索数据集中添加一列,使用复合搜索键(即连接不同的属性,例如用“#”作为分隔符),然后使用 VLOOKUP/XLOOKUP 搜索这个新列。

  • 有 注意点 使用 VLOOKUP 时:

    • 不要忘记添加“false”作为函数 VLOOKUP 的最后一个参数以确保精确匹配。

    • 确保数据格式相同。例如,数字“123”和文本“123”将不匹配,因此首先将它们转换为相同的格式非常重要。以 0 开头的标识符同上。 Excel 通常会将这些转换为数字,从而删除
      前导 0 并且不会导致匹配。

    • 不要在 Excel 中使用超过 100.000 行的数据集。 较大的数据集会给 Excel 的性能和稳定性带来问题。
      如果您在大型数据集上使用 VLOOKUP,将计算模式设置为“手动”也可能很有趣,否则每次对数据进行微小更改时,Excel 都会重新计算所有 VLOOKUP。

    • VLOOKUP 将列号作为第三个参数返回。 添加或删除列时,此数字不会动态调整,因此请记住在添加或删除列时进行调整。

    • 如果您只想匹配,可以使用公式“=IF(ISERROR(VLOOKUP( , ,1,假),“不匹配”,“匹配”)”

这些技巧可以帮助 加快您的手动匹配速度,但显然真正的自动化总是更好。

金融服务的匹配是 多方面的挑战,但了解其基本步骤是改善结果的关键。虽然 Excel 等工具提供了临时解决方案,但未来在于智能自动化,它可以显着
简化这些流程。对于那些寻求更深入地研究匹配复杂性或自动化的人来说,利用先进的工具和平台(包括 ChatGPT 等人工智能驱动的解决方案)可以提供见解和实用的解决方案。

查看我所有的博客 https://bankloch.blogspot.com/

时间戳记:

更多来自 芬泰达