卓越方达logo200*800

KNIME 财务解决方案:将 AI 引入财务部门

更新 2024年11月14日

本文章向您展示与财务规划、会计、税务计算和审计问题相关的常见财务任务的解决方案,所有这些都是通过低代码 KNIME Analytics Platform 实现的。

合同欺诈涉及在制定、执行或执行协议时采取欺骗性做法,旨在获得不公平的优势或经济利益。合同中可能的欺诈类型包括:提供虚假或误导性信息的虚假陈述;伪造,涉及伪造签名、投资金额或文件;以及庞氏骗局,回报来自新投资者的资金而不是利润。

在本文中,我们将解释 GenAI 如何帮助财务部门在使用可视化和统计措施识别欺诈性合同后自动创建自定义多语言警报。

GenAI 如何帮助财务部门?

大型语言模型 (LLM) 能够理解人类语言并生成连贯的响应,有助于提高生产力并实现更高水平的自动化和个性化。

在出于审计目的的合同欺诈背景下,GenAI 可以帮助自动创建不同语言的自定义欺诈警报,以有效地满足多语言受众的需求。

传统上,在 AI 出现之前,拥有多语言客户群的金融机构将依赖人工翻译的模板。此过程有效,但速度慢、耗时、难以为个人客户定制,并且每次请求新语言时都无法很好地扩展。

在 GenAI 的帮助下,这些限制显着减少。一旦识别出可疑合同,金融机构就可以使用客户详细信息(例如姓名、姓氏、语言等)参数化提示,并查询 LLM 以在几秒钟内生成警报。此过程不仅速度快,并且适用于许多不同的语言,而且可以使用 Retrieval Augmented Generation 进一步定制以包含合同详细信息和定义。

财务部门可以使用 KNIME AI Extension 的节点在 KNIME Analytics Platform 中轻松实施 GenAI 驱动的解决方案。

但是,在我们能够有效地利用 GenAI 来发出可疑活动的信号之前,需要识别合同欺诈。这里的主要挑战之一在于包含欺诈示例的数据集的可用性。例如,当数据集包含足够的欺诈示例时,基于机器学习的方法使我们能够进行多维分析以识别欺诈性合同,从而提高准确性。

然而,在现实中,包含许多欺诈示例的数据集很少见。这迫使人们采用不同的策略,例如使用基于异常值检测的策略和视觉或统计技术(例如分位数或 IQR)来识别欺诈性合同。

用于欺诈检测的可视化和统计技术

数据可视化通过将复杂的数据集转换为直观的格式来简化欺诈合同的识别,从而更容易从构成“正常”数据的内容中发现异常。

当欺诈示例稀缺时,可视化也很有用,我们需要以美观且易于解释的方式展示我们的发现。

常见的可视化包括用于比较类别的饼图/条形图、用于数值列之间关系的散点图/气泡图、用于数据分布的直方图/小提琴图以及用于集中趋势和可变性的箱形图。

为了简化任务,使用 KNIME 组件创建比较仪表板可以提供复杂数据关系的交互式和可自定义概述。

但是,使用可视化需要财务部门手动检查每个图,从而阻碍了自动化工作。

四分位距 (IQR) 等统计技术可以派上用场。这是一维特征空间中的一种简单的非参数异常值检测方法。为了计算 IQR,数据集分为四分位数,即 Q1(下四分位数)、Q2(中位数)和 Q3(上四分位数),其中 IQR = Q3 – Q1。除此之外,我们还定义了 k,即四分位间距乘数。此参数通常设置为 1.5,用于定义异常值检测的敏感度。

异常值是位于四分位间距之外的数据点 x

x > Q3 + k * IQR 或 x < Q1 – k * IQR,

这种离群值处理可以在 KNIME Analytics Platform 中使用 Numeric Outliers 节点轻松实施。

注意。 我们还尝试使用 GenAI 来检测欺诈性合同。然而,该实验引发了人们对结果正确性、检测过程的可解释性以及提示和数据前后处理的人力成本的担忧。

任务:识别欺诈性投资金额并生成警报

在合同类型中,投资协议特别容易出现欺诈。这些合同通常涉及复杂的条款、重大的财务风险和高回报的承诺,使其成为欺诈活动的诱人目标。通常,欺诈者试图伪造签名和个人详细信息、更改合同条款或伪造交易金额,从而利用投资者缺乏专业知识和信任。

在今天的任务中,我们将作为金融机构,专注于识别欺诈性投资协议,重点关注文件中规定的投资金额。挑战在于使用数据可视化和 IQR 方法准确标记欺诈金额,并利用 GenAI 创建自定义的多语言警报。最后,该解决方案应部署为基于 Web 的按需应用程序。

该数据集包含 100 份 PDF 格式的投资协议。每份协议都有一个唯一的 ID,并报告投资的条款和目标,包括产品名称、投资者姓名、电子邮件地址、日期和投资金额。

第二个数据集存储在 SQLite 数据库中,包含投资者的信息,例如姓名、电子邮件地址和语言,以及有关投资协议类型的详细信息。

该过程包括五个步骤:

  1. 访问、解析和联接数据源
  2. 使用可视化和 IQR 识别异常值
  3. 使用 GenAI 创建不同语言的自定义警报
  4. 将解决方案部署为基于 Web 的应用程序

工作流程:使用可视化和 IQR 来识别欺诈并使用 GenAI 创建警报

本博客文章中使用的所有工作流程都可以在 KNIME 社区中心公开和免费下载。您可以在 KNIME for Finance 空间的可视化和 IQR部分的“欺诈检测”下找到工作流。

第一个工作流涵盖欺诈检测和警报的生成。您可以从 KNIME 社区中心查看和下载工作流 Fraud detection with dataviz, IQR and GenAI for alerts。

第 1 步:访问、解析和联接数据源

我们首先使用 PDF 解析器 节点导入投资协议。接下来,我们解析文档以提取关键信息,例如协议 ID、投资者姓名、电子邮件、日期和投资金额。

在较低的工作流分支中,我们连接到 SQLite 数据库,选择customer_table并导入包含投资者个人详细信息的数据,包括语言、电子邮件和协议类型。

使用 email 列上的 Value Lookup 节点,我们联接两个数据源。

第 2 步:使用可视化和 IQR 识别异常值

为了通过数据可视化检测欺诈性合同,我们依靠使用 KNIME 组件创建比较仪表板。

KNIME 中的组件是捆绑特定功能的自定义节点,可以有自己的配置对话框和复合视图。后一项功能有助于创建包含图表、表格和小部件的可自定义交互式控制面板。用户还可以设计可视化布局、编辑 HTML 内容和生成报告。

我们为投资总额分配颜色提示,并使用条形图、散点图、箱形图和直方图对其进行可视化。当包裹在组件中时,绘图可以将一个数据点的选择传播到所有绘图中。这样,我们可以清楚地看到与其他数据点严重偏离的数据点(标记为黄色),并检查细节。

检测合同欺诈的第二种策略使用 IQR 方法。KNIME 实施非常简单,只需要一个节点:Numeric Outliers。

在节点配置中,我们选择 payment 列,定义 k,并删除所有不是异常值的数据点。这种处理方式有助于隔离那些需要提醒的投资者。最后,我们保存模型以进行部署。

第 3 步:使用 GenAI 创建不同语言的自定义警报

一旦识别出欺诈性协议,我们就可以利用 GenAI 来简化多语言警报的创建,而无需依赖耗时的模板。此外,我们希望提醒包括协议详细信息,以及金融机构知识库定义的协议类型的说明。

为此,我们将依赖 KNIME AI Extension 的节点。总体方法可以总结为四个步骤:身份验证 – 连接 – 自定义 – 提示

在向 AI 提供商(例如 OpenAI)进行身份验证后,我们连接到所选的 LLM。在我们的例子中,gpt-3.5-turbo。

在较低的工作流分支中,我们使用 PDF 解析器访问金融机构的知识库,其中描述了协议类型。在本文档中,我们定义了一个 RAG 流程,旨在自定义模型响应并使用上下文丰富警报的内容。为此,我们将文档拆分为句子,嵌入它们并将嵌入存储在 FAISS Vector Store 中,我们将其保存以供部署。

接下来,我们使用 Vector Store Retriever 节点在投资者数据库中的协议类型与包含每种协议类型描述的机构知识库之间执行相似性搜索。目标是从 vector store 中检索最相似的描述。

检索到相似文档后,我们使用 String Manipulation (字符串操作) 节点设计一个提示。为了实现自动化,我们使用检测到的异常值的值(即语言、投资者姓名、协议类型、日期和总和)对提示进行参数化,并用有关投资者签署的协议类型的详细信息来增强它。

最后,我们将提示提供给 LLM Prompter 节点以生成个性化的多语言警报。我们可以在 “Email Preview” 组件的复合视图中检查和下载生成的文本。

步骤 4:将解决方案部署为基于 Web 的应用程序

第二个工作流 IQR 和 GenAI for alerts_Deployment 的欺诈检测将应用程序部署为可在 Web 浏览器上按需使用的数据应用程序。

部署工作流遵循非常相似的设计。

此工作流程的主要区别在于通过可视化消除对异常值的识别,因为这种方法需要手动检查,并且无法在生产中实现自动化。此外,我们依靠 Model Reader 节点来重用在上一个工作流程中创建的异常值检测模型和向量存储。

最后,我们利用了 KNIME 组件的另一个功能。工作流和“电子邮件预览”组件可以作为按需数据应用程序部署在 KNIME Business Hub 上,并在 Web 应用程序中定义交互式页面,以便于使用和交互。

结果:检测到欺诈并作为数据应用程序进行多语言警报预览

上面说明的技术始终识别出两个异常值,其投资金额远高于其他值。

对于这些投资者,将生成不同语言的自定义电子邮件提醒,并将其显示为 Data App。在这里,我们只显示英文版本。该警报会警告收件人可疑活动,并要求她立即联系金融机构。

在 GenAI 的帮助下,生成的响应得到了丰富,还包括协议类型的说明(以红色圆圈括出)。在通知投资者之前,可以下载和进一步编辑警报的内容。

KNIME for Finance:使用统计数据和 GenAI 扩展欺诈检测

在帮助使用不同的技术检测合同欺诈时,KNIME Analytics Platform 使用低代码、可视化和直观的用户界面提供了一种灵活的自动化解决方案。

引入 GenAI 来丰富分析流程有助于扩展多种语言自定义警报的创建,从而确保及时、可靠且经济高效的通知。