预测分析的历史和增长
预测分析可以说始于 1940 年代,当时是早期的手动版本的计算机。政府机构内部取得了显著的创新,如艾伦·图灵(Alan Turing)的炸弹机和曼哈顿计划的蒙特卡洛模拟(Monte Carlo)模拟,用于预测链式反应期间原子的行为。当计算机在 1950 年代崭露头角时,研究机构能够对天气模式和产品寿命做出预测。
因此,预测分析已经存在了几十年。但现在越来越多的组织正在转向它来提高他们的底线和竞争优势。为什么是现在?计算能力大幅提高,分析软件更具交互性且更易于使用,而云的采用使分析功能掌握在更多不同技能水平的人手中。因此,预测分析不再是定量专家、统计学家和数据科学家的专属领域。
Peterson 说:“现在,分析师、业务线专家和一线员工正在应用预测分析来提高效率和有效性。“随着竞争的加剧和充满挑战的经济条件,各行各业的组织都在寻求将数据转化为更好、更快的业务决策。”
预测分析已成为大型和小型组织的强大工具。在农业、制造业、运输、金融服务、医疗保健、零售和网络安全等不同领域,将机器学习应用于大量数据并发现隐藏模式的能力越来越有价值。
当然,企业一直使用数据来预测事件并做出业务决策。然而,当今数据的数量和复杂性已经改变了等式。机器学习和人工智能可以发现低于人类感知和处理的模式。因此,预测分析越来越被视为一种竞争优势。
根据在线研究服务机构 Statistica 的一份报告,全球预测分析市场预计将从 2020 年的 52.9 亿美元增长到 2028 年的近 420 亿美元。组织将预测用于广泛的目的,但一些主要的用例包括:分析消费者行为、管理供应链、削减成本以及制定有关业务运营的战略决策,包括财务预测。
各种供应商都提供预测分析解决方案,既可以作为独立软件,也可以内置于企业应用程序中,包括企业资源规划 (ERP) 和客户关系管理 (CRM) 平台。有些在桌面上可用,有些则在云中作为软件即服务 (SaaS) 提供。这包括 AWS、Google、IBM、Microsoft、Oracle、Salesforce、SAP、SAS、Tableau、Teradata、TIBCO 和 ThoughtSpot 等公司。虽然这些解决方案差异很大,但共同点是从数据中提取可操作的结果。
预测分析如何工作?
预测分析代表了与数据挖掘、商业智能和更传统的分析方法截然不同的分析类别。它超越了基本的数据排序和报告,并通过统计方法、机器学习和深度学习进入了分析领域。在其最先进的形式中,它进入了规范性分析的类别,它根据不同的决策或场景提供高度具体的结果和建议。
从本质上讲,算法利用统计方法来解析不同类型的结构化和非结构化数据。这可能包括历史记录,例如销售点 (POS) 或购买历史记录或人为或网络行为。它还可以包括社交媒体、在线浏览模式和其他数据。
Gartner 指出,预测分析有五个主要组成部分:
- 强调预测,而不是描述、分类或聚类。
- 以小时或数天为单位的快速分析,而不是传统数据挖掘和 BI 通常的几个月。
- 强调见解的业务相关性。
- 专注于易用性,从而使业务线用户更容易使用工具。
- 预测分析工具从众多来源提取数据。
预测分析模型
预测分析解决方案使用通常围绕四种核心技术的模型和方法生成预测。
回归模型
回归模型方法通常被称为“假设”分析。它估计自变量之间的关系,然后构建一个模型,可以预测未来的情景和影响。回归模型可以包含相关性(关系)和因果关系(原因)。制造商和零售商经常使用这种方法来预测需求和时尚趋势等事物。
分类模型
通过分类模型,数据科学家可以插入过去的数据和历史记录。预测分析解决方案对数据进行标记,然后使用算法来识别模式,包括相关性。随着新数据的到来,它将被添加到系统中。欺诈检测和网络安全通常使用分类模型。
聚类分析模型
此技术搜索常见的属性和特征,然后将它们分组。聚类分析模型是查找系统中隐藏模式的理想选择。该技术经常用于识别欺诈和盗窃的模式。
时间序列模型
查看数天、数月或数年的数据的能力提供了额外的视角,这些视角可以插入到预测模型中。时间序列模型经常用于医疗保健和营销中,用于各种任务,从优化人员配置到根据一组复杂的因素预测人类行为。
预测分析:前瞻性
没有分析,数据只是一系列的零和一。但是,随着分析的出现,可以带来洞察力、更好的决策和更好的结果。它将数据转化为价值。
“一般来说,如果你不是在谈论预测分析,那么你就是在谈论描述性或规定性分析,”CData的高级技术推广者Jerod Johnson说。“描述性分析显示了通过数据挖掘已经发生的情况,帮助您识别趋势和模式。预测分析增加了建模和机器学习,以预测未来可能的结果和概率。
Exasol首席技术官Mathias Golombek将规范性分析解释为一个类别,它获取数据并将其转化为可操作的见解和决策。您可以将其称为运营 BI 或分析,可以使用传统的 SQL 或数据科学语言脚本来实现。关键是要尽可能实时相关,并直接从数据中做出决策。
“这就是为什么这些应用程序中的大多数都是用软件代码编写的,并触发整个业务链中的操作,”Golombek 说。“一个例子是通过处理有关客户、产品和物流链的各种相关数据,自动优化您的电子商务商店的价格。”
预测分析,顾名思义,是前瞻性的。SAS工程高级副总裁Jared Peterson表示:“预测分析使用历史数据和复杂的模型来预测接下来会发生什么,最佳结果可能是什么,以及将精力和资源集中在何处。
例如,在营销活动中,或在银行的欺诈检测或制造商的预测性维护中,小的、渐进的改进可以带来巨大的节省和增强的运营。
Golombek补充说,预测分析将AI和ML算法引入数据,使企业能够进行分析决策和预测。它主要使用 Python 或 R 等脚本语言,并应用由现有训练数据训练的统计模型。
预测分析的优势
预测分析的优势分为几类:
改进决策
随着组织积累数据并使用它来发现模式和趋势,企业可以更好地理解相关并导致某些情况发生的因素。这些数据不仅可以被人类用来制定更有效的策略,还可以嵌入到自动化系统中。对于后者,当出现一组特定条件时,人工智能和机器学习可以自动和自主地采取行动。
提高效率
通过了解某些条件如何导致某些结果,可以消除需要时间、金钱和其他资源的中间步骤和手动流程。例如,预测性维护可以减少甚至消除人工测试和审查设备结果的需要。组织知道何时是维修机器或设备的最佳时机。
风险降低和管理
预测分析工具可以发现运营、监管和网络安全风险。它可以发现业务计划、财务模型和 IT 框架中的差距、漏洞和弱点。这有助于降低直接成本,以及因未能遵守法规和其他控制措施而可能造成的处罚和罚款。
更好的竞争情报
使用预测分析的组织可以更好地了解业务事件、趋势和可能的结果。这些信息可以指导投资、采购、研发(R&D)、可持续发展计划、供应链决策等等。
更高的收入和更高的利润
例如,当预测分析在营销和销售中成功使用时,它可以带来更高的客户参与度和额外的购买。在最好的情况下,该技术可以通过使沟通和互动与客户高度相关来显着提高品牌亲和力。他们在正确的时间和正确的地点接收消息。
预测分析的业务用例
金融服务行业面临着巨大的数据和资金风险,长期以来一直采用预测分析来检测和减少欺诈、衡量和管理风险、最大限度地利用营销机会并留住客户。各种规模的银行都依赖于预测分析。
即使是传统上缓慢采用新技术的人,如制造业和政府,也正在成为预测分析的支持者。它帮助他们改善运营并提高面对经济混乱时的弹性。
例如:
- Mack Trucks 和 Volvo Trucks 使用 AI 和物联网分析来预测其联网车辆的维护问题。这样可以防止代价高昂的故障。
- Georgia-Pacific 依靠 AI 和物联网分析来优化其供应链和运输物流,提高制造设备效率并减少停机时间。
- 北卡罗来纳州卡里镇使用预测和物联网分析以及来自溪流中传感器的数据来预测和减轻内陆洪水的影响。这是许多城市越来越频繁地遇到的问题。
搜索驱动的数据智能平台可以帮助企业简化关键指标的挖掘过程。通过组合不同的数据集,并通过强大的可视化和预测分析以易于使用的格式提供信息,企业可以前所未有地获得关键见解,而无需高级数据科学技能。
在订阅服务和客户支持领域,组织也希望了解哪些用户和客户可能会升级或可能流失。根据许多属性和标准对客户进行评分,以评估其客户健康状况。任何与高价值物品维护有关的组织都可以构建预测模型,以了解硬件和软件产品何时会出现故障或不合规。
以下是预测分析的其他业务用例:
资源规划和采购
预测分析可以深入了解预计的原材料可用性和定价,包括何时购买原材料和商品。这些系统的运作方式类似于在旅游网站上预测航空公司价格的人工智能系统。这种类型的建模有助于降低成本并优化库存。
质量控制和预测性维护
该技术的另一个用途是质量控制和预测性维护。预测分析可以检测产品在运输过程中何时可能变质或损坏,并且可以优化医疗设备和喷气发动机等设备的维护和维修。
营销
零售商、金融服务公司、医疗保健提供商和其他机构正在使用预测分析来改善营销、调整产品和服务,并预测结果,包括销售和更广泛的市场趋势。
零售商可能会接收到客户倾向于购买产品或升级服务的信号,或者医疗保健公司可能会使用预测分析来更好地了解各种行动和行为如何降低负面结果的风险,包括基于个人的风险。
安全与风险管理
随着攻击变得越来越复杂,简单地将恶意软件列入黑名单和白名单,或尝试在网络边缘阻止数据包变得越来越困难。基于行为的安全是开发零信任安全框架和以更全面的方式锁定资产和数据的重要组成部分。利用人工智能和机器学习的预测分析工具可以在问题变成全面问题之前发现问题。
信用评分用于评估买家违约的可能性,是预测分析的一个著名例子。信用评分是由包含所有相关数据的预测模型生成的数字。其他与风险相关的用途包括保险索赔和收款。
欺诈检测
预测分析可以标记可疑交易并发现潜在的欺诈行为。银行和信用卡公司使用预测技术(越来越多地与个人智能手机提供的地理位置数据相关联的系统)来确定购买是有效的还是有问题的。
这种方法为客户提供了好处,他们不再经常收到要求他们致电金融服务公司以验证交易的电子邮件和短信。当一个人出国旅行并且必须拨打长途电话以验证交易时,暂停的帐户和其他问题尤其麻烦。
结合多种分析方法可以改进模式检测并防止犯罪行为。高性能行为分析可实时检查网络上的所有操作,以发现可能表明欺诈、零日漏洞和高级持续威胁的异常情况。
按行业划分的预测分析用例
医疗
医疗保健组织利用预测分析来预测患者的诊断,并为医院和诊所配备适当的人员以应对未来的感染,从而管理患者的护理。
供应链
供应链使用预测分析来更好地管理库存并避免库存积压,并根据预测的需求和零部件的可用性调整价格。
帮助台中心
预测分析有助于将模型部署到支持人员和客户之间的音频记录中,以提高座席绩效、缩短通话时长、收集更多客户信息并提升整体客户体验。
款待
为了使容量管理更加无缝,酒店正在将预测模型应用于一定时期内的数据,以便他们能够更好地预测、计划和改进客户服务,同时通过更好的员工、库存和其他资源管理来降低运营成本。
教育机构
将预测算法部署到历史学生数据中,可以识别学生表现下降的早期指标以及可能导致这种情况的周围因素。此外,应用于教师、部门或区域指标的预测模型扩大了数据驱动的洞察力可以提高教育系统绩效的可能性。
人力资源和招聘
组织倾向于根据对求职者的面试表现、工作推荐、网络和正式证书的分析进行招聘,这些都是历史数据点。这个过程是过时的和主观的。Glider AI 首席执行官 Satish Kumar 表示:“糟糕的招聘费用至少是他们工资的 30%,但雇用一个不是这份工作最佳人选的人也会带来巨大的机会成本。“对人才质量的预测分析是未来;它消除了基于正式证书的招聘,重点关注技能和文化契合度,同时消除了自然的招聘偏见。
这是测试文本,单击 “编辑” 按钮更改此文本。
开发预测分析功能
更高级的预测分析功能也正在形成。例如,组织正在转向数字孪生来模拟复杂模型,并了解不同因素如何影响现实世界的结果。此外,酿酒厂正在使用人工智能和数据来了解气候变化如何影响他们的葡萄作物,而一些葡萄酒商则开始使用这些方法来确定随着气候变化的发展,哪些土地将非常适合葡萄栽培。
同时,游戏公司使用预测分析算法,通过消除在 GPU 上生成某些像素的需要,更快地渲染 3D 图形。该系统执行外推,该技术节省了计算周期并降低了能耗。
事实上,后一个示例展示了数据科学家如何将预测分析与深度学习技术相结合。神经网络可以消化大量数据,并发现视频、音频、文本和其他形式的非结构化数据中晦涩难懂的模式和趋势。
例如,语音识别或面部识别可能会分析一个人表现出的语气或表情,然后系统会做出相应的响应。像 Google Mail 这样的应用程序可以预测一个人可能使用的下一个单词或短语,并将其作为一种选择呈现,而 Open AI 的 ChatGPT 根据文本输入构建几乎任何主题的整个段落。
预测分析的挑战和局限性
尽管预测分析提供了许多好处,但它并非没有一些警告和潜在的陷阱。为了成功使用该技术,组织必须考虑几个因素。
预测分析的作用及其如何产生价值
尽管预测分析提供了对未来的可见性,但它并不是一个水晶球。有些因素,如股市表现,太复杂了,无法预测。在其他情况下,与预测分析相交的许多其他因素会影响结果。
例如,一个营销团队可能拥有关于客户行为的优秀数据,但在活动中失败了,因为它开发了低于标准的内容、开发了随意的方法,或者预测数据使用不当。
需要准确和最新的数据
当组织使用旧的或不相关的数据时,他们最终会得到非常不准确的结果。为了从数据中提取价值,数据必须是最新的(在许多情况下是实时的)、准确的,并以正确的方式组装。这通常需要数据科学家以及一流的预测分析和机器学习工具。
需要围绕目标制定明确的目标
在没有明确的策略和目标的情况下,预测分析将不可避免地导致失败。构建使用预测分析的框架需要业务领导者的投入,在许多情况下,还需要各个部门和团体的投入。最成功的实施涉及人员、流程和技术。
该框架使重新映射工作流程成为可能,并在企业内外推动战略、财务和其他收益。
对数据科学专业知识的需求
预测分析工具通常主要为数据科学家设计。即使是那些面向业务分析师和其他人的也可能需要一定程度的技术知识。这可能包括 Python 或 R 等编程技能,或统计建模方法方面的专业知识。此外,还存在与数据准备和清理、训练算法、处理数据不一致以及在现实世界中部署模型相关的各种技术问题。
预测分析的未来
根据 IDC 的数据,在我们日益数字化的世界中,从 2022 年到 2026 年,数据量预计将几乎翻一番。因此,随着预测分析扩展到其他领域,上述用例可能会失去主导地位。
Golombek表示:“各行各业的公司都可以从预测分析功能和先进的数据管理工具中受益。“随着我们进入新的一年,我们预计预测性和规范性分析的使用将有所增加,以推动持续的流程改进和数据驱动的决策,并帮助公司向正确的客户销售正确的产品,并促进更好的资源匹配和对趋势的更智能的识别。”
Johnson 认为,未来是数据驱动的,而数据访问是预测分析成功的关键。可访问计算能力的提高以及人工智能和机器学习技术的进步使任何企业都可以利用预测分析,而不仅仅是历史上财力雄厚的组织和行业。
Johnson说:“利用实时、无代码的数据连接解决方案,允许业务用户跨多个应用程序和系统构建整体分析流程,从而进一步实现分析的民主化。
预测分析将继续发展。随着越来越多的传感器和物联网元素入到 IT 框架中,更大的数据量以及更精细的数据将变得更加普遍。未来的系统可能会对消费者行为、健康因素、消费模式,甚至用于环境、社会和治理 (ESG) 报告的可持续性数据提供更详细的洞察。这包括更详细的碳核算方法。
此外,数据可视化模型可能会变得更加复杂和直观,包括使用更高级的 3D 动画和视觉模拟。有了无代码和低代码框架,预测分析解决方案可能会变得更易于使用。随着各种机器学习、深度学习和人工智能框架的改进,预测分析几乎肯定会变得更加准确和可靠,以进行长期预测和预测。
最后,有一件事是完全清楚的:预测分析是当今商业世界的重要组成部分,而且该技术的使用只会增加。发现模式、趋势和机会的能力对于各种形式和规模的组织来说都是一个强大的工具。这是释放价值和未来收益的关键。