北京2022年4月1日 /美通社/ -- IBM智能决策优化系统已经融入IBM Cloud Pak for Data平台,支持数据科学家通过Python、OPL、CPLEX、CPO、建模助手等方式构建决策模型。近日,IBM技术专家对该系统背后的硬核技术做了细致解读。
IBM智能决策平台,作为行业的领跑者,通过持续革新,不断赋能企业全链路决策升级,助力企业完成数字化、智能化转型,加速企业卓越地完成业务KPI指标。IBM智能决策平台将和中国企业一起携手共创,优化一切。
0. 引言
在制造业,如何将有限的人力和设备,在不同的时段分配到不同产品制造上,使得企业的效益最大化?
在航空业,如何实时的调整航空时刻表来调度航班,机组人员,航线设计等,使得收益最大化?
在金融业,如何实现信贷资金优化配置,权衡用户需求和风险监管要求,使得利益最大化?
在物流业,如何调配物流车辆和选择物流路径,才能最低的成本和最快的速度完成货物的运输?
作为企业的决策者,该如何来回答这些问题呢?不乏有人会根据初步数据和历史经验来 “拍脑袋”决策,造成的结果可能是后悔得 “将大腿拍肿”。
随着数字化时代的到来,数据越来越多,运营模式越来越复杂,这给决策者带来了前所未有的困难。企业只有全面地对决策链进行智能化转型,让“数据说话”,才能塑造核心竞争力,统筹成本和规模等,实现效益最大化。
1. 从统筹学鼻祖软件CPLEX说起
CPLEX是一位妥妥的80后,最初版本在1988年就被开发出来,可谓历史悠久!在1997年,被ILOG公司收购,2009年,纳入IBM怀抱, CPLEX在统筹学领域可谓尽人皆知。
CPLEX是业界领先的数学规划问题求解软件, 以灵活的超高性能优化程序,来解决线性(LP)优化问题、网络流问题、二次规划 (QP) 问题、二次约束规划 (QCP) 问题和混合整数规划 (MIP) 问题等,适应于多种统筹学决策优化场景。经过多年的技术沉淀,IBM ILOG CPLEX 已经全面发展成为商业的智能决策平台IBM Decision Optimization系列产品。
2. IBM决策优化系统COS蓬勃发展
IBM ILOG CPLEX Optimization Studio(简称COS)为用户提供了一个非常简便的建模环境,可供运筹学专家或者数据科学家轻松方便的建模,并测试模型。COS的关键组件和构架如下:
2.1 COS的优化引擎
优化引擎犹如决策优化系统的大脑,而COS有两个强悍的大脑,其中之一就是CPLEX,CPLEX通常用于大规模的战略问题。CPLEX包含了多种算法,并可基于问题自动检测出最佳的算法。CPLEX引擎支持并行化,可以运行在共享和分布式内存体系结构中,支持不可行性分析。CPLEX引擎支持解决方案池,用户可以从解决方案池中选择最适合他们需求的特定方案。此外,CPLEX支持用户通过参数集对算法进行微调来达到最理想的效果。CPLEX用户的自定义行为,运筹专家用户可以利用自己对问题的深刻理解来创建自己的算法,更有效地解决复杂的问题。
COS的第二个大脑是CPO (Constraint Programming Optimizer),用不同的算法解决不同类型的问题,比如离散非线性问题等。这也正是COS与其他商业决策优化引擎之间的重要区别,CPO可以解决CPLEX和其他求解器难以解决的复杂调度问题。CPO引擎允许建模者基于预置的调度模型来构建,从而实现轻松而又快速建模。和CPLEX引擎一样,CPO一般可以自行决定在底层使用哪些算法,支持统筹学专家微调,支持在共享内存架构中并行运行来提高性能。
2.2 COS模型开发工具
COS集成开发环境(IDE)是基于Eclipse的,运筹学专家或数据科学家可以基于此IDE,使用OPL(Optimization Programming Language)建模语言来构建优化模型。通过这个IDE,使用OPL建模会更加容易,因为OPL有很多内置的模块可供用户使用,而且格式化的建模便于用户快速简单上手,用户按照预定格式,定义变量、目标、约束等模型结构,同时可选择性定义一个数据初始化块和一个后处理块。OPL并不像编码语言那么要求严格,它更像是一种容易读懂的高级脚本语言,上手容易。
2.3 访问和部署
COS支持IBM产品的Connectors有 SPSS Modeler Connector和Planning Analytics Connector 等。另外还有一些第三方的软件,比如Excel、JDBC Connector (连接到数据库)、Microsoft Solver Foundation、MATLAB等,可以通过这些Connector获取数据。输出和部署模型,可通过API,用户使用C, Java, C++, .NET, Python等语言来创建一个应用程序,来控制对引擎的访问、输入和输出。
3. IBM端到端智能决策平台DOC
IBM 决策优化中心(Decision Optimization Center,简称DOC)是一个决策优化端到端的平台,支持从模型开发、测试、部署和应用全生命周期过程。
当前DOC以联合开发的方式,并向着如火如荼的云原生平台积极靠拢,既支持以Docker Compose方式安装部署,同时也可以通过Helm等方式安装到Openshift或者Kubernetes平台上。其核心是Optimization Server(下文称为DOC OS),可以使用户专注于模型开发和应用上,无需关注IT底层设施的维护,DOC OS可以自动的管理测试环境,模型部署测试,同时提供自动伸缩性和健壮性。其构架图如下。
DOC OS Master犹如一个管理者,从客户端接收作业请求和输入数据,并通过一个消息队列(RabbitMQ),合理分配到Worker上执行,并实时的得到Worker的反馈,DOC OS预置了CPLEX和OPL两种优化器,同时支持用户自定义Worker,以便灵活使用。每个作业的日志、输入和输出都存储在一个分布式文件存储的数据库(MongoDB)中。业务用户通过Web控制台来提交作业(可从本地上传文件和数据),并在Web控制台监控作业运行,并查看结果。
4. 决策优化和机器学习相得益彰
机器学习已在各行各业取得了巨大的进展,越来越多的企业借助机器学习来进行数据挖掘、聚类、用户行为分析等。其实运筹学的历史比机器学习更悠久,当运筹学的决策优化遇上机器学习,可谓相得益彰,相互成就。
机器学习更多的是“数据驱动”,其重点在于通过历史数据来训练模型,然后预测未来。比如某电信营运商可以通过大量历史用户的信息来训练模型,预测流失用户,但是机器学习不会告诉用户如何使用营销和降费等手段,以最佳方案地避免此类用户的流失。决策优化系统更多的是“认知驱动”,可以结合机器学习的预测,并利用规则限制和目标,给出最佳的行动方案。二者如下图所示。
IBM Watson是领先的机器学习平台,目前IBM决策优化系统已和Watson连珠合璧,形成智能决策平台IBM Decision Optimization for Watson Studio(下文称DO for Watson Studio)。数据科学家可以基于DO for Watson Studio,借助于AI能力,端到端地快速构建和部署智能化决策优化模型,并通过微服务发布模型服务。因其天然优势,可以很容易地连接到构建机器学习模型所用的相同数据源。DO for Watson Studio平台支持用户可以图形界面的形式,查看模型的有效性,进而发现一些模型的缺点或者不正确(或者遗漏)的约束条件,或者不合理的目标等。模型验证通过后,可以直接基于Watson平台,将模型部署为微服务,供业务用户使用。
5. 决策优化和规划分析双剑合璧
在规划分析领域,IBM Planning Analytics(PA)被广泛使用,它有个曾用名叫“TM1”,业界熟知。PA是基于内存的预算、预测解决方案。和Watson结合,形成IBM Planning Analytics with Watson 平台。借助此平台,消除了业务部门孤岛,简化和整合企业内的财务和运营规划,快速的为财务、销售、供应链等创建更准确的计划和预测,并实时的做出调整。
然而,规划和分析很难离开决策,因为虽然PA可以产生动态的规划分析结果,但不能保证其是最优的,或者是局部最优的,也没有假设场景可以供用户测试,而且很多时候,PA的规划分析并不能纳入某些必要的条件约束,这就会对业务结果产生影响,甚至造成不可执行。然而在今天,这已经不是问题了,因为在2021年发布的PA Cloud版本中,已然和IBM决策优化系统的双剑合璧,共同为客户提供基于决策优化的预测分析。
6. 决策优化和数据经纬鱼水情深
数据经纬(Data Fabric)是一种全新的数据处理方法论,犹如汪洋大海,包罗万象。IBM Cloud Pak for Data平台是当前数据经纬构架最具代表性的实现,通过数据虚拟化,减少数据实际迁移过程,提高自动化数据处理;通过建立智能数据目录,以便自动发现、关联、理解数据,让数据时刻准备好支持业务需求;通过设定数据安全策略,保证多用户和多数据源下的数据安全;通过混合云灵活的基础架构,提供多种数据智能化技术,从而淋漓尽致的发挥AI潜力。
IBM Cloud Pak for Data借助于各种技术手段,让企业数据变活,更好地服务于业务,在让数据智能化服务业务的过程中,决策优化则是关键的一环,举足轻重。决策优化就好比数据经纬汪洋大海中的“蛟龙”,蛟龙入海,使得数据经纬“有龙则灵”,盘活整个数据经纬海域。IBM智能决策优化系统已经融入了IBM Cloud Pak for Data平台中,支持数据科学家通过Python、OPL、CPLEX、CPO、建模助手等方式构建决策模型。
在IBM Cloud Pak for Data平台中,构建决策模型主要分为三步:
第一步,导入和准备数据。用户可以从项目导入数据,并检查和修正数据。
第二步,构建模型。用户可以使用Python(包括Notebook方式),OPL、建模助手等方式来构建决策优化模型,并完成模型的调试和验证,也可以通过从本地上传文件等方式来导入模型。建模助手可辅助用户,使用基于数据结构和某些特定的规则和策略(如资源分配、调度等)来规划决策优化模型。
第三步,探索解决方案。允许用户预览解决方案、KPI、优化目标、限制冲突或者建议等。最优解决方案将通过图形化和表格等形式展示出来,用户可以查看结果(解决方案和冲突条件等),引擎的统计信息(运行状态,比如已处理,已停止或者以失败的作业,方案图形化信息和模型的统计信息),和日志信息等。
7. 结语
IBM决策优化系统四处开花,发展迅猛,已经被广泛应用于各行各业,包括航空业、金融业、零售业、物流业、证券业、制造业、保险业、能源领域、电子商务领域等,助力用户持续降本增效。
正如IBM中国混合云与AI华东及华南大区总经理许伟杰所说:“我们有业界最稳定的企业级工具、为客户提供优质服务的团队、优化企业各个环节的行业经验,以及注重实效的IBM方法论。我们希望和中国企业一起携手共创,优化一切。在生产领域,IBM利用Cloud Pak for Data携手伙伴帮助中国头部的汽车内饰企业实现多产线全局最优的小时级自动排程,提高生产效率,帮助中国头部的锂电池制造企业开启了新一代全局最优生产排程APS之旅,同样的例子还发生在航空、半导体、化工、医药等行业。”
IBM 大中华区车库创新体验中心负责人鱼栋表示:“决策优化是企业数智化转型中的重中之重,IBM智能决策系统可赋能企业快速实现决策全链路转型。IBM车库创新体验中心团队可以通过车库工作坊的形式,和客户一起梳理决策优化中的痛点,并和客户携手共创,定义最小可行性产品(MVP),助力企业以敏捷灵活的方式开启智能决策之门。”
IBM智能化决策优化平台依旧在根据市场的需求变化而持续革新,在未来,将继续结合Cloud Pak for Data的多种数据处理工具和人工智能技术,更进一步成就客户,助力企业在混合云和AI时代,走向高光时刻。
作者:何金池,IBM 科技事业部车库创新体验中心架构师
媒体联系:Tao Guo, gguotao@cn.ibm.com.。