招行信息技术部副总经理俞吴杰：为大模型应用开“绿色通道”

　　21世纪经济报道记者李览青上海报道

　　在“科技立行”的战略引领下，（）是信息科技投入规模最高的股份行，也是数字化基础设施建设较快的银行之一。

　　2019年，招行提出加快向“金融科技银行”转型，并在公司章程里规定“每年金融科技整体预算原则上不得少于本行上一年度营收的3.5%，其中‘招行金融科技创新项目基金’预算额度原则上不低于上一年营收的1.5%”。目前从人员分配来看，信息技术部是招行一级部门中人数最多的部门，截至2024年6月末，公司研发人员数量达到10653人，占集团员工总数的比重达到9.23%。

　　2022年底，招行实现科技底盘从传统架构升级换代到云架构，并将所有应用系统全部迁移至云上。

　　在今年的中期业绩发布会上，招行行长王良提到将用三年时间实现从“线上招行”向“智慧招行”的跨越。在智能化变革深刻影响的当下，招行在基础设施建设、AI等新兴技术应用层面有哪些新的思考与应用？

　　近日，招行信息技术部副总经理俞吴杰接受了21世纪经济报道记者采访。他提到，今年年初招行开始建立智算平台，并通过FinTech基金对大语言模型方面的基础设施建设与应用开设“绿色通道”，推动AI在钱多、人多、耗时多的场景里发挥更大的价值。谈投入：为大模型应用开“绿色通道”

　　一直以来，聚集资金与数据优势的商业银行都是数智化转型的领头羊。从2023年全年科技投入数据来看，12家银行科技投入超50亿元，其中8家银行投入超百亿。

　　就招行自身来看，其信息科技投入经历了从2018年到2021年的迅猛增长，从2022年开始已趋于平稳，截至2023年末科技投入金额约141亿元。

　　俞吴杰告诉记者，招行信息技术投入分为两大方向，一是传统的软硬件投入，二是在探索大语言模型落地时，搭建智算平台、挖掘应用场景的投入。

　　传统的软硬件投入主要是围绕招行的云基础设施。2023年3月，招行宣布完成全面上云，目前招行的“两朵云”分别为“金融交易云”与“原生云平台”，前者重“稳态”，后者重“敏态”。俞吴杰表示，这是招行面向未来的数字化新基建，投入非常大，就从硬件来说，“两朵云加起来需要数万台服务器。”他提到，此外还有软件投入、维保费、人力等。

　　面对生成式AI带来的大模型浪潮，招行第二大科技投入的方向是智算平台，该平台从今年年初开始建立。“以前我们的服务器集群叫做通算平台，现在和大模型相关的我们称为智算平台。”据俞吴杰介绍，智算平台包括招行的大语言模型训练平台与推理平台两个方面。他提到，招行探索大模型的目标不是建立通用模型，而是在金融行业建设垂直领域的大模型。

　　“无论是训练还是推理，集群投入都是以亿为单位的。”俞吴杰提到，每台GPU的价格上百万，仅算力配置的成本就相当高昂，同时还需要引进相关人才，这意味着持续的投入。

　　俞吴杰坦言，应用场景需要业务部门和技术部门一起创新，存在一定试错成本，招行的解法是用FinTech基金来提供容错成本，每年招行FinTech基金的预算额度原则上不低于上一年营收的1.5%。“总行对于大语言模型的基础设施建设和应用，都是全力支持，基本上都能通过FinTech基金走绿色通道。”俞吴杰表示。

　　招行对智算平台的全力投入，是因为大语言模型正在银行各个业务板块全方位地释放价值。在俞吴杰看来，虽然大模型在银行的落地应用还处于探索阶段，但已经为业务带来了非常显著的变化。

　　俞吴杰指出，在从“线上招行”向“智慧招行”转变的过程中，线上化、数据化、智能化、平台化、生态化的“五化”建设至关重要，目前招行已基本完成线上化和数据化阶段。

　　在智能化阶段，俞吴杰提到，AI已经融入到银行日常的营销、服务、风控、经营等各个方面。例如在服务质检方面，过去人工客服接听电话、记录内容、整理归类的流程可能需要五分钟，但现在可以借助语音识别转换成文本后交给大模型处理，可以把流程缩短到“秒”级，大幅提升工作效率。谈落地：到“钱多人多耗时多”的场景中去

　　在探索大模型落地应用的过程中，数据、算力、算法的“三驾马车”是金融机构和科技厂商的必答题，对招行来说也是如此。

　　俞吴杰告诉记者，基于传统AI技术，招行已在语音语言、计算机视觉等方面有广泛落地应用，但对大语言模型与智算平台建设的探索还是近两年才开始的，接下来将聚焦两个方面。

　　第一是持续建设推理集群。“未来的大模型应用，对算力提出刚性要求，如果没有算力服务就很难扩展场景、提升用户体验。”俞吴杰提到。

　　第二是扩大训练的集群。俞吴杰明确指出，招行不会将精力放在通用大模型训练上，而是聚焦专业领域。招行选择了两条路径，一是基于效果较好的通用大模型，结合专业领域知识以及招行在日常经营中积累的专业语料，“做深”领域大模型；二是将领域大模型投入到更多场景中，基于场景实现应用创新。

　　“我们认为银行有三个重要的‘密集型’特征，分别是数据密集、知识密集、人力密集。”俞吴杰表示，在“钱投入多”、“人投入多”、“耗时多”的场景下，AI将产生更大的价值。

　　据俞吴杰介绍，招行的创新应用一般是自上而下、自下而上“两条腿走路”。

　　自上而下方面，招行会基于对大模型应用的整体规划来投入资源。俞吴杰提到，目前该行的规划是按照业务条线、业务形态的“两维矩阵”来挖掘前述的“三多”场景，前者对应零售、批发、中后台等条线，后者对应营销、服务、运营、风控、合规、办公等场景。

　　自下而上方面，招行通过FinTech基金、创新竞赛等形式，激励一线业务人员在实际工作中应用大模型。“在上层做规划的时候，可以从全局出发，但往往一线听得到炮火的员工，对业务的真实需求理解最深。”俞吴杰表示，招行将加大在培训、机制、资金等各方面投入，引导一线员工在日常工作中挖掘大模型的实践场景。

　　据介绍，截至今年10月末，招行全行已有超过100个场景在应用大语言模型。俞吴杰表示，未来招行还将加大在智算平台投入，扩大规模、提升性能，并与高校、厂商等共同攻关技术难点。谈未来：加强协同应对AI风险

　　尽管以大模型为代表的AI技术已经开始释放应用价值，但不可否认的是，新兴技术也带来了新的风险与挑战。

　　俞吴杰指出，大语言模型在银行的落地应用还存在幻觉问题、资源消耗巨大、数据隐私保护、答案生成可解释性等方面问题。例如在客服场景中，如果大模型的思考时间过长，可能影响客户体验，但性能调优需要更大规模的算力，与更多的资源消耗；又如在贷款审批等涉及决策的场景下，多层神经网络模型是“黑盒”，可能使得业务“不敢用”。

　　对此，招行的解法是“协同”，既包括人机协同，也有大模型与小模型的协同。

　　客户服务是大模型最先落地应用的场景之一。俞吴杰提到，随着银行客户数量、账户数量的增加，对客户服务的需求快速增长，客服业务的发展也经历了人工客服、机器客服和人机协同的三个阶段。他指出，在第二个阶段主要是通过自然语言处理的小模型，来实现客户交互，但由于机器理解可能的偏差，影响客户体验。目前，招行的智能客服来到人机协同的第三阶段，机器人可以解决简单、相似性较高的问题，当出现复杂问题，或AI判断用户情绪需要人工干预时，可以无缝衔接到后台坐席人员处理，最终在实现规模效应的同时提供“有温度”的服务。

　　为进一步解决大模型因幻觉导致的准确度不高、可解释性不强、响应时间过长等问题，招行采用大模型与小模型协同的方式。

　　俞吴杰表示，小模型的“小”只是相对于大语言模型的量级而言，基于传统方法建立的模型，一般是针对某一场景开发的专有模型。“大的趋势是大模型的覆盖范围会越来越广泛，如果它的准确度和效果能达到使用标准，它的可复用性可以大幅降低银行的边际成本。”俞吴杰指出，虽然小模型需要专门的开发、部署、维护，但它有很好的可解释性，对场景有针对性，特别是在精准的数值处理方面，小模型的表现较好，因此未来大模型和小模型仍将长期并存。

　　“大部分银行只要有能力，基本都会布局大语言模型，但这是一项持续的大规模投资，不是所有银行都适合这种大规模投入的。”俞吴杰表示，不建议大量中小银行盲目跟风。在产生价值、可复用的场景上，中小银行机构可以基于大行经验进行大模型的应用探索。