目录

一、序言

二、黑产数据趋势探查

三、黑产攻击手法演变趋势

趋势一:深度伪造成为诈骗核心技术,人脸识别遭遇严峻挑战

趋势二:黑产洗钱花样翻新,对抗风控手段不断迭代

趋势三:移动端攻击热点转移,iOS平台成为博弈新战场

趋势四:黑产瞄准营销活动,作弊手段层出不穷

趋势五:黑产瞄准大模型,新技术带来新考验

四、黑产防护对抗与思考

对抗方向一:AIGC时代的深度伪造识别对抗

对抗方向二:风险识别及策略评估的风险防控前移

对抗方向三:持续提升移动端安全水位评估能力

对抗方向四:图算法成为识别黑产团伙的新利器

对抗方向五:大模型安全防护势在必行

五、结束语

一、序言

2023年是数字金融快速发展之年,其中以大模型技术为代表的创新理念激发了金融服务的革新浪潮。这些前沿技术的引入不仅极大地促进了金融服务效率和质量的飞跃,也为行业带来了史无前例的发展机遇。然而,随之而来的是金融安全领域所面临的新型挑战,尤其在抵御金融黑产方面,我们见证了新一轮风险与威胁的不断涌现,这对金融行业的安全防护提出了更高的要求。

中国工商银行金融科技研究院安全攻防实验室(以下简称“实验室”)持续致力于金融科技领域的研究与应用,尤其在网络金融安全领域,不断追踪和分析黑色产业链的发展趋势,积极推动行业安全技术的创新与进步。

随着2024年的到来,实验室携最新研究成果,从金融安全专业的角度出发,展示过去一年内金融黑产领域的新动态和变化,旨在为金融机构及整个行业提供更加深入的洞察与前瞻性的防护策略,希望能够为全社会带来黑产防护的新思路。

二、黑产数据趋势探查

2023年,全国公安机关持续向网络诈骗犯罪发起凌厉攻势,共破获电信网络诈骗案件43.7万起,自2023年8月以来电信网络诈骗发案数连续下降,打击治理工作取得显著成效。截至2023年12月底,国家反诈中心累计向各地下发资金预警指令940万条,公安机关累计见面劝阻1389万人次,会同相关部门拦截诈骗电话27.5亿次,短信22.8亿条,处置涉诈域名网址836.4万个,紧急拦截涉案资金3288亿元。[1]

数据显示,23年各类欺诈依旧主要集中在移动端(如图1所示)。从诈骗类型来讲,交友占比最高(41.4%);其次是虚假兼职(24.3%)和身份冒充(12.0%)。从涉案总金额来看,依然是交友类诈骗总金额最高,占比50.6%;其次是身份冒充诈骗,占比19.1%;虚假兼职排第三,占比16.7%。[2]

图1 手机诈骗举报类型分布

从诈骗场景数据统计来讲,场景类型主要为刷单返利,占比87.6%;其次为网络贷款(7.2%)、虚假投资理财(3.9%)、裸聊敲诈(0.8%)、“杀猪盘”(0.3%)等。移动端诈骗场景类型分布如图2所示。[3]

图2 移动端诈骗场景类型分布

2023年,在欺诈类黑产势头有所减弱的背景下,针对银行营销活动的黑产行为仍处于较为活跃态势,各类黑产线报、接码数量、黑产从业人员规模等仍处于高位状态。

黑产线报数一直以来是用于衡量黑产关注度的最直接指标,2023年中关于银行业的黑产线报数量达52.8万条,平均每天有700余条的内容聚焦在讨论如何针对银行业务及营销活动进行攻击(如图3所示)。

图3 2023年涉及银行业的营销活动攻击情报数[4]

黑产为了隐藏身份,在针对营销活动作弊阶段往往会利用接码平台、IP秒播等资源实现身份隐藏,此类情况在部分营销活动旺季更为突出。2023年涉及银行业恶意接码短信数如图4所示。

图4 2023年涉及银行业恶意接码短信数[5]

三、黑产攻击手法

演变趋势

为了提高行业对黑产威胁的防御能力,实验室筛选并深入研究了2023年黑产攻击中最具代表性的攻击模式,希望引起社会各界的广泛关注,推动行业共同努力,形成有效的预防机制,以应对日益复杂的黑产攻击形势。

趋势一

深度伪造成为诈骗核心技术,

人脸识别遭遇严峻挑战

人脸识别技术凭借其便捷易用的特点,在互联网金融领域发挥着重要作用。随着人脸识别攻防技术的不断发展和反复博弈,人脸识别应用场景也成为了黑产对抗的主战场。在与人脸识别算法的长期对抗升级过程中,人工智能人脸伪造技术已进行了三次主要的迭代升级,其仿真效果、时效性都有了较大提升,对人脸识别及远程音视频服务的安全性提出了严峻挑战。

人工智能人脸伪造技术发展历程

深度伪造技术发展路线如图5所示。

图5 深度伪造技术发展路线

第一代人脸伪造技术:利用三维图像建模实现人脸伪造替换。这类方法首先获取受害者人脸的若干个关键点,包括面部轮廓、五官位置等信息,随后利用CANDIDE-3等传统人脸三维模型对受害者人脸进行数字建模得到一个三维的人脸面具,最后再利用这个三维的面具将受害者的人脸纹理贴到基准人脸图片上。这类方法可以基本实现人脸的替换,对受害者的人脸数据的需求较少,容易出现失真。

第二代人脸伪造技术:深度神经网络开始被广泛运用于人脸伪造领域,第二代技术主要基于变分自编码器(VAE)。此类模型由编码器和解码器组成,编码器用于提取受害者的高维面部结构,解码器将利用这个高维结构,通过贴入受害者的面部细节纹理来替换图片中的基准人脸。这类方法生成的人脸不会再出现失真的情况,适用于多表情多面部动作的场景。其缺点是训练好的每一个模型只能伪造替换固定的某个人,每次伪造新的目标人脸时都需要重新训练模型,因此对训练数据的要求和计算成本都比较高。

第三代人脸伪造技术:对第二代工具的缺点进行了大幅度改进,构建出一种通用的换脸模型框架,只需要使用人脸数据集进行一次训练即可,无需针对不同伪造目标进行重复训练。这类模型通过引入特征注入模块,基于自适应示例归一算法(AdaIN)提取通用伪造特征,添加到目标人脸特征中,实现任意人脸信息融合,同时使用生成对抗网络(GAN)中的判别器模块,生成更加逼真的人脸纹理细节,使得伪造人脸的数据要求和计算成本大幅度降低。人工智能人脸伪造技术对比如图6所示。

图6 人工智能人脸伪造技术对比

新一代深度伪造三大特点

目前第三代深度伪造技术已经呈现低成本、高仿真、强对抗三大特点。

低成本:目前深度伪造算法在生成伪造图片时,无需使用大量人脸照片进行训练,只需受害者的一张正脸照片即可达到冒充他人的目的。同时,越来越多简单易用的深度伪造开源工具的出现,使得黑产换脸攻击成本大幅降低。此类工具通常封装了虚拟摄像头接口,并提供详细的使用教程,即使技术零基础的黑产从业者也能轻松实现深度伪造诈骗。此外,随着深度伪造算法不断优化,目前主流深度伪造模型都采用了轻量级的神经网络设计,对攻击设备的配置要求越来越低,一台家用PC电脑便可完成实时的人脸伪造(如图7所示)。

图7 实验室利用普通PC实现实时伪造

高仿真:目前的深度伪造算法在伪造效果上较早期算法有很大提升,不仅可以完整地替换人脸,还能够模拟头部姿态和环境光照等非面部特征。同时,它还能够完美保留面纱、发丝等细粒度的面部遮挡物,使得伪造的人脸更加逼真,几乎难以被人眼分辨。

图8 早期深伪模型与当前深伪模型效果对比图[6]

对抗性:目前深度伪造算法已针对深伪检测防御方法进行了对抗博弈。包括向伪造的图片中加入微小的噪声扰动使得检测算法判断错误,或者在生成伪造图片时优化图片质量和时序的一致性,使得生成的伪造人脸视频具有神态、动作和光照的统一。

图9 深伪检测对抗方法示意[9]

趋势二

黑产洗钱花样翻新,

对抗风控手段不断迭代

2022年“跑分平台”洗钱一度成为黑产洗钱的主要方式,这类洗钱手法在金融机构的针对性风险防控升级下得到了有效遏制。2023年黑产又使用多种新型洗钱模式,尝试绕过现有风控体系。

红包小程序洗钱

红包小程序是一种基于支付平台开发的小程序应用,允许用户在小程序内实现发送、领取红包的功能,红包可以通过输入特定口令语音、完成拼图拼字红包、回答问题等多种方式领取,领取的资金则通过商家打款功能转入用户的账户中。与支付平台原生红包不同,红包小程序的风控措施及限额控制较弱,这导致近期利用商户小程序红包功能进行洗钱的案例不断增多(如图10所示)。

图10 某洗钱平台以及小程序分享红包截图

红包小程序洗钱的具体流程如图11所示,洗钱人员登录黑产开设的洗钱平台(跑分平台)后,通过三方支付平台或泰达币(USDT)将黑钱转入洗钱平台,洗钱平台提供给用户一个小程序红包二维码,扫描二维码跳转至小程序领取红包后提现,实现黑产资金的洗白。

图11 红包小程序洗钱流程

AB卡洗钱隐藏痕迹

目前AB卡的洗钱模式成为了洗钱团伙的新选择,所谓AB卡指的是利用同一客户名下的两张来源于不同银行的储蓄卡,通过银证转账、投资理财进行洗钱的手法。由于证券账户、理财账户、基金账户可以绑定多个不同银行的账户,洗钱团伙可通过这类交易实现不同银行间账户的资金转移,绕过银行账户间转账的风控限制。黑产群收购AB卡信息如图12所示。随着监管部门对此类洗钱手段的关注,黑产也在不断转换AB卡间的资金转移渠道,使得风控对抗愈加激烈,近期实验室还跟踪到利用电商平台退款进行AB卡洗钱的新模式。

图12 黑产群收购AB卡信息

黑产“验卡”对抗升级

除了洗钱模式的变化,黑产也在风控对抗方面进行了多次对抗升级(如图13所示)。黑产团伙招募洗钱人员时,需要对洗钱人员的银行账户进行可用性验证。早期的“验卡”往往采用“小额试探”方式,由洗钱候选人向黑产账户转一笔小额资金,证明自身账户未被管控。2023年起,大部分银行已实现对这种“小额试探”验证方式的风控部署,对此黑产团伙研究出“空充截图”验卡方式,即主动触发手机银行转账余额不足或超出支付限额等失败交易并对报错进行截图,通过交易失败提示语来判断账户可用性。在此基础上,为进一步增加绕过银行风控的成功率,还有部分黑产通过拍照代替截图、使用三方支付账户等手段来绕过风控检测,使得银行对洗钱账户识别的难度进一步提升。

图13 黑产验卡隐蔽性逐渐增加

电商平台对公户消费洗钱躲避风控

相比于个人账户,银行对公账户具有可信度高、账户转账额度大等特点,近年来成为黑产攻击的焦点(如图14所示)。

图14 黑产公开收购公户进行洗钱

今年出现了一种利用电商平台购物变现的新型洗钱方式:诈骗团伙在收到资金后,通过电商平台中黑产控制商户进行虚假交易,或购买大额商品变现(如图15所示)。黑产在支付时会专门选择“对公转账”的支付方式,此类手法中,资金转出方往往是大型电商平台的对公账户,银行对于此类账户的风控拦截一般较为谨慎,增加了防护的难度。

图15 电商对公账户洗钱流程

趋势三

移动端攻击热点转移,

iOS平台成为博弈新战场

相较于安卓开源代码容易分析的特点,iOS端的代码闭源及应用市场封闭等特性带来了较强的安全管控优势。实际上,这些特性也是一把双刃剑,代码闭源导致了iOS中的应用安全高度依赖iOS自身安全,而其应用市场的审核机制也给客户端带来了无法引入类似Android的第三方加固技术的隐患。一旦具有高技术水平的黑客通过挖掘iOS系统漏洞找到iOS客户端“越狱”的方法后,黑产就能够通过越狱获取设备最高权限,导致iOS应用面临着与Android客户端相同的风险。另外由于iOS系统封闭特性带来的安全壁垒,也容易导致APP对自身安全性的建设重视不足。

iOS黑产逐渐产业化

通过黑产跟踪,实验室关注到年内移动端安全博弈双方“白帽”专家、黑产都把着力点逐步转移到iOS客户端,网络上售卖的iOS破解教程大量增加(如图16所示),包括iOS逆向方法论、iOS逆向环境搭建、各种攻击框架在iOS上的应用、iOS加密算法的分析还原案例,一应俱全。

图16 网上售卖传播相关课程及教学

黑产通过越狱社区商店(cydia等)制作、售卖并传播各类越狱hook框架及插件,实现了虚拟摄像头、越狱状态隐藏、钢钉证书绕过等攻击,可用于破解iOS应用的环境检测、报文防篡改、设备风控、人脸识别等功能,威胁APP及后台业务的安全运行(如图17所示)。

图17 iOS上绕过人脸识别和越狱检测的插件

针对iOS的新型欺诈手法频出

2023年出现了利用iOS特有的Facetime功能进行欺诈的新手法,诈骗分子使用iPhone手机FaceTime功能,假冒电商客服、银行客服等向用户发起视频通话,进而实施诈骗。FaceTime是iPhone手机中的一款视频通话应用,可用于iPhone手机之间的视频通话。由于FaceTime允许个人用户将昵称修改为电商、银行等机构名称,同时允许陌生人发起视频请求,因此黑产可仿冒任意身份向用户单方面发起通话。

不法分子通过黑产获取受害人的个人信息,拨打FaceTime电话给受害人,精准报出受害人的姓名、身份证号、电话等信息,然后假冒金融平台客服,以取消不实贷款、消除不良征信为由,要求下载屏幕共享软件,一步步操纵受害人向指定账户转账(如图18所示)。由于境内用户不熟悉FaceTime陌生人发送消息的机制,因此很容易降低警惕性,掉入黑产设计的欺诈陷阱。

图18 不法分子伪装客服进行FaceTime电话诈骗

iOS银行木马欺诈首次出现

2023年10月,某境外安全公司发现了一种针对iOS手机进行攻击的新型银行木马,该木马名为GoldPickaxe。这也是首次发现iOS平台上存在银行木马威胁,引起了安全行业广泛关注。该木马通过TestFlight和企业应用的方式在泰国及越南等东南亚地区传播,木马通过钓鱼页面的方式窃取受害者身份认证信息,通过窃取受害者短信验证码及其他本地的敏感信息,并使用虚假的人脸识别功能窃取受害者人脸信息,实现攻击者仿冒身份进行登录。该公司对iOS银行木马的分析如图19所示。

图19 某境外安全公司对iOS银行木马的分析

新型“半越狱”技术增加新风险

iOS圈内近期出现了一种在正常的非越狱手机上安装越狱插件的方法,业界称为“半越狱”技术。这种方法主要利用部分版本及型号的iOS设备存在的AMFI及CoreTrust漏洞,绕过系统对程序签名及开发证书的验证,利用黑产工具安装一个名称为“Bootstrap”的插件,该插件能够将本应在越狱环境中运行的tweak脚本注入到正常手机APP中,实现在非越狱设备上Hook第三方APP的效果。目前iOS设备风控主要是针对越狱设备的检测,类似“半越狱”状态的新型攻击手法需要进一步加强研究。

趋势四

黑产瞄准营销活动,

作弊手段层出不穷

伴随近期各类刺激消费活动的增多,大量消费券、银行补贴券受到了黑产的广泛关注。

商户配合虚假交易

黑产联合商家刷单流程如图20所示,黑产通过第三方平台发布收券信息,出券人(刷手)领用优惠券后,绑定个人信用卡或借记卡,将受理端付款码截图发给黑产。黑产收到付款码后和指定商家合作,利用POS机、MIS机等进行付款,批量完成虚假交易。交易完成后,商家返利给黑产团伙,黑产团伙抽取佣金后,将订单付款金额+剩余佣金返还给出券人(刷手)。

图20 黑产联合商家刷单流程

黑产渠道中存在大量黑产中介招募信息(如图21所示),此类黑产作弊行为由于可直接返现,易吸引职业出券人“刷手”参与,造成短时间内优惠券被领完,使得正常的营销目标客户无法参与活动。

图21 黑产招募刷手参与作弊活动

众包工具即服务

黑产真人众包通过在众包平台、社交媒体群发布引流任务信息,诱导正常用户参与黑产活动,提升风控识别难度(如图22所示)。传统黑产真人众包完全依赖人工抢券,成功率较低,目前出现的“真账户+真人+脚本”的新型作弊手法,实现了众包工具的服务化,黑产利用代理服务器和脚本群发请求等技术手段大幅度提升了批量抢券效率和成功率,例如在某电商平台抢购高补贴商品时,黑产会提供抢券脚本、自动购买脚本,众包人员仅需在脚本内输入自己电商平台的账号密码,脚本便可自动抢购指定商品,这不仅提高了成功率,也减少了人力成本和操作难度。这种技术手段的结合使得黑产活动兼具自动化、规模化和隐蔽性。因为其行为模式更为复杂且难以与合法用户区分,进一步加大了风控防护的难度。

图22 某黑产众包群内提供的黑产抢单

趋势五

黑产瞄准大模型,

新技术带来新考验

随着人工智能技术的快速发展,大模型已在众多领域取得了显著成果,为工作和生活带来了极大的便利,同时也带来了恶意滥用、供应链投毒、模型越狱等新的风险。

黑产大模型成新技术暗黑面

黑产从业者不断尝试跟上AI技术变革的步伐,基于类ChatGPT模型,利用恶意软件相关数据进行训练,使其具备了不良意图和行为模式。黑产大模型实例如图23所示。这些被篡改和滥用的聊天机器人,被称为“邪恶孪生”(evil twins),它们可能被用于各种非法活动,如网络诈骗、信息窃取、恶意软件传播等。

图23 黑产大模型实例

大模型供应链安全风险浮现

近期出现的利用大型AI模型共享社区Hugging Face的大模型文件投毒事件,由于影响较大受到了人工智能及安全行业的广泛关注。已被标注存在恶意代码的模型如图24所示。

图24 已被标注存在恶意代码的模型

攻击者事先在预训练PyTorch模型二进制文件中植入恶意代码,将有恶意代码的预训练模型上传至著名的大型AI模型共享社区Hugging Face。受害用户下载了被投毒的模型后,使用Hugging Face提供的人工智能模型开发工具包(Transformers库)加载模型时,会触发Transformers库的反序列化漏洞,进而导致恶意代码执行。为防范上述风险,Hugging Face专门设计了一种新型模型存储格式Safetensors,并提供了文件转换服务,帮助用户将PyTorch模型转换为Safetensors格式。

然而近期某美国安全公司发现,Safetensors文件转换服务同样存在漏洞,攻击者使用恶意二进制文件破坏用于文件转换的文件托管系统,在文件托管系统进行hook注入,窃取用户身份token,进而篡改用户提交到Hugging Face进行文件安全转换的所有模型文件,导致风险的进一步扩大。

对抗攻击揭大模型脆弱性

大模型针对各种可能具有安全隐患的提问和回答,进行了针对性的防护,称为大模型安全对齐。目前,黑客普遍使用提示词注入攻击来绕过安全对齐防护控制。提示词注入攻击需要攻击者设计特殊的对话场景,并专门构造攻击话术实施攻击。攻击场景往往一事一议,且过程中较多依赖手工及专家经验,存在一定的局限性。

为解决提示词注入攻击的局限性,卡内基梅隆大学最新研究论文提出一种后缀对抗的模型越狱攻击思路(如图25所示),该研究通过离散梯度优化算法计算损失差异,并利用梯度贪婪搜索算法选择最优替换字符单元,生成对抗后缀添加到恶意提问文本后部,达到绕过大模型安全对齐产生恶意输出的目的。实验室针对中文语言结构复杂、语义多样性等特点,优化适配了攻击目标及迭代终止条件,实现了中文大模型的安全对齐越狱,后续这一类型的攻击方式也需要引起我们的重视。

图25 大模型后缀对抗攻击示例

四、黑产防护对抗与思考

对抗方向一

AIGC时代的

深度伪造识别对抗

随着生成式模型的进步,现今的深度伪造技术能够生成逼真的伪造人脸,难以分辨真伪。为了对抗AI深伪换脸攻击,可以利用计算机视觉和深度学习方法来追踪伪造过程的痕迹。一方面,由于换脸算法生成的人脸在连续的视频帧时,可能存在光线表现的不一致或人物动作的不连续等特点,因此可以通过对这些特征进行建模,并训练模型来实时检测攻击行为,另一方面也可以通过分析人脸边缘信息和高频噪点等图像高频特征识别伪造人脸。

实验室探索了基于图像高频特征构建双支孪生神经网络的深伪人脸识别方法,其中网络上支采用了隐写分析卷积核来提取图片的高频特征,下支使用普通的卷积核来提取图片的低频特征,并引入注意力的机制,使得模型能够更加关注于人脸图片中伪造部分带来的异常,并通过双线性池化方法将这两支卷积神经网络学习到的人脸特征进行融合,判断人脸是否伪造。相较于传统仅基于图像特征的深伪检测算法,引入注意力机制的深度伪造识别模型在准确度上有了较大提升,可能成为未来的重要发展方向。深伪检测模型网络结构如图26所示。

图26 深伪检测模型网络结构

对抗方向二

风险识别及策略评估的

风险防控前移

金融行业近年来持续在场景营销领域探索创新,互联网金融营销活动数量呈爆炸式增长,随着活动类型的日益丰富以及上线时间窗口的不断压缩,新型作弊手法层出不穷,黑产攻防博弈正变得空前激烈。如何在活动设计阶段对黑产新型攻击采取有效措施,成为互联网金融营销安全的关键环节。然而在现实情况中,活动设计人员往往缺乏黑产防护的相关经验与背景,难以度量安全策略的预期效果,风险应对相对滞后。因此,需要在业务场景及活动设计阶段,探索针对黑产攻击的威胁建模方法及策略制定模型,并通过攻击成本量化评估算法从黑产攻击视角衡量预期防护效果,实现风险防控的前移。营销活动反作弊指引框架如图27所示。

图27 营销活动反作弊指引框架

实验室初步形成了一套黑产威胁建模及策略制定模型方法,该方法主要从黑产攻击视角对业务活动进行分类,提炼业务、认证、设备、操作4个维度的黑产攻击风险,针对每一种攻击手法设计防护策略,度量黑产攻击成本收益比,帮助业务人员选择最佳安全防护策略组合(如图28所示)。

图28 攻击成本量化评估示例

对抗方向三

持续提升

移动端安全水位评估能力

基于设备特征风控的广泛应用,迫使黑产进一步加强了对设备风控绕过的研究,系统级hook攻击、定制rom伪装等各类新型攻击手段层出不穷。因此,通过持续提升移动端安全评估能力,来进一步强化移动端的安全加固,将成为黑产对抗的重要手段。

提升移动端安全评估能力的一个较好思路,是引入移动端安全水位线的理念。一是要持续跟踪黑产各类新型黑产工具及设备,深度分析攻击手段及原理,二是构建模拟黑产移动端攻击的实战化平台,研发黑产攻击模拟武器库,持续针对移动端APP开展安全评估,验证安全防控策略针对新型黑产攻击的防护效果,形成整体的安全水位报告。业务蓝军移动端安全水位线平台建设如图29所示。

图29 业务蓝军移动端安全水位线平台建设

对抗方向四

图算法成为识别黑产团伙的

新利器

近年来随着各类图算法的快速发展,越来越多的企业开始探索其在黑产团伙识别领域的应用。经过实战证明,各类社区发现算法和图神经网络对于分工精细、特征隐蔽的黑产团伙有更准确的识别效果。

基于图的各类社区发现算法可以解决黑白灰样本难以完全精确区分的困境,可将节点属性转化为边权重,通过将模块度或边介数作为分割标准,对相似节点进行无监督聚类,实现团伙识别。与传统的基于距离的聚类方法相比,社区发现算法可有效的利用图本身的拓扑结构与连接关系,在黑产作案手法复杂多变的情况下,通过计算节点相似度或路径长度,能挖掘隐藏的模式与关系。

同时,可利用图神经网络半监督学习解决黑产攻击样本占比小的难题,由于图神经网络邻居节点属性可传播至当前节点进行属性聚合,当前节点的嵌入参考了邻居节点的特征信息,所以图神经网络除了学习输入特征间的关系外,也学习了节点间的相互关系。此外新增数据的拓展能力对于黑产识别分析模型至关重要,可利用具备动态图处理能力的GraphSage等算法快速计算新增节点的嵌入表示,而无需重新训练整张图(如图30所示)。图神经网络与传统神经网络相比,更易于进行业务解释,因此在风控领域具有广泛的应用前景。

图30 GraphSAGE算法示意[8]

对抗方向五

大模型安全防护

势在必行

随着大模型在金融领域的推广应用和大模型安全风险研究的不断深入,“大模型安全防护势在必行”已不仅仅是一句警示,更是金融企业必须采取的紧迫行动。为了能够有效发挥大模型的价值,同时最大程度地规避和防范伴随而来的各类安全挑战,金融企业需要从建设和应用两个维度探索有效的安全管控措施。

在进行专业大模型建设时,技术维度需要加强大模型自身安全检测及攻击对抗技术的研究,提升模型鲁棒性,增强安全攻防对抗能力。运营维度需要做好自建大模型在框架搭建、预训练、模型部署、服务提供的全生命周期安全管控,针对训练数据准入进行审核,同时对生成结果进行评价及监控,避免大模型生成结果中包含违背客观事实、法律道德规范、涉及个人隐私泄露等不良内容。

在应用第三方大模型拓展金融服务时,同样需要全面审视并严格把控安全风险。一是充分评估大模型接入交易系统引发的安全风险,确认在使用前能够有效识别大模型可能导致的过度泛化、模型偏差歧视等风险,并建立熔断、应急机制。二是规范大模型的使用场景,避免将泛化大模型用于高风险业务场景直接进行决策。三是加强员工安全意识培训,避免员工因非授权使用外部大模型服务导致的企业及个人信息泄露、无意识侵权等风险。

五、结束语

2024年,金融业围绕着“五篇大文章”不断创新金融产品、金融服务和金融业态,金融生态的数字化转型将进入全新赛道,金融行业也将面临前所未有的发展机遇和安全挑战。随着数字化转型及开放银行的不断推进和数字化金融场景的快速创新,需要金融机构之间、金融机构与合作方间深度融合,银行、证券、理财平台、第三方支付及电商平台通过联手构建跨行业的联防联控体系,实现共享风险信息和联合风控,构筑强大的黑产防御网络。

工商银行始终坚持开放合作,促进金融安全技术的交流与共享,通过与同业共筑数字金融的安全屏障,构建互联互通、携手共进的金融安全生态系统,助力金融行业稳健前行,成为每一位客户心目中“可信赖的银行”。

注释

[1]数据来源:中国警察网

[2]数据来源:360集团

[3]数据来源:360集团

[4]数据来源:威胁猎人

[5]数据来源:威胁猎人

[6]源自论文Faceshifter: Towards high fidelity and occlusion aware face swapping

[7]参考论文Adversarial Perturbations Fool Deepfake Detectors

[8]源自论文Inductive Representation Learning on Large Graphs

版权声明

本文版权属于中国工商银行所有,并受法律保护。转载、摘编或利用其他方式使用本文观点或文字的,应注明来源。违反上述声明者,将追究其相关法律责任。

声明:本文来自中国金融电脑,版权归作者所有。文章内容仅代表作者独立观点,不代表士冗科技立场,转载目的在于传递更多信息。如有侵权,请联系 service@expshell.com。