處于高度監(jiān)管行業(yè)的企業(yè)在嘗試部署人工智能時，往往會遇到所謂的“黑匣子”問題，因為人工智能技術通常會自動化任務并產(chǎn)生無法被輕易解釋的輸出

尤其是銀行，正在努力審查機器學習(ML)模型和人工智能軟件的透明度和可解釋性。這些軟件提供了從欺詐檢測到資產(chǎn)追溯的各種信息。匯豐銀行也不例外，但這家英國銀行正在使用軟件來幫助其逐漸增強對算法的信任。這些算法容易出現(xiàn)偏差、數(shù)據(jù)漂移和其他對企業(yè)可能構(gòu)成風險的問題。

[[333168]]

在冠狀病毒大流行期間，越來越多的消費者開始采用數(shù)字服務，在這種情況下，匯豐銀行的努力對于增加顧客對其的信任將是至關重要的，匯豐的首席信息官Gavin Munroe說。

“在向他們展示的模型和人工智能之間需要有一個平衡，以便解釋我們在使用什么，并且它也應該有我們所需要的正確的質(zhì)量、血統(tǒng)和最準確的數(shù)據(jù)，”Munroe告訴記者。“我們認為我們不能在一個沒有信任的環(huán)境中工作。”

為什么銀行在AI方面猶豫不決

銀行明白，人工智能可以幫助它們實現(xiàn)自動化、擴充業(yè)務和保護客戶資產(chǎn)，但如果它們無法解釋自己的算法是如何為監(jiān)管機構(gòu)、審計委員會和消費者工作的，它們就不會采用這種技術。人工智能中的不信任現(xiàn)象比比皆是，這是由幫助錯誤信息傳播的算法和面部識別中的種族偏見引起的。

在監(jiān)管機構(gòu)的密切關注下，金融服務公司對于它們用來支撐業(yè)務的技術往往持謹慎態(tài)度，因為偏見可能會阻止有資質(zhì)的人獲得貸款。因此，根據(jù)Gartner research的數(shù)據(jù)，2019年只有4%的首席會計官報告使用了人工智能。該公司還發(fā)現(xiàn)，79%的企業(yè)高管將金融業(yè)不愿采用人工智能歸因于“對未知的恐懼”。即使當他們確實采用了人工智能時，通常也是用來作為防范欺詐性交易的對沖手段，而不是作為數(shù)字產(chǎn)品和服務的加速器。

Munroe表示，在金融領域采用人工智能的關鍵是信任。他將對人工智能建立信任的重要性，比作了汽車安全帶、速度計和其他安全功能的增加。“如果不加以控制，你就會在組織中承擔很多固有的風險，”Munroe補充道。“我們無法允許數(shù)據(jù)模型中存在固有的偏差。”

由于消費者希望在大流行期間消費更多的數(shù)字化服務，因此建立信任將變得尤其重要。匯豐發(fā)現(xiàn)，通過WhatsApp和微信等社交媒體服務、點擊支付和其他非接觸式技術進行的交易已經(jīng)有所增加。必須密切監(jiān)控此類服務的使用情況，因為隨著越來越多的資金開始通過銀行的數(shù)字足跡流動，將會有更多的欺詐曝光，Munroe說。其中包括了從典型的信用卡欺詐到涉及COVID-19檢測的虛假交易的機會主義詐騙，Munroe補充說。

為AI部署護欄

為了幫助匯豐驗證其人工智能模型，并為其提供的數(shù)字服務提供支撐，Munroe正在使用來自CognitiveScale的軟件，后者的Cortex Certifiai軟件專注于降低商業(yè)風險。CognitiveScale的執(zhí)行主席Manoj Saxena稱，Cortex Certifiai能夠幫助公司解釋機器所生成的預測，并揭示底層數(shù)據(jù)類型、數(shù)據(jù)集、ML模型和AI開發(fā)過程中的偏差，他將該解決方案描述為一種人工智能的測量工具，可以充當可信賴AI的超文本傳輸協(xié)議。

Saxena曾在2007年至2014年領導IBM Watson解決方案，他說該軟件還將有助于識別“數(shù)據(jù)漂移”，即通知ML模型中所包含的數(shù)據(jù)信號是否會隨著時間而變化。自COVID-19疫情爆發(fā)以來，數(shù)據(jù)漂移已經(jīng)成為了一個重大問題，因為客戶的購買模式已經(jīng)轉(zhuǎn)變?yōu)樵诰€購買，從衛(wèi)生紙到個人防護設備的任何物品的購買量都大幅飆升，迫使零售商必須面對供應鏈的挑戰(zhàn)。這些不斷變化的動態(tài)正在產(chǎn)生新的數(shù)據(jù)，而這些數(shù)據(jù)必須被納入到模型當中。

銀行在這方面處于不利地位，因為它們目前的人工智能模型正急于考慮新消費者模式所產(chǎn)生的數(shù)據(jù)。Munroe舉例說，如果一個人在大流行封鎖之前從未在網(wǎng)上購物，但突然在亞馬遜上購物了，這就會在該行的欺詐檢測系統(tǒng)中發(fā)出信號。

門羅說:“有些模型沒有反映出我們和柯維德在一起的現(xiàn)實。”。“但隨著數(shù)字化應用的持續(xù)和加速，會出現(xiàn)什么樣的規(guī)范呢?”

Cortex Certifiai使用“信任指數(shù)”來量化人工智能模型的數(shù)值分數(shù)，它將幫助匯豐的數(shù)據(jù)模型解釋這些新的行為，這對于滿足客戶的需求來說是至關重要的。“這是關于當核心決策被委托給機器時，需要如何建立客戶的忠誠度和信任，”Saxena說。

CognitiveScale正在廣泛的商業(yè)案例中應用它的軟件。在另一項概念驗證中，一家公司正在使用Cortex Certifiai，當他們呼叫交互式語音響應系統(tǒng)時，就可用來將其客戶導向正確的支持聯(lián)系人，Saxena說。

偉大的偏見之戰(zhàn)

這一解決方案似乎是為銀行量身定做的。盡管銀行對能否信任人工智能模型仍心存疑慮，但它們?nèi)栽跒榇祟愋屡d解決方案孤注一擲。

雖然CognitiveScale已經(jīng)從Norwest Venture Partners、Intel CAPItal、Microsoft Ventures、Westly Group和USAA等投資者那里獲得了5000萬美元的資金，但無論它是否已經(jīng)觸及了能夠為軟件行業(yè)增值的甜點，對該公司的炒作可能只會被籠罩在其中的懷疑情緒所超越。

研究人工智能可解釋性的Gartner分析師Saniye Alaybeyi表示，使用決策樹和回歸算法的預測模型一直就存在著偏見，尤其是那些包含數(shù)千個if/then/else語句的預測模型。“這些都不是新的問題，也都不是神經(jīng)網(wǎng)絡所特有的，”Alaybeyi說。

向人工智能灌輸信任的關鍵是確保軟件開發(fā)人員在交付給企業(yè)之前，能夠通過徹底的測試和驗證，交付高質(zhì)量的人工智能模型，她表示。Alaybeyi認為，做好防護欄的規(guī)劃將是滿足所有利益相關者需求的關鍵。

在這一點上，匯豐銀行表示同意。“將風險和合規(guī)性納入我們的文化并不是事后才想到的，”Munroe說，“固有的設計和解決方案也需要內(nèi)置的控制和透明度。”