CIO缺乏成功指標(biāo),導(dǎo)致許多AI項(xiàng)目失敗
近三分之一的CIO不知道哪些AI概念驗(yàn)證(POC)項(xiàng)目達(dá)到了既定指標(biāo),然而,他們還是不斷推出新項(xiàng)目——這種策略注定無(wú)法取得預(yù)期成果。
根據(jù)研究公司IDC的數(shù)據(jù),許多企業(yè)已經(jīng)啟動(dòng)了數(shù)十個(gè)AI概念驗(yàn)證項(xiàng)目,但其中很大一部分都以失敗告終,部分原因是CIO們不知道這些概念驗(yàn)證項(xiàng)目是否達(dá)到了關(guān)鍵指標(biāo)。
在IDC于9月進(jìn)行的一項(xiàng)調(diào)查中,30%的CIO承認(rèn),他們不知道自己的AI概念驗(yàn)證項(xiàng)目中有多少達(dá)到了預(yù)期的KPI,或者被視為成功。
結(jié)合IDC 4月的一項(xiàng)調(diào)查(該調(diào)查發(fā)現(xiàn)企業(yè)平均啟動(dòng)了37個(gè)AI概念驗(yàn)證項(xiàng)目),9月的調(diào)查表明,許多CIO一直在盲目嘗試,看看哪些項(xiàng)目能成功,IDC咨詢(xún)與研究服務(wù)全球副總裁Daniel Saroff表示。
平均而言,在數(shù)十個(gè)AI概念驗(yàn)證項(xiàng)目中,只有五個(gè)進(jìn)入生產(chǎn)階段,而其中只有三個(gè)被認(rèn)為成功,結(jié)果就是GenAI的“循環(huán)往復(fù)”,企業(yè)進(jìn)行了大量實(shí)驗(yàn),卻收效甚微,Saroff說(shuō)。
“當(dāng)他們說(shuō)他們不知道自己的KPI是什么時(shí),他們真正想說(shuō)的是,‘當(dāng)我們確定概念驗(yàn)證時(shí),我們沒(méi)有衡量成功的標(biāo)準(zhǔn),’”他補(bǔ)充道。
Saroff表示,潛在的成本可能非常巨大,有些概念驗(yàn)證項(xiàng)目的成本高達(dá)數(shù)百萬(wàn)美元。
與此同時(shí),在IDC 9月調(diào)查的對(duì)象中,約70%的人表示,在每10個(gè)定制開(kāi)發(fā)的AI應(yīng)用中,有9個(gè)未能通過(guò)概念驗(yàn)證階段并進(jìn)入生產(chǎn)階段。35%的CIO表示,他們的定制開(kāi)發(fā)AI應(yīng)用沒(méi)有一個(gè)成功走出概念驗(yàn)證階段。
CIO們?cè)诠?yīng)商開(kāi)發(fā)的AI應(yīng)用方面的表現(xiàn)略好一些,但仍有近三分之二的人指出,供應(yīng)商主導(dǎo)的AI概念驗(yàn)證項(xiàng)目有90%的失敗率。
成功難以定義
即使AI應(yīng)用進(jìn)入生產(chǎn)階段,許多CIO也不清楚成功的標(biāo)準(zhǔn)是什么。近一半的CIO表示,他們要么不知道自己的AI生產(chǎn)應(yīng)用是否成功,要么認(rèn)為現(xiàn)在判斷還為時(shí)過(guò)早。
Saroff表示,在許多情況下,企業(yè)似乎在沒(méi)有充分準(zhǔn)備的情況下就啟動(dòng)了概念驗(yàn)證項(xiàng)目。他補(bǔ)充說(shuō),許多企業(yè)在啟動(dòng)通用AI項(xiàng)目之前,沒(méi)有清理和企業(yè)好內(nèi)部數(shù)據(jù)。
“我們看到GenAI在很多方面都不成功,事后回想起來(lái),原因很簡(jiǎn)單,那就是數(shù)據(jù)不好,”他說(shuō)。“這是一項(xiàng)新技術(shù),周?chē)泻芏喑醋鳎藗冇X(jué)得需要急于投身其中,但他們沒(méi)有做好準(zhǔn)備工作?!?/p>
EchoStor(一家增值分銷(xiāo)商)的CIO Daniel Clydesdale-Cotter補(bǔ)充說(shuō),數(shù)據(jù)管理不善和訪問(wèn)管理不足似乎是阻礙AI概念驗(yàn)證項(xiàng)目成功的兩大障礙。
“特別令人擔(dān)憂(yōu)的是,許多企業(yè)可能急于實(shí)施AI,而沒(méi)有妥善考慮誰(shuí)擁有數(shù)據(jù)、數(shù)據(jù)存放在哪里以及誰(shuí)可以通過(guò)AI模型訪問(wèn)數(shù)據(jù),”他說(shuō)?!癆I項(xiàng)目成功率的高不確定性可能表明,企業(yè)沒(méi)有在專(zhuān)有信息、客戶(hù)數(shù)據(jù)和AI模型訓(xùn)練之間建立明確的界限?!?/p>
Clydesdale-Cotter補(bǔ)充說(shuō),訪問(wèn)控制很重要。企業(yè)的財(cái)務(wù)團(tuán)隊(duì)不應(yīng)該訪問(wèn)用于人力資源AI工具的數(shù)據(jù),反之亦然。同時(shí),AI工具運(yùn)行所需的數(shù)據(jù)往往分散在企業(yè)內(nèi)部。
缺乏規(guī)劃
此外,咨詢(xún)公司Segal(專(zhuān)注于人力資源和員工福利)的副總裁兼高級(jí)顧問(wèn)Michael Stoyanovich表示,無(wú)法判斷AI概念驗(yàn)證項(xiàng)目是否成功的CIO占比表明,項(xiàng)目啟動(dòng)前缺乏戰(zhàn)略規(guī)劃。
他表示:“這凸顯了在評(píng)估AI項(xiàng)目成功時(shí)缺乏清晰度和衡量標(biāo)準(zhǔn),這種不確定性可能導(dǎo)致資源浪費(fèi),更重要的是,可能錯(cuò)過(guò)改進(jìn)的機(jī)會(huì)。”
在太多情況下,企業(yè)似乎在不考慮業(yè)務(wù)影響的情況下就啟動(dòng)了AI概念驗(yàn)證項(xiàng)目。他表示,雖然一些AI概念驗(yàn)證項(xiàng)目可以在內(nèi)部生產(chǎn)力方面帶來(lái)漸進(jìn)式改進(jìn),但這些項(xiàng)目很少能改變游戲規(guī)則。
“企業(yè)只是盲目地投身其中,而沒(méi)有制定一個(gè)將AI融入企業(yè)的周密戰(zhàn)略計(jì)劃,”Stoyanovich補(bǔ)充說(shuō)?!皩?shí)際上,暫停一下,深吸一口氣,挺直腰板,然后快速制定一個(gè)戰(zhàn)略計(jì)劃,這不僅是合適的,而且可能是一個(gè)福音。”
RobobAI(一家利用AI幫助企業(yè)管理供應(yīng)鏈的金融科技公司)的首席技術(shù)官David Curtis補(bǔ)充說(shuō),IDC的調(diào)查結(jié)果“令人警醒”,近三分之一的CIO不了解成功指標(biāo),而且90%或更多的概念驗(yàn)證項(xiàng)目都在失敗。
他表示,許多概念驗(yàn)證項(xiàng)目似乎缺乏明確的目標(biāo)和指標(biāo)。他也同意IDC的Saroff的觀點(diǎn),即許多公司在數(shù)據(jù)不足或數(shù)據(jù)質(zhì)量不佳的情況下啟動(dòng)AI項(xiàng)目。
Curtis表示,太多推動(dòng)企業(yè)采用通用AI的人并不了解這項(xiàng)技術(shù)。許多高管對(duì)部署AI所需的工作量存在誤解,一些人甚至錯(cuò)誤地認(rèn)為AI將取代許多員工。
“人們認(rèn)為AI在某種程度上是神奇的,它將一次性解決所有問(wèn)題,”他補(bǔ)充說(shuō)?!案鶕?jù)用例的不同,處理AI的工作量相當(dāng)大。這并不是從貨架上拿起一件東西然后運(yùn)行那么簡(jiǎn)單?!?/p>
Curtis表示,在某些情況下,失敗的AI實(shí)驗(yàn)可能具有教育意義,并指引企業(yè)走向更好的項(xiàng)目,但是,許多企業(yè)在看到大部分AI概念驗(yàn)證項(xiàng)目失敗后,可能會(huì)停止實(shí)驗(yàn)。
“我合作過(guò)的許多金融服務(wù)公司都沒(méi)有風(fēng)險(xiǎn)文化,”他說(shuō)?!叭绻臣率×?,而且他們?cè)谏厦婊藬?shù)百萬(wàn)美元,他們可能就不會(huì)再做了?!?/p>
對(duì)于風(fēng)險(xiǎn)厭惡型公司而言,與啟動(dòng)數(shù)十個(gè)概念驗(yàn)證項(xiàng)目并迅速失敗相比,事先做好規(guī)劃可能是更好的選擇。
“在實(shí)際開(kāi)始之前,試著先消除一些風(fēng)險(xiǎn),”Curtis說(shuō)。“在我工作過(guò)的地方,內(nèi)部資源都是非常寶貴的。與其有37個(gè)概念驗(yàn)證項(xiàng)目,不如先專(zhuān)注于兩三個(gè)有意義的項(xiàng)目?!?/p>
從戰(zhàn)略需求出發(fā)
EchoStor的Clydesdale-Cotter建議CIO在啟動(dòng)多個(gè)AI概念驗(yàn)證項(xiàng)目之前,仔細(xì)考慮戰(zhàn)略業(yè)務(wù)需求。與Stoyanovich一樣,他建議公司更專(zhuān)注于那些能帶來(lái)競(jìng)爭(zhēng)優(yōu)勢(shì)的AI項(xiàng)目,而不是那些只能帶來(lái)小幅效率提升的項(xiàng)目。
他曾與一家公司合作,啟動(dòng)了一個(gè)項(xiàng)目,利用大型語(yǔ)言模型(LLM)來(lái)協(xié)助處理內(nèi)部IT服務(wù)請(qǐng)求。通過(guò)AI回答許多IT服務(wù)查詢(xún),該概念驗(yàn)證項(xiàng)目成功降低了運(yùn)營(yíng)成本。
“客戶(hù)非常喜歡這個(gè)結(jié)果,”他說(shuō)?!暗Y(jié)果卻是,‘要在你的數(shù)據(jù)中心運(yùn)行這個(gè)項(xiàng)目,僅就新的硬件和軟件要求而言,你可能就要花費(fèi)上百萬(wàn)美元?!?/p>
“然后業(yè)務(wù)部門(mén)回來(lái)問(wèn),‘我們?yōu)槭裁匆ㄒ话偃f(wàn)美元?我們可以雇五個(gè)人?!?/p>