近三分之一的CIO不知道哪些AI概念驗(yàn)證(POC)項(xiàng)目達(dá)到了既定指標(biāo)，然而，他們還是不斷推出新項(xiàng)目——這種策略注定無法取得預(yù)期成果。

根據(jù)研究公司IDC的數(shù)據(jù)，許多企業(yè)已經(jīng)啟動了數(shù)十個AI概念驗(yàn)證項(xiàng)目，但其中很大一部分都以失敗告終，部分原因是CIO們不知道這些概念驗(yàn)證項(xiàng)目是否達(dá)到了關(guān)鍵指標(biāo)。

在IDC于9月進(jìn)行的一項(xiàng)調(diào)查中，30%的CIO承認(rèn)，他們不知道自己的AI概念驗(yàn)證項(xiàng)目中有多少達(dá)到了預(yù)期的KPI，或者被視為成功。

結(jié)合IDC 4月的一項(xiàng)調(diào)查(該調(diào)查發(fā)現(xiàn)企業(yè)平均啟動了37個AI概念驗(yàn)證項(xiàng)目)，9月的調(diào)查表明，許多CIO一直在盲目嘗試，看看哪些項(xiàng)目能成功，IDC咨詢與研究服務(wù)全球副總裁Daniel Saroff表示。

平均而言，在數(shù)十個AI概念驗(yàn)證項(xiàng)目中，只有五個進(jìn)入生產(chǎn)階段，而其中只有三個被認(rèn)為成功，結(jié)果就是GenAI的“循環(huán)往復(fù)”，企業(yè)進(jìn)行了大量實(shí)驗(yàn)，卻收效甚微，Saroff說。

“當(dāng)他們說他們不知道自己的KPI是什么時(shí)，他們真正想說的是，‘當(dāng)我們確定概念驗(yàn)證時(shí)，我們沒有衡量成功的標(biāo)準(zhǔn)，’”他補(bǔ)充道。

Saroff表示，潛在的成本可能非常巨大，有些概念驗(yàn)證項(xiàng)目的成本高達(dá)數(shù)百萬美元。

與此同時(shí)，在IDC 9月調(diào)查的對象中，約70%的人表示，在每10個定制開發(fā)的AI應(yīng)用中，有9個未能通過概念驗(yàn)證階段并進(jìn)入生產(chǎn)階段。35%的CIO表示，他們的定制開發(fā)AI應(yīng)用沒有一個成功走出概念驗(yàn)證階段。

CIO們在供應(yīng)商開發(fā)的AI應(yīng)用方面的表現(xiàn)略好一些，但仍有近三分之二的人指出，供應(yīng)商主導(dǎo)的AI概念驗(yàn)證項(xiàng)目有90%的失敗率。

成功難以定義

即使AI應(yīng)用進(jìn)入生產(chǎn)階段，許多CIO也不清楚成功的標(biāo)準(zhǔn)是什么。近一半的CIO表示，他們要么不知道自己的AI生產(chǎn)應(yīng)用是否成功，要么認(rèn)為現(xiàn)在判斷還為時(shí)過早。

Saroff表示，在許多情況下，企業(yè)似乎在沒有充分準(zhǔn)備的情況下就啟動了概念驗(yàn)證項(xiàng)目。他補(bǔ)充說，許多企業(yè)在啟動通用AI項(xiàng)目之前，沒有清理和企業(yè)好內(nèi)部數(shù)據(jù)。

“我們看到GenAI在很多方面都不成功，事后回想起來，原因很簡單，那就是數(shù)據(jù)不好，”他說?！斑@是一項(xiàng)新技術(shù)，周圍有很多炒作，人們覺得需要急于投身其中，但他們沒有做好準(zhǔn)備工作。”

EchoStor(一家增值分銷商)的CIO Daniel Clydesdale-Cotter補(bǔ)充說，數(shù)據(jù)管理不善和訪問管理不足似乎是阻礙AI概念驗(yàn)證項(xiàng)目成功的兩大障礙。

“特別令人擔(dān)憂的是，許多企業(yè)可能急于實(shí)施AI，而沒有妥善考慮誰擁有數(shù)據(jù)、數(shù)據(jù)存放在哪里以及誰可以通過AI模型訪問數(shù)據(jù)，”他說?！癆I項(xiàng)目成功率的高不確定性可能表明，企業(yè)沒有在專有信息、客戶數(shù)據(jù)和AI模型訓(xùn)練之間建立明確的界限?！?/p>

Clydesdale-Cotter補(bǔ)充說，訪問控制很重要。企業(yè)的財(cái)務(wù)團(tuán)隊(duì)不應(yīng)該訪問用于人力資源AI工具的數(shù)據(jù)，反之亦然。同時(shí)，AI工具運(yùn)行所需的數(shù)據(jù)往往分散在企業(yè)內(nèi)部。

缺乏規(guī)劃

此外，咨詢公司Segal(專注于人力資源和員工福利)的副總裁兼高級顧問Michael Stoyanovich表示，無法判斷AI概念驗(yàn)證項(xiàng)目是否成功的CIO占比表明，項(xiàng)目啟動前缺乏戰(zhàn)略規(guī)劃。

他表示：“這凸顯了在評估AI項(xiàng)目成功時(shí)缺乏清晰度和衡量標(biāo)準(zhǔn)，這種不確定性可能導(dǎo)致資源浪費(fèi)，更重要的是，可能錯過改進(jìn)的機(jī)會?！?/p>

在太多情況下，企業(yè)似乎在不考慮業(yè)務(wù)影響的情況下就啟動了AI概念驗(yàn)證項(xiàng)目。他表示，雖然一些AI概念驗(yàn)證項(xiàng)目可以在內(nèi)部生產(chǎn)力方面帶來漸進(jìn)式改進(jìn)，但這些項(xiàng)目很少能改變游戲規(guī)則。

“企業(yè)只是盲目地投身其中，而沒有制定一個將AI融入企業(yè)的周密戰(zhàn)略計(jì)劃，”Stoyanovich補(bǔ)充說。“實(shí)際上，暫停一下，深吸一口氣，挺直腰板，然后快速制定一個戰(zhàn)略計(jì)劃，這不僅是合適的，而且可能是一個福音?！?/p>

RobobAI(一家利用AI幫助企業(yè)管理供應(yīng)鏈的金融科技公司)的首席技術(shù)官David Curtis補(bǔ)充說，IDC的調(diào)查結(jié)果“令人警醒”，近三分之一的CIO不了解成功指標(biāo)，而且90%或更多的概念驗(yàn)證項(xiàng)目都在失敗。

他表示，許多概念驗(yàn)證項(xiàng)目似乎缺乏明確的目標(biāo)和指標(biāo)。他也同意IDC的Saroff的觀點(diǎn)，即許多公司在數(shù)據(jù)不足或數(shù)據(jù)質(zhì)量不佳的情況下啟動AI項(xiàng)目。

Curtis表示，太多推動企業(yè)采用通用AI的人并不了解這項(xiàng)技術(shù)。許多高管對部署AI所需的工作量存在誤解，一些人甚至錯誤地認(rèn)為AI將取代許多員工。

“人們認(rèn)為AI在某種程度上是神奇的，它將一次性解決所有問題，”他補(bǔ)充說?！案鶕?jù)用例的不同，處理AI的工作量相當(dāng)大。這并不是從貨架上拿起一件東西然后運(yùn)行那么簡單?！?/p>

Curtis表示，在某些情況下，失敗的AI實(shí)驗(yàn)可能具有教育意義，并指引企業(yè)走向更好的項(xiàng)目，但是，許多企業(yè)在看到大部分AI概念驗(yàn)證項(xiàng)目失敗后，可能會停止實(shí)驗(yàn)。

“我合作過的許多金融服務(wù)公司都沒有風(fēng)險(xiǎn)文化，”他說。“如果某件事失敗了，而且他們在上面花了數(shù)百萬美元，他們可能就不會再做了?！?/p>

對于風(fēng)險(xiǎn)厭惡型公司而言，與啟動數(shù)十個概念驗(yàn)證項(xiàng)目并迅速失敗相比，事先做好規(guī)劃可能是更好的選擇。

“在實(shí)際開始之前，試著先消除一些風(fēng)險(xiǎn)，”Curtis說。“在我工作過的地方，內(nèi)部資源都是非常寶貴的。與其有37個概念驗(yàn)證項(xiàng)目，不如先專注于兩三個有意義的項(xiàng)目?！?/p>

從戰(zhàn)略需求出發(fā)

EchoStor的Clydesdale-Cotter建議CIO在啟動多個AI概念驗(yàn)證項(xiàng)目之前，仔細(xì)考慮戰(zhàn)略業(yè)務(wù)需求。與Stoyanovich一樣，他建議公司更專注于那些能帶來競爭優(yōu)勢的AI項(xiàng)目，而不是那些只能帶來小幅效率提升的項(xiàng)目。

他曾與一家公司合作，啟動了一個項(xiàng)目，利用大型語言模型(LLM)來協(xié)助處理內(nèi)部IT服務(wù)請求。通過AI回答許多IT服務(wù)查詢，該概念驗(yàn)證項(xiàng)目成功降低了運(yùn)營成本。

“客戶非常喜歡這個結(jié)果，”他說?！暗Y(jié)果卻是，‘要在你的數(shù)據(jù)中心運(yùn)行這個項(xiàng)目，僅就新的硬件和軟件要求而言，你可能就要花費(fèi)上百萬美元。’

“然后業(yè)務(wù)部門回來問，‘我們?yōu)槭裁匆ㄒ话偃f美元?我們可以雇五個人。’”