CIO衡量AI價(jià)值時(shí)需要知道的要點(diǎn)
一方面,有大量信息表明AI項(xiàng)目的失敗率很高,另一方面,同樣有大量調(diào)查顯示,即便不是大多數(shù),也有許多企業(yè)已經(jīng)從AI投資中獲得了正向商業(yè)效益和投資回報(bào)。
例如,IBM在5月份發(fā)布的一項(xiàng)針對(duì)2000名CEO的全球研究顯示,只有25%的AI項(xiàng)目實(shí)現(xiàn)了預(yù)期的投資回報(bào),只有16%的項(xiàng)目在企業(yè)范圍內(nèi)得到了推廣,另一項(xiàng)由Wakefield Research代表Informatica公司開(kāi)展的研究發(fā)現(xiàn),在600名企業(yè)領(lǐng)導(dǎo)者中,有67%的人表示,他們甚至無(wú)法將一半的GenAI試點(diǎn)項(xiàng)目成功轉(zhuǎn)化為實(shí)際生產(chǎn)應(yīng)用,97%的人表示,他們?cè)谡故驹圏c(diǎn)項(xiàng)目的商業(yè)價(jià)值方面遇到了困難,但其他調(diào)查結(jié)果似乎與之相反。
4月份,Enterprise Strategy Group對(duì)1900名企業(yè)和IT領(lǐng)導(dǎo)者進(jìn)行了調(diào)查,在那些已經(jīng)部署了AI解決方案的受訪者中,92%的人表示,他們的投資已經(jīng)實(shí)現(xiàn)了回報(bào)。在1200多名已經(jīng)量化其GenAI項(xiàng)目投資回報(bào)率的受訪者中,通過(guò)增加收入、降低成本或兩者兼而有之,平均回報(bào)率為41%。
還有一些調(diào)查結(jié)果同時(shí)呈現(xiàn)了上述兩種情況。2月份,IDC代表聯(lián)想集團(tuán)對(duì)近3000名IT和企業(yè)決策者進(jìn)行了一項(xiàng)調(diào)查,結(jié)果顯示,68%的受訪者表示,他們的AI項(xiàng)目達(dá)到了預(yù)期,另有26%的受訪者表示,他們的項(xiàng)目超出了預(yù)期,但在33個(gè)AI項(xiàng)目中,只有4個(gè)項(xiàng)目投入了實(shí)際生產(chǎn),失敗率高達(dá)88%。
那么,實(shí)際發(fā)生的情況到底是怎樣的呢?問(wèn)題在于我們?nèi)绾魏饬緼I項(xiàng)目的成功或失敗。由于AI正迅速成為CIO的首要任務(wù),那么,對(duì)于CIO來(lái)說(shuō),了解AI的價(jià)值所在、如何衡量這一價(jià)值,以及哪些指標(biāo)對(duì)公司有意義,就顯得至關(guān)重要。在業(yè)務(wù)顛覆方面,數(shù)字并不總是決定性的。
試點(diǎn)項(xiàng)目本來(lái)就有失敗的可能性
讓我們先從引起廣泛關(guān)注的“大型AI項(xiàng)目失敗”這一數(shù)據(jù)點(diǎn)說(shuō)起,其隱含的意思是,這是一件壞事,但概念驗(yàn)證和試點(diǎn)項(xiàng)目本就不應(yīng)該每次都成功,它們的目標(biāo)是淘汰那些前景最差的想法,以便企業(yè)能夠?qū)W⒂谧钣星熬暗南敕ā8呤÷室馕吨髽I(yè)正在進(jìn)行試驗(yàn),嘗試多種不同的可能性,因此,失敗率高是一件好事。
在早期階段失敗的項(xiàng)目越多,項(xiàng)目投入全面生產(chǎn)時(shí),就越有可能為企業(yè)帶來(lái)正向的商業(yè)價(jià)值,而且,企業(yè)通過(guò)特定項(xiàng)目取得的成功越多,他們就越有可能進(jìn)行更多試驗(yàn),找到更多創(chuàng)造價(jià)值的機(jī)會(huì)。
事實(shí)上,如果一家企業(yè)的所有概念驗(yàn)證和試點(diǎn)項(xiàng)目都投入了實(shí)際生產(chǎn),那可能只意味著該企業(yè)在AI創(chuàng)意方面不夠創(chuàng)新、不夠大膽、不夠勇于嘗試。無(wú)論董事會(huì)和其他高管、業(yè)務(wù)部門負(fù)責(zé)人、員工、合作伙伴或客戶帶來(lái)多大壓力,將投入實(shí)際生產(chǎn)的項(xiàng)目數(shù)量作為衡量成功的標(biāo)準(zhǔn),都不是一個(gè)好方法。
因此,盡管大多數(shù)試點(diǎn)項(xiàng)目失敗,但企業(yè)仍報(bào)告正向投資回報(bào)率,這并不矛盾,這不是漏洞,而是特點(diǎn),目標(biāo)是讓合適的AI項(xiàng)目投入生產(chǎn),而不是最多的項(xiàng)目。醫(yī)療運(yùn)營(yíng)公司UST Healthproof的首席AI架構(gòu)師羅莎·波卡雷爾(Rosha Pokharel)表示,企業(yè)能犯的最大錯(cuò)誤是跳過(guò)試點(diǎn)項(xiàng)目,或未對(duì)概念驗(yàn)證結(jié)果進(jìn)行充分審查,直接進(jìn)入全面部署階段。
她說(shuō):“概念驗(yàn)證通常只能處理幾百個(gè)數(shù)據(jù)點(diǎn),但是,當(dāng)我們將其推廣到實(shí)際生產(chǎn)中時(shí),我們需要證明,在處理數(shù)百萬(wàn)個(gè)數(shù)據(jù)點(diǎn)時(shí),它確實(shí)能夠發(fā)揮作用,并達(dá)到符合業(yè)務(wù)標(biāo)準(zhǔn)和用戶需求的準(zhǔn)確度水平?!?/p>
如果數(shù)據(jù)問(wèn)題得不到解決,項(xiàng)目就會(huì)失敗,企業(yè)就會(huì)浪費(fèi)將項(xiàng)目規(guī)模擴(kuò)大所投入的所有資金,同樣,如果AI設(shè)計(jì)人員在概念驗(yàn)證中未充分考慮用戶需求,而他們將其大規(guī)模推廣后卻無(wú)人使用,那也會(huì)造成巨大成本。
她說(shuō),企業(yè)在衡量投資回報(bào)率時(shí)也需要謹(jǐn)慎?!拔覀儾粦?yīng)將概念驗(yàn)證階段的投資納入考量,”她說(shuō),“概念驗(yàn)證階段不是計(jì)算投資回報(bào)率的地方,它是快速試錯(cuò)區(qū),我們想要了解哪些是可行、可靠、可用且有價(jià)值的,以及哪些可以擴(kuò)大規(guī)模,這是概念驗(yàn)證的目標(biāo),其預(yù)算來(lái)自研發(fā)部門或創(chuàng)新實(shí)驗(yàn)室?!?/p>
她說(shuō),至少在她工作過(guò)的公司是這樣做的,但她并不是唯一一個(gè)相信快速試驗(yàn)和及早止損的人。
PagerDuty是一家事件響應(yīng)公司,該公司已在其內(nèi)部運(yùn)營(yíng)及其產(chǎn)品和服務(wù)中部署了GenAI和智能體,該公司CIO埃里克·約翰遜(Eric Johnson)表示:“我們的口號(hào)是‘快速失敗’,我們會(huì)啟動(dòng)項(xiàng)目,對(duì)于那些運(yùn)行良好的項(xiàng)目——很好,我們繼續(xù)推進(jìn)?!?/p>
但也有一些想法行不通。他說(shuō):“很多時(shí)候,是我們選擇了糟糕的用例,或者我們沒(méi)有充分理解構(gòu)建項(xiàng)目所需的工作量,或者項(xiàng)目沒(méi)有產(chǎn)生巨大影響?!?/p>
自建還是購(gòu)買
為了降低試點(diǎn)項(xiàng)目成本,PagerDuty決定不從頭開(kāi)始構(gòu)建技術(shù),事實(shí)上,商業(yè)解決方案通常提供免費(fèi)試用,而不是預(yù)先收費(fèi),或者,免費(fèi)試用可以協(xié)商。
約翰遜說(shuō):“如果我們想推出一個(gè)新的智能體,我們會(huì)說(shuō),在它真正證明其價(jià)值之前,我們不會(huì)付費(fèi)。許多供應(yīng)商都愿意進(jìn)行這樣的對(duì)話,因?yàn)樗麄冎溃绻麄儫o(wú)法證明其價(jià)值,你就不會(huì)繼續(xù)續(xù)簽合同。因此,他們希望確保你獲得預(yù)期的價(jià)值?!?/p>
另一家沒(méi)有從頭開(kāi)始構(gòu)建技術(shù),而是在商業(yè)產(chǎn)品中立即發(fā)現(xiàn)價(jià)值的公司是托管公司Flexential,該公司首席運(yùn)營(yíng)官瑞安·馬洛里(Ryan Mallory)表示:“我使用的是符合我們AI政策的現(xiàn)成服務(wù),這意味著它們不會(huì)對(duì)公共模型進(jìn)行訓(xùn)練?!?/p>
此外,使用現(xiàn)有產(chǎn)品的AI功能(這些功能是成熟工作流程的一部分),可以更輕松地計(jì)算投資回報(bào)率,因?yàn)橐呀?jīng)有一個(gè)現(xiàn)有的基準(zhǔn)可以進(jìn)行衡量,尤其是在客戶支持或銷售方面。
馬洛里說(shuō):“我們所做的一切都為我們帶來(lái)了直接的投資回報(bào),達(dá)到了我們的預(yù)期,甚至超出了預(yù)期。”
特別是,大多數(shù)新的AI工具都是該公司現(xiàn)有技術(shù)堆棧的插件模塊,這使得它們非常容易部署和擴(kuò)展。他補(bǔ)充道:“我們最終會(huì)開(kāi)發(fā)出自己的模型?!薄拔覀兛赡苓€需要18個(gè)月的時(shí)間。”
關(guān)鍵指標(biāo):客戶
當(dāng)然,衡量投資回報(bào)率的最佳指標(biāo)是對(duì)底線的影響,然而,當(dāng)有多個(gè)AI項(xiàng)目以及許多其他計(jì)劃正在進(jìn)行,加上更廣泛的商業(yè)環(huán)境和經(jīng)濟(jì)發(fā)生變化時(shí),就很難厘清任何一個(gè)單獨(dú)項(xiàng)目的影響。
根據(jù)麥肯錫3月份的一份報(bào)告,只有17%的企業(yè)表示,其稅息折舊及攤銷前利潤(rùn)(EBIDA)的5%或更多歸因于GenAI,而超過(guò)80%的企業(yè)表示,GenAI沒(méi)有產(chǎn)生實(shí)際影響,因此,企業(yè)不得不使用替代指標(biāo),最佳指標(biāo)是什么?客戶滿意度、留存率和口碑推薦。
例如,F(xiàn)lexential已經(jīng)在多個(gè)銷售和客戶支持職能中部署了GenAI。馬洛里說(shuō):“這絕對(duì)是與底線息息相關(guān)的,我們看到客戶流失率有所下降。當(dāng)客戶滿意度提高,你能夠更快地滿足客戶需求、要求或解決問(wèn)題時(shí),客戶就不太可能離開(kāi)?!?/p>
而且,自從該公司在其工作流程中添加了AI驅(qū)動(dòng)的客戶支持智能體后,響應(yīng)時(shí)間平均縮短了20%,解決工單所需的平均時(shí)間增加了25%。
他們并不是唯一一家在客戶滿意度中發(fā)現(xiàn)AI價(jià)值的公司。根據(jù)IBM的調(diào)查,65%的CEO表示,建立和維持客戶信任對(duì)其企業(yè)的成功產(chǎn)生的影響,將超過(guò)任何特定產(chǎn)品和服務(wù)功能,而且,在所有行業(yè)中,客戶忠誠(chéng)度都是推動(dòng)投資回報(bào)率的關(guān)鍵差異化因素。
降低成本
但從短期來(lái)看,對(duì)于許多企業(yè)來(lái)說(shuō),降低成本是快速制勝之道,也是早期采用者(根據(jù)企業(yè)戰(zhàn)略集團(tuán)的調(diào)查,51%的早期采用者將其列為主要優(yōu)先事項(xiàng))的主要優(yōu)先事項(xiàng),而且,這一舉措正在奏效:88%的企業(yè)表示,他們已經(jīng)看到了效率方面的顯著提升。
波士頓咨詢集團(tuán)(Boston Consulting Group)高級(jí)合伙人戴維·馬丁(David Martin)表示:“由于各個(gè)領(lǐng)域都存在諸多壓力,目前一些客戶尤其關(guān)注成本問(wèn)題,他們確實(shí)有義務(wù)為股東創(chuàng)造近期價(jià)值,同時(shí)為未來(lái)進(jìn)行投資。”
他說(shuō),企業(yè)可以在許多領(lǐng)域找到提高生產(chǎn)力的方法,并將其直接轉(zhuǎn)化為貨幣價(jià)值。
馬丁說(shuō):“以客戶服務(wù)為例,如果你能轉(zhuǎn)移更多電話,讓客服人員更快地完成工作,或者如果你向第三方支付呼叫中心費(fèi)用,那么這就能立即轉(zhuǎn)化為金錢?!?/p>
根據(jù)波士頓咨詢集團(tuán)的調(diào)查,47%的員工表示,GenAI每天為他們節(jié)省了一個(gè)多小時(shí)的時(shí)間,而且大多數(shù)人利用這段時(shí)間完成了更多工作,此外,44%的員工表示,他們從事戰(zhàn)略性任務(wù),34%的員工追求職業(yè)發(fā)展,但馬丁表示,許多企業(yè)同時(shí)做到了這兩點(diǎn),在降低成本和尋找生產(chǎn)力效益的同時(shí),也為未來(lái)進(jìn)行投資。他說(shuō):“他們確實(shí)在認(rèn)真思考AI對(duì)企業(yè)的影響。”
業(yè)務(wù)增長(zhǎng)
企業(yè)在削減成本時(shí)所能獲得的價(jià)值是有限的,但如果企業(yè)能夠找到創(chuàng)造新業(yè)務(wù)或進(jìn)入新市場(chǎng)的方法,那么其價(jià)值幾乎是無(wú)上限的。
在Enterprise Strategy Group的調(diào)查中,企業(yè)采用GenAI的第三大驅(qū)動(dòng)力是改善創(chuàng)新成果。事實(shí)上,84%的企業(yè)表示,AI已經(jīng)在加快他們的創(chuàng)新步伐,這可以帶來(lái)新的商業(yè)機(jī)會(huì),在某些情況下,即使在短期內(nèi),這些機(jī)會(huì)也是可以量化的。例如,F(xiàn)lexential能夠在公司網(wǎng)站上設(shè)置與特定類型內(nèi)容相關(guān)的AI聊天機(jī)器人,從而獲得更多潛在客戶。
馬洛里說(shuō):“我們看到,為潛在客戶預(yù)訂的會(huì)議數(shù)量大約增加了五倍,然后,我們將其與機(jī)會(huì)轉(zhuǎn)化率和成交率掛鉤,因此,我們擁有非??闪炕臄?shù)據(jù),而且這些數(shù)據(jù)對(duì)我們的團(tuán)隊(duì)非常有效?!?/p>
Flexential還迅速為其銷售人員推出了AI銷售支持功能,銷售人員現(xiàn)在可以訪問(wèn)會(huì)議記錄、收入情報(bào)以及他們開(kāi)展新業(yè)務(wù)所需的其他資源。
他說(shuō):“當(dāng)我們的銷售人員掌握正確的信息時(shí),他們的生產(chǎn)力就會(huì)更高。”而且,當(dāng)銷售人員能夠利用AI更好地預(yù)測(cè)如何為客戶服務(wù)時(shí),成交率也會(huì)更高。
畢馬威(KPMG)美國(guó)客戶和市場(chǎng)全國(guó)管理負(fù)責(zé)人托德·洛爾(Todd Lohr)表示,總體而言,更多企業(yè)應(yīng)該關(guān)注潛在增長(zhǎng)以及AI驅(qū)動(dòng)的顛覆風(fēng)險(xiǎn)。
他說(shuō):“AI正在沖擊你的商業(yè)模式,它正在顛覆你的業(yè)務(wù)和進(jìn)入壁壘,從長(zhǎng)遠(yuǎn)來(lái)看,為了企業(yè)的可持續(xù)性、成功和可行性,你應(yīng)該從商業(yè)模式的角度來(lái)思考這個(gè)問(wèn)題,而不是從運(yùn)營(yíng)模式的角度?!?/p>
根據(jù)IBM的調(diào)查,68%的CEO表示,AI正在改變他們認(rèn)為的核心業(yè)務(wù),這些變化不一定能立即體現(xiàn)在投資回報(bào)率上,但隨著商業(yè)模式的變化,它們對(duì)企業(yè)的長(zhǎng)期生存至關(guān)重要,而且,其中許多變化都是由AI引起的,因此,61%的CEO表示,競(jìng)爭(zhēng)優(yōu)勢(shì)取決于誰(shuí)擁有最先進(jìn)的GenAI,這也就不足為奇了。
洛爾說(shuō):“我們的客戶不再問(wèn)AI是否會(huì)改變他們的業(yè)務(wù),他們問(wèn)的是,AI的部署速度能有多快,這不僅僅是技術(shù)采用的問(wèn)題,而是根本性的業(yè)務(wù)轉(zhuǎn)型問(wèn)題,需要重新構(gòu)想工作的完成方式和衡量方式?!?/p>
接受不確定性
KeyBanc資本市場(chǎng)股權(quán)研究分析師杰克遜·阿德(Jackson Ader)表示,事實(shí)上,首席信息官通常不知道他們的AI項(xiàng)目的投資回報(bào)率是多少。在他對(duì)CIO的研究中,他發(fā)現(xiàn),人們對(duì)投資回報(bào)率的預(yù)期各不相同。
他說(shuō):“我認(rèn)為,CIO不會(huì)在AI上花費(fèi)數(shù)百萬(wàn)美元,卻只期望獲得個(gè)位數(shù)的投資回報(bào)率,我認(rèn)為更有可能發(fā)生的情況是,我們?nèi)蕴幱谠囼?yàn)階段?!?/p>