小寶：今天分享的是搜索推薦系統(tǒng)架構(gòu)的演變，包括從最早的導(dǎo)購時(shí)期、到后面的電商轉(zhuǎn)型、再到現(xiàn)在品質(zhì)升級后個(gè)性化需求日益增加，整個(gè)過程是怎么應(yīng)對的，以及架構(gòu)上的演變和思考。在推薦搜索架構(gòu)的探索中，一路遇到不少的挑戰(zhàn)，希望業(yè)界同仁能有所借鑒。

51CTO：請介紹一下蘑菇街主要業(yè)務(wù)以及研發(fā)團(tuán)隊(duì)。

小寶：蘑菇街是面向年輕女性的時(shí)尚電商消費(fèi)平臺，通過整合現(xiàn)在已有的資源，包括電商、社區(qū)、紅人、內(nèi)容等等，來服務(wù)于不同的女性用戶。在最近消費(fèi)升級的潮流中，蘑菇街也做了很多創(chuàng)新產(chǎn)品，比如蘑菇優(yōu)選、直播購物、紅人導(dǎo)購等等，希望能為年輕女性提供沉浸式的購物體驗(yàn)。

圍繞蘑菇街的各條業(yè)務(wù)線，研發(fā)團(tuán)隊(duì)的架構(gòu)也有完整的建設(shè)，以更好的支持集團(tuán)業(yè)務(wù)發(fā)展。從最底層的平臺運(yùn)維技術(shù)、中間件技術(shù)，到上游的電商基礎(chǔ)團(tuán)隊(duì)，再到電商業(yè)務(wù)、導(dǎo)購業(yè)務(wù)團(tuán)隊(duì)、直播業(yè)務(wù)團(tuán)隊(duì)、無線團(tuán)隊(duì)等。我們部門是數(shù)據(jù)技術(shù)部門，負(fù)責(zé)搜索、推薦、廣告、流量業(yè)務(wù)以及對應(yīng)的策略優(yōu)化，部門定位是希望利用數(shù)據(jù)提升效率，包括通過對大數(shù)據(jù)的挖掘，提升商家廣告的投放效率，排序流量的分配效率等，以更好支撐業(yè)務(wù)發(fā)展。

51CTO：探索搜索架構(gòu)演變中，數(shù)據(jù)中心是必不可少的，存儲也是非常關(guān)鍵的，這方面的經(jīng)驗(yàn)請您分享一下。

小寶：數(shù)據(jù)中心這塊主要從整個(gè)日志埋點(diǎn)采集處理鏈路上說一下。重點(diǎn)介紹一下埋點(diǎn)采集這部分，我們部門設(shè)計(jì)了ACM埋點(diǎn)規(guī)則，細(xì)化到算法實(shí)驗(yàn)，可以精確跟蹤算法后的每一個(gè)實(shí)驗(yàn)。通過采集系統(tǒng)、采集數(shù)據(jù)倉庫，以及后面一系列的數(shù)據(jù)清洗，包括提供支持報(bào)表，能夠?qū)λ惴ìF(xiàn)場效果實(shí)時(shí)精確觀測。數(shù)據(jù)還需要支持算法能夠靈活地進(jìn)行對比實(shí)驗(yàn)，蘑菇街有A/B Testing的系統(tǒng)，包括提供配置化工具，支持算法能夠便捷地做測試和效果的評估。

存儲主要涉及在線搜索推薦系統(tǒng)的數(shù)據(jù)。推薦引擎的存儲，最早是基于開源的Redis去做的，功能上比較簡單，從當(dāng)時(shí)場景、效果看，還是能解決問題的。搜索索引的存儲最早也是依賴一些開源社區(qū)的框架Solr，后面整個(gè)業(yè)務(wù)慢慢發(fā)展后，框架已經(jīng)無法蘑菇街的需求，因此，后面團(tuán)隊(duì)重新研發(fā)搜索推薦系統(tǒng)。

51CTO：在應(yīng)對突發(fā)流量過程中做了哪些探索？積累了哪些經(jīng)驗(yàn)？

小寶：對于電商網(wǎng)站來說，突發(fā)流量通常發(fā)生在大促期間，像618、雙十一、雙十二等等。要應(yīng)對突發(fā)流量，首先需要梳理現(xiàn)有業(yè)務(wù)，因?yàn)殡娚虡I(yè)務(wù)還是非常復(fù)雜的，鏈路也比較長，比如詳情頁、加購、下單、支付等。需要對復(fù)雜業(yè)務(wù)進(jìn)行合理的拆分，我們現(xiàn)在內(nèi)部對每塊業(yè)務(wù)做了比較好的服務(wù)化拆分和梳理，各系統(tǒng)間的職責(zé)也比較清晰，面對突發(fā)流量也能比較好的去應(yīng)對。

另外，大促期間的突發(fā)流量是不可避免的，因此，需要提前預(yù)估并做好預(yù)防工作。我們的研發(fā)團(tuán)隊(duì)在這塊做了很多工作，包括現(xiàn)有的全鏈路壓測系統(tǒng)和大促前的壓測演練，能夠提前根據(jù)業(yè)務(wù)量預(yù)估流量，按量級模擬現(xiàn)場真實(shí)程度去做壓測，按照近幾次的大促經(jīng)驗(yàn)來看，全鏈路壓測系統(tǒng)還是能比較好地做好預(yù)估容量，避免突發(fā)流量造成局部服務(wù)不可用而影響全局。

但是，大促期間即使做了周全的壓測仍有突發(fā)情況的發(fā)生，所以要有靈活的容災(zāi)降級策略，避免突發(fā)流量拖垮核心業(yè)務(wù)。這部分目前各業(yè)務(wù)也都做得比較好，也有對應(yīng)的開關(guān)系統(tǒng)等支持，在全鏈路壓測期間也會做相應(yīng)的演練。

最后，我們也有通用的監(jiān)控報(bào)警系統(tǒng)，目前大部分業(yè)務(wù)也都接入了，確保故障能夠第一時(shí)間被發(fā)現(xiàn)和處理。

51CTO：結(jié)合您的經(jīng)驗(yàn)，您認(rèn)為搜索推薦系統(tǒng)架構(gòu)的構(gòu)建過程中，有哪些問題是需要重點(diǎn)關(guān)注的？

小寶：前期的重點(diǎn)是系統(tǒng)能夠快速地支持業(yè)務(wù)，這時(shí)候，不需要花費(fèi)大量時(shí)間構(gòu)建復(fù)雜的系統(tǒng)；業(yè)務(wù)需求滿足后，需要考慮如何更好地提升算法效率,滿足個(gè)性化的排序需求；系統(tǒng)和業(yè)務(wù)變得復(fù)雜后，越來越多的算法同學(xué)加入進(jìn)來，這時(shí)候需要考慮如何合理分工、如何讓算法專注于做模型訓(xùn)練/排序調(diào)優(yōu)，如何提升開發(fā)人員的效率，以及提升整個(gè)線上的排序效果。

51CTO：未來的搜索推薦系統(tǒng)您認(rèn)為會發(fā)生怎樣的變化？

小寶：變化主要源于業(yè)務(wù)、算法的變化。業(yè)務(wù)變化源于集團(tuán)的戰(zhàn)略，業(yè)務(wù)變化帶來的挑戰(zhàn)是整個(gè)體系的計(jì)算量和存儲量變得更復(fù)雜和多變；算法的變更則要求我們能更加了解算法流程，從而在工程上去支持算法變現(xiàn)（比如深度學(xué)習(xí)框架的應(yīng)用）。不論哪個(gè)變化，對工程師來說，都需要去關(guān)注業(yè)務(wù)，關(guān)注業(yè)界前言技術(shù)，并提前做好相應(yīng)的技術(shù)儲備。