今日頭條的走紅帶動了“個性化推薦”的概念,自此之后,內容型的產品,個性化算法就逐漸從賣點變?yōu)闃伺洹?/p>
伴隨著“機器學習”,“大數(shù)據(jù)”之類的熱詞和概念,產品的檔次瞬間提高了很多。而各種推薦算法絕不僅僅是研發(fā)自己的任務,作為產品經理,必須深入到算法內部,參與算法的設計,以及結合內容對算法不斷“調教”,才能讓產品的推薦算法不斷完善,最終與自己的內容雙劍合璧。
本文以新聞產品為例,結合了我之前產品從零積累用戶的經驗,整理了作為PM需要了解的基本算法知識和實操。
算法的發(fā)展階段
個性化推薦不是產品首次發(fā)布時就能帶的,無論是基于用戶行為的個性化,還是基于內容相似度的個性化,都建立在大量的用戶數(shù)和內容的基礎上。產品發(fā)布之初,一般兩邊的數(shù)據(jù)都有殘缺,因此個性化推薦也無法開展。
所以在產品發(fā)展的初期,推薦內容一般采用更加聚合的“熱度算法”,顧名思義就是把熱點的內容優(yōu)先推薦給用戶。雖然無法做到基于興趣和習慣為每一個用戶做到精準化的推薦,但能覆蓋到大部分的內容需求,而且啟動成本比個性化推薦算法低太多。
因此內容型產品,推薦在發(fā)布初期用熱度算法實現(xiàn)冷啟動,積累了一定量級以后,才能逐漸開展個性化推薦算法。
熱度算法
1、熱度算法基本原理
需要了解的是,熱度算法也是需要不斷優(yōu)化去完善的,基本原理:
新聞熱度分 = 初始熱度分 + 用戶交互產生的熱度分 – 隨時間衰減的熱度分
Score = S0 + S(Users) – S(Time)
新聞入庫后,系統(tǒng)為之賦予一個初始熱度值,該新聞就進入了推薦列表進行排序;隨著新聞不斷被用戶點擊閱讀,收藏,分享等,這些用戶行為被視作幫助新聞提升熱度,系統(tǒng)需要為每一種新聞賦予熱度值;同時,新聞是有較強時效性的內容,因此新聞發(fā)布之后,熱度必須隨著新聞變得陳舊而衰減。
新聞的熱度就在這些算法的綜合作用下不斷變化,推薦列表的排序也就不斷變化。
2、初始熱度不應該一致
上面的算法為每一條入庫的新聞賦予了同樣的熱度值,但在現(xiàn)實使用后發(fā)現(xiàn)行不通,例如娛樂類別比文化類別受歡迎程度本身就高很多;或者突發(fā)了嚴重的災害或事故;或是奧運會期間,體育類別的關注度突然高了起來;而此時如果還是每條新聞給同樣的熱度就不能貼合實際了。
解決辦法就是把初始熱度設置為變量:
(1)按照新聞類別給予新聞不同的初始熱度,讓用戶關注度高的類別獲得更高的初始熱度分,從而獲得更多的曝光。
例如:
(2)對于重大事件的報道,如何讓它入庫時就有更高的熱度,我們采用的是熱詞匹配的方式。
即對大型新聞站點的頭條,Twitter熱點,競品的頭條做監(jiān)控和扒取,并將這批新聞的關鍵詞維護到熱詞庫并保持更新;每條新聞入庫的時候,讓新聞的關鍵詞去匹配熱詞庫,匹配度越高,就有越高的初始熱度分。
這樣處理后,重大事件發(fā)生時,Twitter和門戶網站的爭相報道會導致熱詞集中化,所有匹配到這些熱詞的新聞,即報道同樣事件的新聞,會獲得很高的初始熱度分。
3、用戶行為分規(guī)則不是固定不變的
解決了新聞入庫的初始分之后,接下來是新聞熱度分的變化。先要明確用戶的的哪些行為會提高新聞的熱度值,然后對這些行為賦予一定的得分規(guī)則。
例如對于單條新聞,用戶可以點擊閱讀(click),收藏(favor),分享(share),評論(comment)這四種行為,我們?yōu)椴煌男袨橘x予分數(shù),就能得到新聞的實時用戶行為分為:
S(Users) = 1*click + 5*favor + 10*comment + 20*share
這里對不同行為賦予的分數(shù)為1,5,10,20,但這個值不能是一成不變的;當用戶規(guī)模小的時候,各項事件都小,此時需要提高每個事件的行為分來提升用戶行為的影響力;當用戶規(guī)模變大時,行為分也應該慢慢降低,因此做內容運營時,應該對行為分不斷調整。
當然也有偷懶的辦法,那就是把用戶規(guī)??紤]進去,算固定用戶數(shù)的行為分,即:
S(Users) = (1*click + 5*favor + 10*comment + 20*share)/ DAU * N(固定數(shù))
這樣就保證了在不同用戶規(guī)模下,用戶行為產生的行為分基本穩(wěn)定。
4、熱度隨時間的衰減不是線性的
由于新聞的強時效性,已經發(fā)布的新聞的熱度值必須隨著時間流逝而衰減,并且趨勢應該是衰減越來越快,直至趨近于零熱度。換句話說,如果一條新聞要一直處于很靠前的位置,隨著時間的推移它必須要有越來越多的用戶來維持。
我們要求推薦給用戶的新聞必須是24h以內,所以理論上講,衰減算法必須保證在24h后新聞的熱度一定會衰減到很低,如果是線性衰減,當某些新聞突然有大量用戶閱讀,獲得很高的熱度分時,可能會持續(xù)排名靠前很久,讓用戶覺得內容更新過慢。
參考牛頓冷卻定律,時間衰減因子應該是一個類似于指數(shù)函數(shù):
T(Time) = e ^ (k*(T1 – T0))
其中T0 是新聞發(fā)布時間,T1 是當前時間。
而由于熱度的發(fā)展最終是一個無限趨近于零熱度的結果,最終的新聞的熱度算法也調整為:
Score = ( S0(Type) + S(Users)) / T(Time)
5、其他影響因素
很多新聞產品會給用戶“贊”,“踩”或“不在推薦此類”的選項,這些功能不僅適用于個性化推薦,對熱度算法也有一定的作用。
新聞的推送會造成大量的打開,在計算熱度的時候需要排除掉相關的影響。類似于這樣的因素,都會對熱度算法產生影響,因此熱度算法上線后,依然需要不斷地“調教”。
建議把所有的調整指標做成可配項,例如初始熱度分,行為事件分,衰減因子等,從而讓產品和運營能實時調整和驗證效果,達到最佳狀態(tài)。
基于內容的推薦算法
現(xiàn)在,你的內容產品順利度過了早期階段,擁有了幾萬甚至十幾萬級別的日活。這時候,你發(fā)現(xiàn)熱度算法導致用戶的閱讀內容過于集中,而個性化和長尾化的內容卻鮮有人看,看來是時候開展個性化推薦,讓用戶不僅能讀到大家都喜歡的內容,也能讀到只有自己感興趣的內容。
個性化推薦一般有兩種通用的解決方案,一是基于內容的相關推薦,二是基于用戶的協(xié)同過濾。
由于基于用戶的協(xié)同過濾對用戶規(guī)模有較高要求,因此更多使用基于內容的相關推薦來切入。
這里引入一個概念叫“新聞特征向量”來標識新聞的屬性,以及用來對比新聞之間的相似度。我們把新聞看作是所有關鍵詞(標簽)的合集,理論上,如果兩個新聞的關鍵詞越類似,那兩個新聞是相關內容的可能性更高。
新聞特征向量是由新聞包含的所有關鍵詞決定的。得到新聞特征向量的第一步,是要對新聞內容進行到關鍵詞級別的拆分。
1、分詞
分詞需要有兩個庫,即正常的詞庫和停用詞庫。正常詞庫類似于一本詞典,是把內容拆解為詞語的標準;停用詞庫則是在分詞過程中需要首先棄掉的內容。
停用詞主要是沒有實際含義的,例如“The”,“That”,“are”之類的助詞;表達兩個詞直接關系的,例如“behind”,“under”之類的介詞,以及很多常用的高頻但沒有偏向性的動詞,例如“think”“give”之類。顯而易見,這些詞語對于分詞沒有任何作用,因此在分詞前,先把這些內容剔除。
剩下對的內容則使用標準詞庫進行拆詞,拆詞方法包含正向匹配拆分,逆向匹配拆分,最少切分等常用算法,這里不做展開。
因為網絡世界熱詞頻出, 標準詞庫和停用詞庫也需要不斷更新和維護,例如“藍瘦香菇”,“套路滿滿”之類的詞語,可能對最終的效果會產生影響,如果不及時更新到詞庫里,算法就會“一臉懵逼”了。
因此,推薦在網上查找或購買那些能隨時更新的詞庫,各種語種都有。
2、關鍵詞指標
前面已經說過,新聞特征向量是該新聞的關鍵詞合集,那關鍵詞的重合度就是非常重要的衡量指標了。
那么問題來了,如果兩條新聞的關鍵詞重合度達到80%,是否說明兩條新聞有80%的相關性呢?
其實不是,舉個例子:
(1)一條“廣州摩拜單車投放量激增”的新聞,主要講摩拜單車的投放情況,這篇新聞里“摩拜單車”是一個非常高頻的詞匯,新聞在結尾有一句“最近廣州天氣不錯,大家可以騎單車出去散心”。因此“廣州天氣”這個關鍵詞也被收錄進了特征向量。
(2)另外一條新聞“廣州回南天即將結束,天氣持續(xù)好轉”,這篇新聞結尾有一句“天氣好轉,大家可以騎個摩拜單車出門溜溜啦”,新聞里面“廣州天氣”是非常高頻的詞匯,“摩拜單車”盡管被收錄,但只出現(xiàn)了一次。
這兩個新聞的關鍵詞雖然類似,講的卻是完全不同的內容,相關性很弱。如果只是看關鍵詞重合度,出現(xiàn)錯誤判斷的可能性就很高;所以特征向量還需要有第二個關鍵詞的指標,叫新聞內頻率,稱之為TF(Term Frequency),衡量每個關鍵詞在新聞里面是否高頻。
那么問題來了,如果兩條新聞的關鍵詞重合度高,新聞中關鍵詞的頻率也相差無幾,是否說明相關性很強呢?
理論上是的,但又存在另外一種情況:如果我們新聞庫里所有的新聞都是講廣州的,廣州天氣,廣州交通,廣州經濟,廣州體育等,他們都是講廣州相關的情況,關鍵詞都包含廣州,天河,越秀,海珠(廣州各區(qū))等,并且有著類似的頻率,因此算法很容易將它們判斷為強相關新聞。
從地域角度講,這種相關性確實很強,但從內容類別層面,其實沒有太多相關性,如果我是一個體育迷,你給我推薦天氣,交通之類的內容,就沒多大意義了。
因此引入第三個關鍵詞的指標,即關鍵詞在在所有文檔中出現(xiàn)的頻率的相反值,稱之為IDF(Inverse Document Frequency)。
為什么會是相反值?因為一個關鍵詞在某條新聞出現(xiàn)的頻率最大,在所有文檔中出現(xiàn)的頻率越小,該關鍵詞對這條新聞的特征標識作用越大。
這樣每個關鍵詞對新聞的作用就能被衡量出來即TFIDF=TF * IDF,這也就是著名的TF-IDF模型。
3、相關性算法
做完分詞和關鍵詞指標后,每一篇新聞的特征就能用關鍵詞的集合來標識了:
其中word0,1,2……n是新聞的所有關鍵詞,tfidf0,1,2……n則是每個關鍵詞的tfidf值。
兩個新聞的相似度就能通過重合的關鍵詞的tfidf值來衡量了。根據(jù)之前所學的知識,幾何中夾角余弦可以用來衡量兩個向量的方向的差異性,因此在我們的算法中使用夾角余弦來計算新聞關鍵詞的相似度。夾角越小,相似度越高。
有了關鍵詞和各關鍵詞的tfidf之后,就可以計算新聞的相似度了。假設兩條新聞的特征列表如下:
可以看到兩條新聞有 5 個重合的關鍵詞:廣州,摩拜單車,太陽,天河和市長,因此兩條新聞的相關性由這 5 個關鍵詞決定,計算方式如下:
得出兩條新聞的相關性最終值;用同樣的方法能得出一條新聞與新聞庫里面所有內容的相關性。
4、用戶特征
得到新聞特征以后,還需要得到用戶特征才能對兩者進行匹配和推薦,那怎么獲得用戶特征呢?
需要通過用戶的行為來獲得,用戶通過閱讀,點贊,評論,分享來表達自己對新聞內容的喜愛;跟熱度排名類似,我們對用戶的各種行為賦予一定的“喜愛分”,例如閱讀 1 分,點贊 2 分,評論 5 分等,這樣新聞特征跟用戶行為結合后,就能得到用戶的特征分。
而隨著用戶閱讀的新聞數(shù)越來越多,該用戶的標簽也越來越多,并且越發(fā)精準。
從而當我們拿到新聞的特征后,就能與用戶的關鍵詞列表做匹配,得出新聞與用戶閱讀特征的匹配度,做出個性化推薦。
5、其他運用
除了個性化推薦,基于內容的相關性算法能精準地給出一篇新聞的相關推薦列表,對相關閱讀的實現(xiàn)非常有意義。此外,標簽系統(tǒng)對新聞分類的實現(xiàn)和提升準確性,也有重要的意義。
6、優(yōu)缺點
基于內容的推薦算法有幾個明顯優(yōu)點:
而最主要的缺點就是確定性太強了,所有推薦的內容都是由用戶的閱讀歷史決定,所以沒辦法挖掘用戶的潛在興趣;也就是由于這一點,基于內容的推薦一般與其他推薦算法同時存在。
基于用戶的協(xié)同推薦
終于,經過團隊的努力,你的產品已經有了大量活躍用戶了,這時候你開始不滿足于現(xiàn)有的算法。雖然基于內容的推薦已經很精準了,但總是少了那么一點性感。因為你所有給用戶的內容都是基于他們的閱讀習慣推薦的,沒能給用戶“不期而遇”的感覺。
于是,你就開始做基于用戶的協(xié)同過濾了。
基于用戶的協(xié)同過濾推薦算法,簡單來講就是依據(jù)用戶A的閱讀喜好,為A找到與他興趣最接近的群體,所謂“人以群分”,然后把這個群體里其他人喜歡的,但是A沒有閱讀過的內容推薦給A。
舉例我是一個足球迷,系統(tǒng)找到與我類似的用戶都是足球的重度閱讀者,但與此同時,這些“足球群體”中有一部分人有看NBA新聞的習慣,系統(tǒng)就可能會給我推薦NBA內容,很可能我也對NBA也感興趣,這樣我在后臺的興趣圖譜就更完善了。
1、用戶群體劃分
做基于用戶的協(xié)同過濾,首先就要做用戶的劃分,可以從三方面著手:
(1)外部數(shù)據(jù)的借用
這里使用社交平臺數(shù)據(jù)的居多,現(xiàn)在產品的登錄體系一般都借用第三方社媒的登錄體系,如國外的Facebook、Twitter,國內的微信、微博,借用第三方賬戶的好處多多,例如降低門檻,方便傳播等,還能對個性化推薦起到重要作用。
因為第三方賬戶都是授權獲取部分用戶信息的,往往包括性別,年齡,工作甚至社交關系等,這些信息對用戶群劃分很有意義。
此外還有其他的一些數(shù)據(jù)也能借用,例如IP地址,手機語種等。
使用這些數(shù)據(jù),你很容易就能得到一個用戶是北京的還是上海的,是大學生還是創(chuàng)業(yè)者,并依據(jù)這些屬性做準確的大類劃分。
比如一篇行業(yè)投資分析出來后,“上海創(chuàng)業(yè)圈”這個群體80%的用戶都看過,那就可以推薦給剩下的20%。
(2)產品內主動詢問
常見在產品首次啟動的時候,彈框詢問用戶是男是女,職業(yè)等,這樣能對內容推薦的冷啟動提供一些幫助。但總體來說,性價比偏低,只能詢問兩三個問題并對用戶的推薦內容做非常粗略的劃分,同時要避免打擾到用戶;這種做法算是基于用戶個性化的雛形。
(3)對比用戶特征
前文已經提到過,新聞的特征加用戶的閱讀數(shù)據(jù)能得到用戶的特征,那就可以通過用戶特征的相似性來劃分群體。
2、內容推薦實施
我們結合一個很小的實例來了解用戶協(xié)同過濾的原理,包括如何計算用戶之間的相似性和如何做出推薦。
假設有A、B、C、D和E共 5 個用戶,他們各自閱讀了幾篇新聞并做出了閱讀,贊,收藏,評論,分享操作,我們對這幾種行為賦予的分數(shù)分別為 1 分、 2 分、 3 分、 4 分和 5 分,這樣用戶對每條新聞都有自己的得分,其中“-”表示未閱讀,得分如下:
接下來,我們需要給用戶E推薦4,5, 6 中的哪一篇?
用戶的閱讀特征向量由用戶所有的閱讀數(shù)據(jù)決定,我們以用戶E閱讀過的新聞數(shù)據(jù)作為參考標準,來找到與E最相似的用戶。
多維向量的距離需要通過歐幾里得距離公式來計算,數(shù)值越小,向量距離約接近。
算出結果:
因此得出結果:用戶D是與用戶E閱讀喜好最接近的那個,應該優(yōu)先歸為同一類用戶。最終結論根據(jù)用戶D的閱讀數(shù)據(jù),優(yōu)先推薦news4。
3、內容選取
我們通過閱讀特征向量把用戶做群體劃分后,接下來就是如何獲取新聞推薦的優(yōu)先級。
上面的例子里面只需要選出一個相似用戶,并且用戶A,B,C,D都只閱讀news4,5, 6 中的一條,所以比較簡單,但現(xiàn)實情況中,同一個用戶群體閱讀的新聞多且隨機,用戶交互更是錯綜復雜,如何得出推薦新聞的優(yōu)先級呢?
假設用戶X在系統(tǒng)歸屬于群體A,這個群體有n個用戶,分別為A0,A1,A2……An,這些用戶的集合用S(X,n)表示。
首先,我們需要把集合中所有用戶交互過(閱讀,評論等)的新聞提取出來
需要剔除掉用戶X已經看過的新聞,這些就不用再推薦了,剩下的新聞集合有m條,用N(X,m)來表示
對余下的新聞進行評分和相似度加權的計算,計算包括兩部分,一是用戶X與S(X,n) 每一個用戶的相似性,二是每個用戶對新聞集N(X,m)中每條新聞的喜好,這樣就能得到每條新聞相對于用戶X的最終得分
將N(X,m)中的新聞列表按照得分高低的順序推薦給用戶
4、優(yōu)缺點
相比于基于內容的推薦算法,基于用戶的協(xié)同過濾同樣優(yōu)缺點明顯。
優(yōu)點主要在于對分詞等算法的精確度無太大要求,推薦都是基于用戶的行為數(shù)據(jù)去不斷學習和完善;同時能發(fā)現(xiàn)用戶的潛在閱讀興趣,能“制造驚喜”。
而缺點則是啟動的門檻高,用戶量不夠時幾乎無法開展;并且學習量不夠時推薦結果較差。
總結
關于個性化推薦的算法,在網上有很多資料,也有很多其他的實現(xiàn)方法,因為筆者了解也有限,所以也不敢描述。如有興趣可以自行搜索。
熱度和個性化推薦算法,作為大部分內容型產品的核心賣點之一,依然在不斷地進化和完善中。沒有哪種算法是完美的,甚至沒有哪種算法是一定優(yōu)于其他的,在實際使用中,很多產品都是多算法結合去做好內容推薦。
而產品經理在算法的實施中,絕對不是一句“我們要做個性化推薦”就完事的,必須深入算法內部,對算法的原理做深入了解,然后結合自己的產品特征來部署和優(yōu)化。
因此我站在產品經理的角度,整理了這一篇初步的算法相關的介紹,如有對文中內容感興趣的,歡迎探討!如有描述不當之初,敬請指正,感激不盡!
最后,需要對我的團隊表示感謝,飛哥在算法的研究中打了頭陣并給出了細致的分享,宗榮對算法進行了無數(shù)輪的調整和優(yōu)化,凱華在關鍵詞的部署和效果驗證中付出了很多心血……喜歡那些日子里大家一起從零開始學習和實現(xiàn)算法,讓推薦效果越來越好。
關于作者:盧爭超 PMCAFF會員 前UC海外產品運營經理,前微信支付海外產品經理,負責UC瀏覽器、微信支付等產品的國際化。