上海交通大學(xué)計算機專業(yè)文獻綜述范文

序言

 

隨著社會與科技的發(fā)展，互聯(lián)網(wǎng)給我們提供了大量的信息，我們面臨著嚴峻的信息過載問題，快速尋找對自己有用或自己感興趣的內(nèi)容是很困難的，互聯(lián)網(wǎng)把我們帶進了信息爆炸的時代，人們的娛樂生活日趨豐富，各種視頻，包括電視節(jié)目以及各種娛樂視頻等都存在在網(wǎng)絡(luò)上，即面對大量復(fù)雜多變的信息，對于電影愛好者來說，其利用網(wǎng)絡(luò)在浩如煙海的電影數(shù)據(jù)庫中找到自己喜歡的電影并容易。電影愛好者往往會參考其他人的觀影意見來對一部電影進行判斷，從而決定是否觀看或者下載該電影。因此個性化推薦系統(tǒng)的研究變得越來越有價值。

個性化推薦技術(shù)實際上本質(zhì)是一種信息過濾技術(shù)。它建立用戶和信息之間的聯(lián)系，幫助用戶找到那些對自己游泳或自己所感興趣的信息，同時也讓信息有機會推送給適合它消費的用戶。其基本工作原理時根據(jù)用戶的行為數(shù)據(jù)，例如用戶對某部電影的量化評分數(shù)據(jù)或非量化的評論數(shù)據(jù)，分析用戶的習(xí)慣、愛好，然后有針對的向用戶推薦其可能感興趣的內(nèi)容，目前廣泛應(yīng)用在如電子商務(wù)、電視、電影和視頻、音樂、社交網(wǎng)絡(luò)等領(lǐng)域的眾多互聯(lián)網(wǎng)領(lǐng)域。

亞馬遜是目前非常著名的電子商務(wù)網(wǎng)站，也是個性化推薦系統(tǒng)最早的實踐者和推廣者，其主要應(yīng)用是個性化推薦列表和相關(guān)商品推薦列表。個性化推薦列表是推薦你當(dāng)前瀏覽的商品的相關(guān)同類商品，例如你在想看一部金童的小說，該網(wǎng)站可能會給你推薦金庸的另一部小說；相關(guān)商品推薦列表是向你推薦你當(dāng)前瀏覽的商品的相關(guān)非同類商品，如你正在瀏覽一件外套，它會向你推薦和這件外套樣式搭配的鞋子，或者提供一個給予一些優(yōu)惠的打包購買服務(wù)。

綜上，個性化推薦系統(tǒng)在互聯(lián)網(wǎng)領(lǐng)域發(fā)揮者越來越大的作用，它正在影響著互聯(lián)網(wǎng)的發(fā)展，同時為用戶和企業(yè)創(chuàng)造著價值。

 

 

課題研究內(nèi)容主要包括如下幾部分：

1、概述網(wǎng)絡(luò)電影推薦系統(tǒng)的研究背景和現(xiàn)狀，闡述中外研究成果及論文整體的思路和結(jié)構(gòu)；

2、簡述論文研究的背景知識，各種推薦算法的介紹，包括基于用戶的協(xié)同過濾算法，基于物品的協(xié)同過濾算法，基于內(nèi)容的推薦算法，基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦算法等。

3、概述圖數(shù)據(jù)庫，介紹neo4j圖數(shù)據(jù)庫及其特點。

4、介紹電影推薦系統(tǒng)的整體架構(gòu)，描繪整體架構(gòu)圖。介紹本推薦系統(tǒng)的前臺界面設(shè)計和后臺數(shù)據(jù)庫及推薦算法在整個推薦系統(tǒng)的應(yīng)用流程。

5、對個性化推薦系統(tǒng)研究工作個全面總結(jié)和對研究前景的展望。

 

本課題擬解決的關(guān)鍵問題如下：

1、對比基于用戶的協(xié)同算法和基于物品的協(xié)同算法，幫助推薦系統(tǒng)的功能設(shè)計與實現(xiàn)；

2、如何利用圖數(shù)據(jù)庫neo4j，快速的查找和操作，展示數(shù)據(jù)源和推薦結(jié)果，從而更好的為推薦結(jié)果做出解釋。 

 

相關(guān)知識點如下：

1、圖數(shù)據(jù)庫概述

圖形數(shù)據(jù)庫是一種非關(guān)系型數(shù)據(jù)庫，它應(yīng)用圖形理論存儲實體之間的關(guān)系信息。最常見的一個例子，就是社會網(wǎng)絡(luò)中人與人之間的關(guān)系。關(guān)系型數(shù)據(jù)庫用于存儲“關(guān)系型”數(shù)據(jù)的效果并不好，其查詢復(fù)雜、緩慢、超出預(yù)期，而圖形數(shù)據(jù)庫的獨特設(shè)計恰恰彌補了這個缺陷。

本文實現(xiàn)的系統(tǒng)是基于圖數(shù)據(jù)庫（graph database）實現(xiàn)的，在計算機領(lǐng)域，圖數(shù)據(jù)庫是一種使用圖這種結(jié)構(gòu)來存儲和查詢數(shù)據(jù)，這里的圖是指數(shù)據(jù)結(jié)構(gòu)和算法里面的圖，而不是常見的圖形圖像，其基本存儲單元為：節(jié)點、關(guān)系（也可以稱作邊）、屬性。圖數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫的一個明顯的區(qū)別是使用關(guān)系來連接各個節(jié)點數(shù)據(jù)，而不是外鍵。

neo4j 可能是當(dāng)下人氣最高的圖形數(shù)據(jù)庫。 neo4j 在設(shè)計上主要考慮到 java 應(yīng)用程序的實

際需求，但它同時也支持 python。 neo4j 屬于開源項目，共有 gplv3 社區(qū)版、高級版、企業(yè)

版三種版本;后兩者都以 agplv3 商業(yè)許可為基礎(chǔ)。

 

2、相似度計算

相似度計算是通過距離來很亮兩個對象之間的相似程度，經(jīng)典的相似度計算方法有歐式距離、馬氏距離、曼哈頓距離，jacccard系數(shù)、余弦相似度、皮爾遜相關(guān)系數(shù)等，但在推薦系統(tǒng)領(lǐng)域，常見的主要是歐式距離、余弦相似度以及皮爾遜相關(guān)系數(shù)。

2.1歐氏距離

歐式距離也叫作歐幾里得距離，定義為在歐幾里得空間中的兩個點x=( )和y=( )之間的距離，如式：

 

計算歐式距離時，如果兩者完全相似，即兩個點是重合的，距離為0，如果兩者距離很遠，即相似度很低。不過一般在使用時我們用[0,1]來表示相似度，0表示幾乎不相似，1表示非常相似，所以可以用  來轉(zhuǎn)換。

3、推薦系統(tǒng)算法概述：

推薦系統(tǒng)的研究大致可以分為三個階段，第一階段是基于傳統(tǒng)的web服務(wù)，第二階段是基于目前的社交網(wǎng)絡(luò)的web服務(wù)，第三階段是即將到來的物聯(lián)網(wǎng)。這其中產(chǎn)生了很多基礎(chǔ)和重要的算法，例如協(xié)同過濾（包括基于用戶的和基于物品的）、基于內(nèi)容的推薦算法、混合式的推薦算法、基于統(tǒng)計理論的推薦算法、基于社交網(wǎng)絡(luò)信息（關(guān)注、被關(guān)注、新人、知名度、信譽度等）的過濾推薦算法、群體推薦算法、基于位置的推薦算法。其中基于領(lǐng)域的協(xié)同過濾推薦算法是推薦系統(tǒng)中最基礎(chǔ)、最核心、最重要的算法，該算法不僅在學(xué)術(shù)界得到較為深入的研究，而且在業(yè)界也得到非常廣泛的應(yīng)用。

4、協(xié)同過濾核心思想

協(xié)同過濾系統(tǒng)是根據(jù)用戶使用網(wǎng)站的歷史記錄來計算用戶與用戶之間的相似程度，并根據(jù)與目標(biāo)用戶的相似程度比較

 

5、基于用戶的協(xié)同過濾算法

基于用戶的協(xié)同過濾算法簡稱usercf，其簡單應(yīng)用情景是：當(dāng)用戶需要個性化推薦時，可以先找到與它相似其他用戶（通過興趣、愛好或行為習(xí)慣等），然后把那些用戶喜歡的并且自己不知道的物品推薦給用戶。

詳細的過程如下：

1.使用某一種選定的相似度計算方法計算當(dāng)前待計算用戶a的最近的k個鄰居，這k個鄰居是距離a最近的用戶，即可以看成是與用戶a最相似的k個用戶。

2.選定k個用戶之后，通過某種方法計算這些用戶中a不曾購買或知道的物品i對于用戶a的預(yù)測興趣度。

3.為了選擇最好的n個推薦物品，從上面2中選擇預(yù)測興趣最高的n個物品。

計算用戶a對物品i的預(yù)測興趣度如式所示：

            

其中s（u,k）表示與用戶u興趣最接近的k個用戶，n（i）表示對物品i有過行為的用戶集合， 表示用戶u和用戶v的相似程度， 表示用戶v對物品i的感興趣程度。

使用基于用戶的協(xié)同過濾算法的流程如圖：

 

 

6、基于物品的協(xié)同過濾算法

基于物品的協(xié)同過濾算法簡稱itemcf,其簡單應(yīng)用情景是：例如一個用戶a需要個性化推薦時，由于他之前購買過某款型的上衣，所以會給他推薦適合與上衣搭配的褲子或裙子，因為其他很多用戶都同時購買了這兩種商品。

詳細的過程如下：

1.使用某一種選定的相似度計算方法計算兩兩物品之間的相似度。

2.根據(jù)物品的相似度和用戶的歷史行為給用戶生成推薦列表。

這里計算物品之間的相似度是和用戶行為有關(guān)的，如果只考慮物品本身的屬性計算相似度就是基于內(nèi)容的推薦了。計算物品之間的相似度如式所示：

其中n（i）,n(j)表示喜歡或購買物品i的用戶數(shù)，n（i） n（j）表示同時喜歡或購買物品i、j的用戶數(shù)。

計算了物品之間的相似度之后就可以使用如下式來計算用戶u對物品j的興趣度。

其中n（u）表示用戶u喜歡的物品集合，s（j,k）表示和物品j最相近的k個物品的集合， 是物品j和物品i的相似度， 是用戶u對物品i的興趣度。

其具體流程如下：

 

7、基于內(nèi)容的推薦算法

目前，協(xié)同過濾是較為流行的推薦算法，在學(xué)術(shù)界和工業(yè)界都有廣泛的研究個使用，但同樣作為推薦系統(tǒng)領(lǐng)域的基礎(chǔ)算法——基于內(nèi)同的推薦也是很重要的。其基本原理是根據(jù)用戶之前對物品的歷史行為，如用戶購買過什么物品、收藏過什么商品、評過分等等，然后再根據(jù)計算與這些物品相似的物品，并把它們推薦給用戶。例如用戶之前購買過金庸的《神雕俠侶》，可以說明此用戶可能是一個金庸迷或武俠迷，這時就可以給該用戶推薦金庸的其他武俠小說。

在電影推薦系統(tǒng)中，該算法首先分析用戶的歷史記錄，對其已經(jīng)看過的并且打分比較高的電影的一些共同屬性（比如演員、導(dǎo)演、風(fēng)格等）進行分析，然后在推薦與這些共同屬性的相似度較高的其他電影給用戶。基于內(nèi)容的推薦算法的核心在于信息獲取過程以及信息過濾過程?；趦?nèi)容的推薦算法是以產(chǎn)品為核心，由于產(chǎn)品的信息往往趨于穩(wěn)定，而用戶的信息可能時刻處于變化之中，例如用戶年齡的變化會導(dǎo)致其偏好發(fā)生改變。因此，產(chǎn)品信息比較穩(wěn)定，基于內(nèi)容的推薦算法也是比較穩(wěn)定的，具有普遍適用性。

基于內(nèi)容的推薦算法一般包括以下幾步：

1.為每個物品抽取一些特征用來表示這個物品。

2.使用用戶的歷史行為數(shù)據(jù)分析物品的這些特征，從而學(xué)習(xí)出用戶的喜好特征說興趣。

3.通過比較上一步得到的用戶興趣和待推薦物品的特征，確定一組相關(guān)性最大的物品最為推薦列表。

8、neo4j圖數(shù)據(jù)庫

目前的圖數(shù)據(jù)庫產(chǎn)品有很多，主流的是neo4j,所以本文中的系統(tǒng)也選用neo4j作為圖數(shù)據(jù)庫的實現(xiàn)引擎。

neo4j最主要的特點是基于屬性的圖，可以支持java、python、scala等編程語言，是一款開源的nosql圖數(shù)據(jù)庫，其底層實現(xiàn)是用java和scala實現(xiàn)的。目前業(yè)界已經(jīng)有相當(dāng)多的公司或組織在使用，主要應(yīng)用于網(wǎng)絡(luò)管理、推薦系統(tǒng)、社交網(wǎng)絡(luò)等領(lǐng)域。相比其他相關(guān)產(chǎn)品具有以下特性：在床架是就存儲關(guān)系，避免動態(tài)的復(fù)雜查詢消耗；得益于高效的節(jié)點和關(guān)系的存儲，可以達到常數(shù)級別的圖的深度、廣度遍歷；所有關(guān)系都是同等重要的和快速的，后續(xù)的根據(jù)業(yè)務(wù)模型變化進行擴展也很方便；壓縮的存儲和基于內(nèi)存的緩存可以高效的處理上億節(jié)點的查詢和操作；運行于jvm平臺之上，即可以跨平臺運行。