《戰狼Ⅱ》破50億 Python爬蟲(chóng)抓取獲取12萬(wàn)條影評(píng)分析看它在說(shuō)

來(lái)源：奇酷教育發(fā)表於：2017-08-23 10:03:46

《戰狼Ⅱ》破50億了，你還不知道它在說(shuō)啥？本文通過(guò)Python爬蟲(chóng)抓取獲取12萬(wàn)條影評(píng)分析，告訴你《戰狼Ⅱ》用什麼撩到了你。

　　先上一張炸裂的海報(bào)。

　　數(shù)據(jù)的獲取

　　對(duì)於數(shù)據(jù)的獲取，本文採用的是Python爬蟲(chóng)的方式獲取的數(shù)據(jù)。用到的主要是requests包與正則包re。該程序並未對(duì)驗(yàn)證碼進(jìn)行處理。

　　之前也爬取過(guò)豆瓣的網(wǎng)頁(yè)，當(dāng)時(shí)由於爬取的內(nèi)容少，所以並沒有遇到驗(yàn)證碼的事情。在寫(xiě)本文爬蟲(chóng)的時(shí)候，原以為也不會(huì)有驗(yàn)證碼，但是當(dāng)爬取到大概15000個(gè)評(píng)論的時(shí)候跳出來(lái)驗(yàn)證碼。然後我就想不就是十二萬(wàn)嗎?最多我也就是輸(shū)入大概十幾次驗(yàn)證碼，所以就沒有處理驗(yàn)證碼的事情。

　　但是接下來(lái)的事情就有點(diǎn)坑到我了。爬取15000左右評(píng)論並輸(shū)入驗(yàn)證碼的時(shí)候，我以為會(huì)接下來(lái)爬取到30000左右，可是才爬了3000左右就不行了，還是要輸(shū)驗(yàn)證碼。然後就一直這樣，跌跌撞撞，有時(shí)候爬取好長(zhǎng)時(shí)間才需要驗(yàn)證碼，有時(shí)候則不是。不過(guò)最後還是把評(píng)論爬取下來(lái)了。

　　爬取的內(nèi)容主要是：用戶(hù)名，是否看過(guò)，評(píng)論的星星點(diǎn)數(shù)，評(píng)論時(shí)間，認(rèn)為有用的人數(shù)，評(píng)論內(nèi)容。參看下圖（用戶(hù)名已隱藏）：

　　這個(gè)是影評(píng)的起始頁(yè)：豆瓣影評(píng)

　　以下是Python爬蟲(chóng)的代碼


import requests

import re

import pandas as pd

url_first='https://movie.douban.com/subject/26363254/comments?start=0'

head={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36'}

html=requests.get(url_first,headers=head,cookies=cookies)



cookies={'cookie':'你自己的cookie'}  #也就是找到你的帳號(hào)對(duì)應(yīng)的cookie



reg=re.compile(r'.*?.*?(.*?).*?(.*?).*?title="(.*?)">.*?title="(.*?)">.*?class=""> (.*?)\n',re.S)  #評(píng)論等內(nèi)容

while html.status_code==200:

    url_next='https://movie.douban.com/subject/26363254/comments'+re.findall(reg,html.text)[0]                             

    zhanlang=re.findall(ren,html.text)

    data=pd.DataFrame(zhanlang)

    data.to_csv('/home/wajuejiprince/文檔/zhanlang/zhanlangpinglun.csv', header=False,index=False,mode='a+') #寫(xiě)入csv文件,'a+'是追加模式

    data=[]

    zhanlang=[]

    html=requests.get(url_next,cookies=cookies,headers=head)

　　以上代碼注意設(shè)置你自己的User-Agent，Cookie，CSV保存路徑等。

　　爬取的內(nèi)容保存成CSV格式的文件。保存的文件內(nèi)容如下

　　數(shù)據(jù)清洗

　　本文用R語言來(lái)處理數(shù)據(jù)。雖然在爬取的時(shí)候已經(jīng)非常注意爬取內(nèi)容的結(jié)構(gòu )了，但是還是不可避免的有一些值不是我們想要的，比如有的評(píng)論內(nèi)容會(huì)出現(xiàn)在評(píng)論者這一項(xiàng)中。所以還是有必要進(jìn)行一下數(shù)據(jù)的清洗。

　　首先加載要用到的所有包：




library(data.table)

library(plotly)

library(stringr)

library(jiebaR)

library(wordcloud2)

library(magrittr)

導(dǎo )入數(shù)據(jù)並清洗：




dt<-fread(file.choose()) #導(dǎo )入數(shù)據(jù)

dt[,c("V8","V9","V10","V11","V12","V13"):=NULL] #刪除空列



#一條命令清洗數(shù)據(jù)



my_dt<-dt[str_detect(贊成評(píng)論數(shù),"\\d+")][評(píng)論有用=='有用'][是否看過(guò)=="看過(guò)"][五星數(shù)%in%c("很差","較差","還行","推薦","力薦")]

　　數(shù)據(jù)淺析

　　先來(lái)看一看通過(guò)星星數(shù)評(píng)論的情況：

　　五星數(shù))],type = 'bar',x=~五星數(shù)

　　五角星的個(gè)數(shù)對(duì)應(yīng)5個(gè)等級(jí)，5顆星代表力薦，4顆星代表推薦，3顆星代表還行，2顆星代表較差，1顆星代表很差。通過(guò)五角星的評(píng)論顯而易見(jiàn)。我們有理由相信絕大部分觀(guān)看者對(duì)這部影片持滿(mǎn)意態(tài)度。

　　對(duì)評(píng)論結(jié)果的雲圖展示：

首先我們應(yīng)該先進(jìn)行評(píng)論的分詞




wk <- worker()

sw<-function(x){wk<=x}

segwords<-lapply(my_dt[,評(píng)論內(nèi)容],sw)

my_segwords<-unlist(segwords) #不要列表



#去除停止詞



st<-readLines(file.choose()) #讀取停止詞

stopwords<-c(NULL)



for(i in 1:length(st))

{

  stopwords[i]<-st[i]

}



seg_Words<-filter_segment(my_segwords,stopwords)  #去除中文停止詞

總體評(píng)論雲圖展示




words<-table(seg_Words)%>%data.table()



setnames(words,"N","pinshu")



words[pinshu>1000] #去除較低頻數(shù)的詞彙（小於1000的）



wordcloud2(words[pinshu>1000], size = 2, fontFamily = "微軟雅黑",color = "random-light", backgroundColor = "grey")

由於數(shù)據(jù)太多，導(dǎo )致我的破電腦卡頓，所以在製作雲圖的時(shí)候去掉了頻數(shù)低於1000的詞彙。

雲圖結(jié)果如下：