無線端兩種彈窗廣告方案的A/B test

在無線場景下，無論是瀏覽wap頁面，還是使用原生的app，所有人都一定都碰到過“彈窗廣告”(如下圖)，從用戶體驗設(shè)計的經(jīng)驗看，這種缺少用戶預(yù)期的廣告形式，可能會打斷原有的操作和認知，對體驗的流暢有一定的負面影響，但從內(nèi)容的推廣角度看，彈窗廣告可以在短時間內(nèi)將廣告內(nèi)容強制展現(xiàn)給用戶，一定程度上迫使用戶閱讀和點擊，以達到更強的傳播效果。

前段時間，結(jié)合一個業(yè)務(wù)上的需求，對兩種“彈窗廣告”形式進行了的一些線上測試和數(shù)據(jù)分析;目的是希望能用更直觀的數(shù)據(jù)，去對“彈窗廣告”這種廣告形式及其不同類型有更定量的了解，以便為后續(xù)的設(shè)計優(yōu)化和以及不同形式線上使用的數(shù)據(jù)效果預(yù)期提供參考。

業(yè)務(wù)的需求背景，是在“愛淘寶”的wap端首頁，為“雙十一預(yù)熱會場”進行引流，考慮到是以引流為主要目的，大家都傾向于“彈窗廣告”這種形式，但同時，對于“彈窗廣告”的具體設(shè)計，也存在了兩種觀點，一種觀點是，比較常規(guī)的全屏式“彈窗廣告”的引流能力雖然好，但是這種形式有一定程度強迫用戶閱讀和點擊，這對于廣告本身的轉(zhuǎn)化以及首頁本身的轉(zhuǎn)化上可能會有負面影響;另一種觀點是，“彈窗廣告”只是短暫出現(xiàn)的，并且會在用戶沒有操作后自動關(guān)閉，不會對原有頁面的轉(zhuǎn)化有影響，而且因為全屏的插入廣告感官更強，轉(zhuǎn)化效果也會更強一些。

基于這兩種觀點，我們決定使用a/btest的方式，對兩種類型的“彈窗廣告”進行定量測試，為此，我們設(shè)計了兩種形式的“彈窗廣告”作為測試方案：

A方案是較為常規(guī)的全屏式的“彈窗廣告”(見下圖左)，它在頁面加載之后，以全屏浮層的形式展現(xiàn)在原有頁面之上，在用戶沒有主動關(guān)閉或跳轉(zhuǎn)的情況下，停留一段時間后自動關(guān)閉，A方案的特點對用戶原有瀏覽和操作的干擾較大(需要等待或主動關(guān)閉)，但是展示效果較強

B方案是將常見的“全屏式“變?yōu)椤卑肫潦健?見下圖右)，在頁面加載之后，它會出現(xiàn)在原有頁面的頭部，占半屏的頁面展示空間，除了等待時間結(jié)束或主動關(guān)閉，用戶瀏覽頁面的“上滑動作”同樣可以關(guān)閉廣告，它的特點是相比A方案，對用戶原有的瀏覽和操作干擾較小，但是在展示效果上，沒有A方案那么強烈。

主要測試的三個方面：廣告本身的分流能力，引入流量的轉(zhuǎn)化，對原有頁面用戶轉(zhuǎn)化的影響;涉及到的數(shù)據(jù)有頁面pv,頁面uv，click，廣告的點擊uv，頁面點擊uv、引入流量的成交筆數(shù)等字段

兩種方案以7:3的流量占比(全屏7，半屏3，之所以這么分，是全屏的模式引流效果更強，考慮到測試本身對投放數(shù)據(jù)的影響，所以更多的流量投放了全屏方案，其實比較理想的狀況，還需要設(shè)置一個參照組，即沒有投放廣告的“純凈版”，但同樣出于上面原因，暫時將投放前三天的平均數(shù)據(jù)作為參考組)分桶投放了三天，得到了一些數(shù)據(jù)反饋，一些結(jié)果比較符合原有的預(yù)期，也拿到了相應(yīng)的定量值，也有些與原有預(yù)期不一樣的驚喜，出于公司數(shù)據(jù)保密的原因，沒辦法把原始數(shù)據(jù)放出來，下面僅把分析結(jié)果做下展示和簡單分析：

測試點1:不同類型的分流能力

兩種類型對頁面流量的分流能力上(廣告點擊uv/頁面uv，廣告點擊數(shù)/頁面pv)，毫無疑問是“全屏式”的方案分流能力更強，這也與之前的預(yù)期相符，具體的結(jié)果顯示，全屏方案在采用更強的展示效果和更大的展示空間(大概是半屏的2倍)后，其分流能力是“半屏”方案的1.5倍左右，而具體在整個頁面流量中的占比，是受廣告本身內(nèi)容吸引力決定。

測試點2:不同類型的轉(zhuǎn)化能力

出乎意料的是，對比兩種類型的轉(zhuǎn)化能力(廣告成交筆數(shù)/廣告點擊uv)，半屏方案的轉(zhuǎn)化能力要強于全屏的方案(高6%左右)，這說明，雖然全屏方案能分走更多的流量，但從分走流量最終是否促成成交上看，半屏方案的流量質(zhì)量略勝一籌;分析之后，可能是因為，在全屏方案中，強制用戶瀏覽和點擊的作用較強，有較多的用戶雖然對廣告本身沒有太多興趣，但經(jīng)由誤操作或者一定程度被迫使同樣點擊了廣告，這部分流量的進入，使得全屏方案的流量質(zhì)量略低;反觀b方案，由于其對用戶干擾度較低，造成誤操作的概率也較少，更多的是用戶真的對廣告內(nèi)容感興趣的情況下才會進入，相比之下，流量的轉(zhuǎn)化能力也就要好一些了。

測試點3:對原有頁面的用戶點擊轉(zhuǎn)化的影響

在對原有頁面頁面用戶跳失率(1-頁面點擊uv/頁面uv)的比較上，首先我們對比了全屏方案和半屏方案對整體頁面跳失率的影響，發(fā)現(xiàn)并沒有像預(yù)期的干擾度較高的全屏方案對原有頁面造成更多的用戶跳失，而是兩種方案在用戶跳失率上，幾乎沒有差別;之后再對比了“對照組”之后發(fā)現(xiàn)，加入兩種樣式“彈窗廣告”的頁面跳失率，與沒有加入廣告的純凈版的頁面相比，跳失率也沒有明顯的變化;分析之后，可能是因為，兩個方案，在用戶沒有任何操作的情況下，都會經(jīng)過“讀秒”后自動關(guān)閉，用戶同樣可以看到原有頁面，這種交互形式，還在用戶對干擾的可接受范圍之內(nèi)，所以內(nèi)容本身不會對原有的頁面跳失率有負面的影響。(如果有類似的機會，大家可以測測看需要不會讀秒關(guān)閉的“彈窗廣告”對用戶跳失率的影響，以及“讀秒”時間的長短對用戶跳失率的影響)

結(jié)合以上的測試結(jié)果，對兩種形式的彈窗廣告給出以下結(jié)論和使用建議，希望能對大家有所幫助：

結(jié)論和建議

(ps：本身是一個小測試，過程和結(jié)論僅供參考，但通過測試有那么一些小感悟：有些之前覺得理所當然的，順理成章的結(jié)果和設(shè)計，在用戶實際的使用中，可能并不如預(yù)料中的結(jié)果，設(shè)計中，可能更需要多一些客觀驗證和量化，而不僅僅是主觀和推斷，畢竟有時候，用戶說想要的，都不一定是他真的想要的，更何況設(shè)計者呢)