AKTUALIZOVANÉ DÁTA: Čo zmeniť, aby váš e-shop zarábal viac. Stiahnuť e-book

Offline testovanie: rýchly a jednoduchý spôsob ako vylepšiť výsledky vyhľadávania

Luigi's Blog | 30. januára 2019
Offline testovanie: rýchly a jednoduchý spôsob ako vylepšiť výsledky vyhľadávania

Pri optimalizácii vyhľadávania sa ľudia často zameriavajú na riešenie konkrétnych problémov alebo na A/B testovanie.

Ak si však chcete byť na 100 % istí, že vyhľadávanie funguje správne, skúste na to ísť pomocou offline syntetického testovania. Vyhnete sa tak riziku straty konverzií počas testovania zmien vo vyhľadávaní.

Každý e-shop chce mať dobre nastavené vyhľadávanie, ale nie vždy je to úplne jednoduché. Nastavenie vyhľadávania si vyžaduje pozorovanie, dobrú znalosť analytiky a systematický prístup. Väčšina ľudí sa spolieha len na svoj vnútorný pocit, čo však nemusí byť najšťastnejšie riešenie.

Prečo offline syntetické testovanie?

Jeden z najlepších spôsobov ako zlepšiť výsledky vyhľadávania sa nazýva offline syntetické testovanie. Offline preto, že naň nepotrebujete real-time interakcie používateľov a syntetické preto, že ako východisko používate iba namerané dáta, hoci skutoční používatelia sa môžu správať mierne odlišne. Výhodou tejto metódy je, že pri nej nehrozí negatívny vplyv na konverzie, výsledky dosiahnete pomerne rýchlo a na vykonanie tohto testovania postačujú záznamy o vyhľadávaní (konkrétne zadané dopyty, zobrazené výsledky a interakcia používateľov s výsledkami).

Postup je takýto: preskenujete dopyty, ktoré v minulosti zadávali používatelia a aplikujete na ne nový algoritmus. Ak viete, aké výsledky vyhľadávanie zobrazilo v minulosti a viete aj, na ktoré z výsledkov ľudia klikali alebo ich nakúpili, môžete tieto výsledky porovnať s výsledkami z nového alrogitmu.

Analýza výsledkov offline syntetického testovania

Ak staré vyhľadávanie pre dopyt x zobrazilo produkt X na 1. pozícii, znamená to, že produkt X mal najvyššiu mieru konverzií pre zadaný dopyt. Nový algoritmus pre dopyt x zobrazil produkt X až na 10. pozícii. Ktoré vyhľadávanie bolo podľa vás lepšie? Správna odpoveď znie: to pôvodné.

To bolo celkom jednoduché. Skúsme to teraz na zložitejšom príklade: pre dopyt x sa ako najlepší výsledok zobrazí produkt Y. Niektorí ľudia naň kliknú, preto vyzerá ako relevantný výsledok, ale skutočne najlepší výsledok, a teda produkt X, medzi výsledkami nie je vôbec. Nové vyhľadávanie tento problém odstránilo pomocou uprednostnenia produktu X, ten sa teraz zobrazuje na prvom mieste a hneď za ním sa nachádza produkt Y. To, čo môže na prvý pohľad vyzerať ako krok späť, ním v skutočnosti nie je, pretože výsledky pre dopyt x sa zlepšili.

Ako vidíte, v mnohých prípadoch skutočne nie je jednoduché vyhodnotiť, čo je pre vyhľadávanie lepšie. Ak chcete získať spoľahlivé a zmysluplné výsledky, potrebujete komplexný model. Existuje množstvo kvantitatívnych modelov určených na hodnotenie kvality rankingu ako napríklad Normalized Discounted Cumulative Gain (NDCG), Discounted Cumulative Gain, Mean Reciprocal Rank alebo Precision, Mean Average Precision, atď.

Všetky tieto metriky sa zvyčajne počítajú iba pre top n výsledkov, pretože pri tých je najvyššia pravdepoobnosť, že ich používatelia vôbec uvidia. Ďalej existujú ešte rozsiahlejšie a komplexnejšie modely, založené na priamej spätnej väzbe, ktoré sú na zlepšovanie vyhľadávania ešte vhodnejšie. Každá z týchto metrík má iné vlastnosti a je určená na zlepšenie iných detailov vyhľadávania. Nech si však vyberiete ktorúkoľvek, získate kvantitatívne informácie o svojom vyhľadávaní, ktoré sa dajú použiť na porovnanie rôznych algoritmov rankingu výsledkov.

Viac než len sledovanie zmien vo vyhľadávaní

Offline syntetické testovanie poskytuje oveľa viac možností než len sledovanie zmien vo vyhľadávaní. Pomôže vám pochopiť prečo sa výsledky menia. Pri jeho správnom vykonaní dostanete bohaté prehľady a informácie o výkonnosti jednotlivých dopytov v čase. Potom si môžete začať klásť správne otázky a ďalej vylepšovať jednotlivé dopyty podľa toho, kde nový ranking zlepšil vyhľadávanie a kde nie.

jednoduchý skúšobný test
Súhrnný výstup testu. V tomto prípade sa ranking zlepšil o 43 %. Pod súhrnom môžete vidieť rozpis výkonnosti (pre segmenty s 25 % presnosťou) a počet dopytov, ktoré sa zlepšili alebo zhoršili. Všimnite si, že aj keď táto zmena viedla k celkovému zlepšeniu, pri niektorých dopytoch je teraz ranking horší.
Príklad výstupu z offline testovania
Príklad výstupu z offline syntetického testu. Môžete vidieť dopyty používateľov, výsledky, na ktoré klikali v danom vyhľadávaní a ako sa zmenila jeho pozícia v novom rankingu (position_from – position_to). Môžete tiež vidieť vypočítanú metriku – NDCG@10 (Kumulatívny zisk vypočítaný z 10 najlepších výsledkov).

Ale čo ďalej?

Offline syntetické testovanie je výborným štartovacím bodom. Pomôže vám vyhodnotiť, či je vaše nové vyhľadávanie vo všeobecnosti lepšie alebo horšie ako staré. Ale čo ďalej? O koľko lepšie či horšie, a v čom?

To vám už táto metóda nepovie, pretože nepracuje so správaním skutočných zákazníkov. Ak sa chcete dozvedieť podrobnosti, musíte použiť live A/B test. Čiže, ak chcete odstrániť chyby vo vyhľadávaní:

  1. Určite, ktorý dopyt potrebuje vylepšiť.
  2. Upravte algoritmus rankingu.
  3. Spustite offline syntetický test a skúšajte rôzne možnosti, až kým si nebudete skutočne istí, že ste našli riešenie.
  4. Spustite live A/B test na overenie.
  5. Opakujte.

Tak to robíme aj v Luigi’s Boxe a vďaka tomu sme získali know-how, ktorému naši zákazníci veria. Dobrá správa je, že offline syntetické testovanie sme integrovali do nášho rozhrania, takže ak ho chcete vyskúšať, nemusíte si ho navrhnúť sami.

Ak sa o tejto funkcii chcete dozvedieť viac, kontaktujte nás.