Google докладно розповів про роль експертів-асесорів в оцінці якості пошуку. Стаття про це з’явилася в блозі компанії.
Щорічно в алгоритми пошуку Google вносяться тисячі змін. Але перед тим, як зміни впровадити, необхідно зрозуміти, чи будуть поновлення корисні для користувачів. Google залучає до оцінки асесорів і звичайних людей.
Дослідницька група Google спілкується з користувачами по всьому світу. Також Google проводить польові дослідження, мета яких – вивчити, як різні люди отримують доступ до інформації в інтернеті.
Про асесорів
У Google є правила по оцінці результатів пошуку для асесорів. Цей документ складається з 160 сторінок, але якби рекомендації асесора можна було звузити до однієї фрази, то вона звучала б так:
Пошук призначений для того, щоб надавати релевантні результати з найвірогідніших доступних джерел.
Алгоритми Google можуть розпізнавати безліч сигналів, але коли справа доходить до релевантності та надійності, потрібна оцінка людини. У Google є понад 10 тисяч осіб по всьому світу, які називаються «оцінювачі якості пошуку» (search quality raters). Вони допомагають оцінити, як люди сприймають результати пошуку.
Перш ніж приступити до роботи, оцінювачі повинні вивчити рекомендації Google для асессоров.
Як працюють асесори
Google надає групі експертів набір запитів і показує дві версії результатів по цих запитах. Один набір результатів узятий з поточний версії пошуку, другий – версія видачі з поліпшеннями, які пошуковик планує впровадити.
Асесори оцінюють кожну сторінку, перевіряють, чи відповідають результати запиту. Для оцінки експертність, авторитетності і достовірності (EAT) експертам пропонується провести дослідження репутації джерел, а потім виставити оцінку якості для кожної сторінки. Ці оцінки не використовуються безпосередньо для ранжування.
Важливо відзначити, що ця оцінка не впливає безпосередньо на те, як ця сторінка або сайт ранжуються в пошуку. Ніхто не вирішує, що те чи інше джерело є «авторитетним» або «заслуговує на довіру». Зокрема, сторінкам не присвоюються оцінки, щоб визначити, як їх потрібно ранжувати.
Google відзначає, що оцінки асесорів – це дані, які дозволяють виміряти, наскільки добре працюють алгоритми, чи надають вони контент, що відповідає вимогам до якості.
У 2019 Google провів більше 383 605 тестів на оцінку якості пошуку і 62 937 паралельних експериментів з асесорами. В результаті було впроваджено 3600 поліпшень в алгоритми.
Джерело: блог Google
