Jeśli posiadamy stronę, czy sklep internetowy to chcemy, aby jak najwięcej ludzi mogło go znaleźć i z niego skorzystać. Zatem, gdy potencjalny klient czegoś szuka, idealnym byłoby, gdyby to właśnie nasza witryna podsunęła mu rozwiązanie. Ale to nie jest takie proste. Wyszukiwarki to jedno wielkie pole bitwy, gdzie witryny walczą ze sobą o wysokie pozycje, by jako pierwsze wyświetlały się w wynikach wyszukiwania klientów. Co zrobić jak największy gracz Google nie indeksuje stron?
Google osiąga limit?
Osoby zawodowo zajmujące się SEO (ang. Search Engine Optimization, czyli optymalizacją stron pod kątem wyszukiwarek internetowych), od dawna wiedzą, że Google (największa i najbardziej popularna wyszukiwarka na świecie) znacząco wpływa na to, jak internauci postrzegają otoczenie. Bez indeksowania strony w Google, można stracić wielu potencjalnych klientów. Z Google korzysta 70% użytkowników internetu. Dlatego dobra pozycja na stronach Google jest bardzo wartościowa i należy o nią walczyć. Wiedzą również o tym, że Google od jakiegoś czasu, nie jest w stanie przetworzyć nowo nabytych informacji na czas. W niektórych ekstremalnych sytuacjach, na indeksowanie stron w Google trzeba czekać nawet kilka miesięcy.
Nie wiadomo co jest przyczyną takiego stanu rzeczy, a powodów może być wiele. Google mogło osiągnąć górny limit wydajności i mocy obliczeniowej. Być może zbudowanie kolejnej ogromnej serwerowni do przetwarzania danych, mogłoby zaradzić temu problemowi. Być może Google będzie musiało przebudować algorytmy i systemy odpowiedzialne za indeksowanie stron. A być może przeszkoda leży zupełnie gdzie indziej. Niezależnie od problemu, Google nigdy oficjalnie się do niego nie przyzna.
Internet jest za duży
Internet jest ogromny i stale rośnie. Według ekspertów, w 2017 roku w ciągu jednej sekundy przybywało ok. 20 GB danych na całym świecie, a to są dane sprzed 5 lat. Od 2020 roku ze względu na pandemię koronawirusa, bardzo wielu użytkowników zaczęło znacznie częściej używać Internetu. Czy to praca zdalna, czy e-lekcje w szkołach, czy robienie zakupów, czy po prostu korzystanie, z różnych form rozrywki. Wszystko to generowało coraz więcej danych.
Według badań ONZ w 2019 roku liczba internautów na świecie wynosiła 4,1 mld osób. W 2021 roku liczba ta zwiększyła się do 4,9 mld. Natomiast liczba aktywnych witryn internetowych wynosi około 1,9 mld (dane na luty 2022 roku) i mowa tu o witrynach, a nie podstronach. Dla przykładu Facebook jest jeden, ale Facebook posiada ok. 2,6 miliarda użytkowników. Większość z tych użytkowników wysyła posty, zdjęcia, tworzy strony czy grupy, czyli generuje podstrony. Oznacza to, że liczba podstron samego Facebooka, może wynosić kilkadziesiąt miliardów. Do tej pory Google dla Facebooka zindeksowało dopiero 8 miliardów. A to tylko przykład jednego Facebooka. Wielkość Internetu oraz tempo jego przyrostu sprawia, że Google nie wyrabia. Można to łatwo zauważyć np. w statystykach zamieszczonych na stronie WorldWideWebSize. Strona ta pokazuje, jak wiele stron zostało zindeksowanych przez popularne wyszukiwarki internetowe.
Na grafie widać znaczny spadek liczby zindeksowanych stron w wyszukiwarce Google od kwietnia 2021 roku. Ponadto można zauważyć duże skoki w liczbie zindeksowanych stron. Google od roku ma problemy związane z systemami do crawlowania serwisów. Przez to Google nie indeksuje tak wielu stron, jak we wcześniejszych latach. Czy IndexNow — rozwiązanie używane przez konkurencję pomoże?
Czy technologia IndexNow pomoże?
By odpowiedzieć na to pytanie, najpierw trzeba zrozumieć, jak działa indeksowanie strony w Google. Aktualnie Google posiada boty (zwane web crawlerami), które ciągle przeszukują Internet. Boty te mają na celu znalezienia nowych, zaktualizowanych lub nieaktywnych stron internetowych i ich adresy URL. Gdy taka strona zostaje znaleziona, analizowana jest jej treść, pod kątem tematyki i zawartości. Do tego katalogowane są multimedia zamieszczone na tej stronie (w postaci obrazów, czy filmów). Na podstawie tych danych, Google próbuje zrozumieć, czym jest dana strona (czy jest to blog, serwis społecznościowy, sklep). Ostatecznie informacje te zostają dodane do bazy danych. Cały ten proces nazywa się indeksowaniem.
IndexNow jest to nowy protokół opracowywany i sponsorowany przez Microsoft oraz Yandex. IndexNow ma na celu umożliwienie właścicielom witryn natychmiastową indeksację strony w wybranych wyszukiwarkach internetowych. W najprostszej formie ma to polegać, na wysłaniu informacji (w postaci pingu) o tym, że adres URL oraz jego zawartość zostały zmodyfikowane. Sprawi to, że boty będą wiedziały, gdzie się udać, by móc zindeksować stronę. Dzięki temu te zmiany zostaną jak najszybciej odzwierciedlone w wynikach wyszukiwania. IndexNow nie zastępuje obecnego systemu web crawlerów, a współpracuje z nim, optymalizując i przyspieszając proces indeksowania. Obecnie z tego protokołu korzystają jedynie Bing oraz Yandex.
Aktualnie Google króluje wśród wyszukiwarek. Dlatego pojawia się pytanie, czy zechce stosować tę samą technologię co konkurencja. Z jednej strony poprawiłoby to sytuację web crawlerów. Boty mogłyby się udać do stron z nowymi, potencjalnie interesującymi treściami. Nie musiałyby niepotrzebnie sprawdzać stron, które nie wymagają aktualizacji w indeksie. To znacznie przyspieszyłoby procesy indeksowania. Z drugiej strony IndexNow nie ogranicza się do jednej wyszukiwarki. Dlatego w momencie zaimplementowanie tej metody każdy, kto pozycjonowałby się w Google, pozycjonowałby się również w innych wyszukiwarkach.
