Apa Itu Googlebot?

Googlebot yaitu webcrawler (perayap jaringan) yg dipakai oleh Google. Googlebot dipakai untuk mencari dan mengumpulkan halaman-halaman di internet. Informasi yg dikumpulkan Googlebot dipakai untuk memperbarui index Google.

Googlebot mengunjungi triliunan halaman web dan terus menerus mengunjungi halaman-halaman tersebut.

Apa itu WebCrawler?

Sebenarnya Webcrawlers yg juga disebut sebagai bots, robots, atau spiders, hanyalah sejenis software yg didesain untuk mengikuti tautan-tautan/links dan mengumpulkan data dari setiap link.
Googlebot mengambil konten dari halaman-halaman web, ibarat kata-kata, kode, dan sumberdaya yg menyusun halaman web tersebut.

Jika di dalam konten yg diambilnya ada link menuju halaman lain, maka link-link itu bakal dicatat.

Googlebot dan Website Anda

Informasi yg dikirimkan oleh Googlebot bakal memperbarui index Google. Index inilah kawasan di mana semua halaman web bakal dibandingkan dan diberi ranking berdasarkan kata kunci.

Makara langkah pertama supaya halaman website anda sanggup ada di dalam index ini yaitu membuat website anda sanggup terlihat dan sanggup diakses oleh Googlebot.

Apakah Googlebot Bisa Melihat Halaman Web Saya?

Untuk mengetahui apa yg sanggup dilihat oleh Googlebot dari situs anda, lakukan hal ini di pencarian Google. Masukkan pencarian berikut:

site:namadomain.com

Ini yaitu perintah untuk menampilkan semua halaman yg dikumpulkan Googlebot ke dalam Google index.

Dari sini anda sanggup melihat ada berapa banyak halaman anda yg ada di dalam index Google. Apakah jumlahnya wajar, kurang, atau malah terlalu berlebihan?

Jika kurang, maka sanggup saja ada halaman yg anda anggap seharusnya masuk ke dalam index Google malah seCaranya tidak sengaja anda blokir dengan robots.txt.

Jika berlebihan, maka sanggup jadi ada halaman-halaman yg tidak anda inginkan masuk malah terindeks; atau bahkan website anda seCaranya tidak sengaja menciptakan banyak duplikat konten alasannya yaitu sistem dari tema yg digunakan.

Mana saja yg terjadi di antara keduanya bakal merusak SEO dari website anda.... Jika halaman yg terindeks kurang, maka kurang juga poin yg harusnya anda dapatkan; dan sebaliknya jikalau halaman yg terindeks berlebihan, maka poin setiap halaman juga menjadi lebih kecil alasannya yaitu pembaginya jadi lebih banyak....

Makara jikalau anda gres pertama kali belajar SEO, maka mengamati index Google yaitu Keliru satu hal yg Musti anda pahami.

Apakah Google sanggup mengakses semua konten dan tautan?

Tidak semua yg ada di dalam halaman kita sanggup diakses oleh Google, jadi anda Musti tahu apakah elemen penting dari halaman yg anda harapkan sanggup membantu SEO sanggup dilihat oleh Google.

Ada banyak jenis duduk kasus yg menjadikan Google tidak sanggup melihat semua isi konten di dalam website kita. Beberapa di antaranya adalah:

1. Diblokir robots.txt
2. Link tidak terbaca (broken link)
3. menggunakan teknologi flash yg belum sanggup dilihat Googlebot
4. Kode yg error
5. Link dinamis yg terlalu rumit

Jika anda mau mengetahui apakah semua komponen halaman anda sanggup dilihat oleh Google, maka coba lakukan FETCH AND RENDER di Search console; lihat apakah Google sanggup merayapi semuanya atau hanya sebagian.

Atau anda sanggup juga mencari halaman anda di Google dengan operator site: tadi, dan setelah hasil pencarian keluar, coba lihat CACHE Google dari panah kecil yg ada di setiap hasil pencarian (lihat gambar di bawah)

Bisakah Googlebot dikendalikan?

Ya, Google yaitu perusahaan yg menghargai hukum di dalam robots.txt. Makara robotnya tidak bakal mengumpulkan data dari halaman-halaman yg dilarang.

SeCaranya keseluruhan ada beberapa trik anda sanggup mengatur robot google:

1. menggunakan robots.txt
2. Memasukkan meta robots di halaman
3. menggunakan arahan robot di header
4. menggunakan peta situs
5. menggunakan Google Search Console

Tapi yg paling umum dipakai yaitu robots.txt

Apa itu Robots.txt?

Ini yaitu file yg berisi hukum gimana seharusnya robot perayap berinteraksi di halaman web anda. yg perlu anda ketahui adalah;... hanya alasannya yaitu website anda menggunakan robots.txt bukan berMakna semua robot bakal mengikuti hukum yg ada di dalamnya.

Robot dari pihak yg tidak baik tentu saja tidak bakal mempedulikan hukum di dalam robots.txt ini.

Khusus Googlebot; anda sanggup mengatur halaman mana yg boleh dan tidak boleh diakses oleh Googlebot Saat tiba ke website anda. Hanya saja pembahasan robots.txt ini cukup kompleks jadi bakal dibahas nanti di Maknakel tersendiri.

Googlebot dan Peta Situs

Peta situs atau biasa disebut sitemap yaitu trik untuk membantu google memahami struktur dari website anda.

Google menyampaikan ada beberapa keadaan di mana anda sangat perlu menggunakan peta situs...

1. Anda menciptakan website yg sangat besar
2. Website anda mempunyai banyak konten tapi saling terisolasi dan tidak mempunyai struktur link yg baik
3. Situs anda masih gres dan hanya sedikit backlink yg masuk; jadi Google lebih mengandalkan peta situs untuk perayapan semua halaman baru.

Tipe-Tipe Googlebot

Googlebot mempunyai 9 tipe yg tidak sama dengan fungsi yg tidak sama pula. Kesembilan Googlebot tersebut adalah:

1. Googlebot (Google Web search)
2. Google Smartphone
3. Google Mobile (Feature phone)
4. Googlebot Images
5. Googlebot Video
6. Googlebot News
7. Google Adsense
8. Google Mobile Adsense
9. Google Adsbot (landing page quality check)

Jika ada yg mau gosip yg lebih detilnya sanggup kunjungi halaman klarifikasi Google Crawlers.