Cara Mengatasi Crawler Error Google WebMaster

Mengatasi Crawler Error Google WebMaster 

Hallo apa kabar sahabat blogger dimanapun kalian berada semoga selalu diberikan inspirasi untuk menciptakan artikel-artikel yang berkualitas. Sebelumnya saya akan menyapa para blogger yang baru memulai atau yang sudah cukup lama terjun di bisnis Adsense ini, Salam dahsyat sukses untuk kita semua. Pada kesempatan kali ini saya akan membahas tentang Crawler Errors Pada Google Adsense yang semoga akan membantu kalian yang mengalami permasalahan ini. Untuk lebih jelasnya yuk simak selengkapnya yang berikut. Google AdSense merupakan media periklanan terbaik saat ini yang telah memiliki jutaan pengguna baik itu sebagai pengiklan dan maupun publisher. Sebagai media periklanan terbaik memang sangat terpercaya akan kualitas dan performa di jaringan periklanan di seluruh dunia.

Sedikit cerita mungkin pengalaman saya saat mengelola AdSense ini saya menjumpai sedikit permasalahan yang memang sebaiknya harus segera saya selesaikan yaitu Crawler Errors Pada Google Adsense. Bagi para publiser mungkin juga pernah mengalami kejadian yang sama yaitu iklan AdSense yang tidak mau muncul padi konten atau artikel blog yang kita miliki. Setelah saya mencari tahu di beberapa sumber artikel ternyata penyebabnya yaitu ada laman atau postingan artikel yang memang tidak bisa di dirayapi atau di crawl oleh robot.txt AdSense sehingga iklan tidak ada iklan yang relevan yang bisa di tampilkan. Bahkan bisa jadi akan berpengaruh pada pendapatan yang diperoleh sampai turun 50%, inilah jika kita tidak segera memperbaikinya.

Jika Anda mengalami iklan blog atau website Anda yang tidak muncul bisa jadi karena adanya masalah pada Crawler Errors Pada Google Adsense tersebut dan harus segera diatasi.  Sebenarnya ada banyak cara untuk meningkatkan pendapatan dari AdSense ini mulai dari mengoptimalkan blog atau situs yang dimiliki yang akan menampilkan iklan AdSense, memaksimalkan dan memilih teks/iklan gambar yang tepat dan lain sebagainya. Akan tetapi bagaimana jika kita sudah melakukan hal tersebut namun masih saja belum bisa memaksimalkan pendapatan? Nah mungkin saja karena ada masalah pada perayapan atau crawl robot.txt AdSense itu sendiri. Dengan Anda memperbaiki permasalahan ini akan iklan yang akan tampil lebih maksimal dan optimal.

Coba perhatikan pesan yang terdapat pada dashboard AdSense Anda dan masuk pada menu setting-status-crawl error.

Jika muncul seperti gambar di bawah ini artinya ada problem di situ:

sumber: www.gomarketingstrategic.com

Our crawler was unable to access the pages listed in the ’Blocked URLs’ column to determine the content and display ads. Click the ’plus’ icon beside each domain to see an expanded list of affected URLs. When our crawler can’t access your content we won’t show ads, resulting in lower revenue and coverage. Follow the link in the ’Error’ column to learn how to correct these errors.

Kurang lebih yang artinya: Perayap kami tidak dapat mengakses halaman yang tercantum di kolom ‘URL yang Diblokir’ untuk menentukan konten dan iklan bergambar. Klik ikon ‘plus’ di samping setiap domain untuk melihat daftar URL yang terpengaruh. Saat perayap kami tidak dapat mengakses konten Anda, kami tidak akan menampilkan iklan, sehingga pendapatan dan cakupannya lebih rendah. Ikuti tautan di kolom ‘Kesalahan’ untuk mempelajari cara memperbaiki kesalahan ini.

Jika hal itu dibiarkan saja, maka penghasilan google adsense anda akan mengalami penurunan drastis sehingga sangat saya anjurkan untuk segera menanganinya.

Tahukah Anda pada dasarnya jika File robots.txt yang ada pada blog atau website Anda memiliki tugas sebagai web crawler, robot web, dan mesin pencari yang tujuannya adalah memfilter mana yang diperbolehkan di akses dan mana yang tidak diperbolehkan yang ada pada seluruh isi konten pada situs Anda. Bagi yang boleh Anda izinkan maka mesin pencari akan merayapinya namun bagi yang telah Anda batasi maka robot.txt tersebut tidak bisa jadi tergantu seprti apa Anda men-setting-nya yang telah Anda tentukan. Karena memang pada iklan AdSense ini akan ditampilkan melalui penggunaan web crawler AdSense yang dipindai dari isi artikel Anda sesuai dengan keyword atau topik Artikel tersebut. Oleh karenanya jika robot.txt telah memblokirnya maka iklan tidak akan tampil iklan yang relevan. Dan akibatnya pendapatan akan menurun yang juga terpengaruh oleh CTR yang Blog atau website Anda tidak relevan.

Dari permasalahan ini mari kita cari solusinya jika Anda menemui juga yang namanya Crawler Errors AdSense dan bagaimana bisa menampilkan iklan yang relevan.

Untuk caranya sebagai berikut:

1). Pertama login ke blogger Anda
2). Masuk ke dasboard
3). Pilih menu Setelan
4). Preferensi Penelusuran – (Perayap dan pengindeksan)
5). Klik edit robot.txt khusus kemudian pada perintah Aktifkan konten robots.txt khusus? pilih YA, Lalu copy dan pastekan kode di bawah ini pada kolom robot.txt khusus. Terlebih dahulu untuk mengganti nama domain sobat, lalu tinggal save saja.

Untuk kode-nya sebagai berikut:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Sebagai catatan: Gantilah URL www.example.com dengan URL blog atau situs Anda. kemudian perlu di INGAT! bahwa Jika blog anda sudah menggunakan https, maka ganti http menjadi https. Jika sudah silahkan Anda tekan menu “Simpan Perubahan”.

Untuk lebih jelasnya apa saja sih fungsi dari kode diatas? yang paling dasar adalah bahwa Anda telah memastikan crawler iklan AdSense bisa merayapi dan mengakses blog atau website Anda dengan demikian maka akan membantu mempermudah untuk menentukan iklan yang relevan. Inilah yang juga akan berpengaruh pada penghasilan atau keuntungan yang akan meningkat dari iklan yang relevan tersebut. Setting ini tidak akan berpengaruh pada peringkat pencarian Google jadi aman untuk di terapkan. Karena penerapan kode diatas hanya untuk membantu menentukan iklan AdSense yang relevan dengan topik Anda jadi jangan takut. Kemudian untuk halaman yang tidak memiliki kode iklan AdSense tidak akan terpengaruh.

Sekalian saya jabarkan fungsi kodenya:

User-agent: Mediapartners-GoogleDisallow:Tujuannya adalah memberitahukan bot crawler supaya merayapi iklan adsense. Sehingga jika blog anda sudah diterima google Adsense, memasang kode ini sangatlah wajib.
User-agent: *Kode ini berfungsi untuk memberitahu mesin pencari Google untuk bisa meng-crawl semua situs laman blog yang Anda miliki, sehingga jika sudah postingan dan halaman  akan ter-index dengan sempurna.
Disallow: /searchBerfungsi untuk memberitahu kepada mesin pencari untuk tidak melakukan index pada penelusuran yang dilakukan pengunjung di blog kita. Ini juga akan memberikan SEO blog Anda.
Allow: /Sitemap: http://www.example.com/feeds/posts/default?orderby=updated 

Sitemap adalah daftar isi dari blog atau situs Anda jadi dengan memberikan kode tersebut akan memberitahu kepada mesin pencari untuk melakukan index pada semua artikel yang kita posting pada blog, selain itu ini juga akan memberikan dampak pada SEO blog dan meningkatkan jumlah pengunjung.

Jika Anda sudah menerapkan langkah di atas, maka Anda sudah bisa mengatasi kesalahan perayapan (Crawler Errors ) pada iklan Google Adsense yang penghasilannya tadi turun sekarang perlahan akan naik dengan sendirinya.

Sekian pembahasan kali ini tentang Permasalahan Cara Mengatasi Masalah Crawler Errors Google Adsense. Semoga artikel yang sedikit ini memberikan informasi yang bermanfaat untuk Anda. Jika ada kekurangan saya mohon maaf jika berkenan mau menambahi atau ingin berbagi dengan pengunjung yang lain silahkan berkomentar di bawah ini Terimakasih salam sukses untuk kita semua.