Lompat ke konten Lompat ke sidebar Lompat ke footer

Robot Text SEO

soligruppe.org - Kegiatan optimasi website dapat melalui artikel juga, artikel berfungsi untuk meningkatkan trafik pengunjung dalam website utama. Namun artikel juga harus dilakukan optimasi agar dapat terhubung ke website utamanya. Untuk optimasi artikel yang dilakukan oleh pakar adalah menggunakan sebuah tools.



Tools tersebut tidak lain adalah robot text SEO sering disebut sebagai robot SEO.txt. Tools itu berfungsi untuk memberikan sekumpulan informasi kepada bot search engine. Robot text adalah sekumpulan kode berbentuk teks dengan tujuan memberi instruksi kepada search engine.

Hubungan Robot Teks dengan SEO

Robot teks merupakan salah satu strategi harus ada pada optimasi website. Dengan menggunakan tools tersebut akan memberikan arahan kepada mesin pencari agar dapat ditemukan dengan mudah. Selain itu juga memberikan bantuan untuk mempermudah mesin pencari dalam mengindeks website Anda. 

Kelebihan selanjutnya adalah untuk menghindari crawling akan memberatkan beban website. Dengan demikian website akan terjaga dari crawling. Tools biasanya bernama folder public_html, sudah disediakan bagi seluruh pengguna dalam membuat website. Namun file tersebut tidak dapat dihapus maupun diakses siapapun.

Namun ada cara membuat folder public tersebut dapat menjadi bermanfaat tanpa harus menghapus maupun merubah file. Dengan cara membuat sendiri sebuah perintah berbentuk file dengan tujuan memperbarui file tersebut. Cara merubahnya terbilang cukup rumit dikarenakan harus bisa membuat script konfigurasi secara manual.

Berikut adalah cara membuat script agar dapat mengatur robot.txt

  • User-agent: *

Merupakan kode awal sebagai jalan memulai sebuah perintah pengaturan website, sedangkan tanda bintang (*) sebagai informasi pengaturan universal. Sebagai contoh mengatur larangan adsbot sebagai berikut

  • User-agent: Adsbot-Google

  • Disallow: /

Maka secara otomatis iklan berbentuk ads milik google tidak dapat masuk kedalam website.

Berikut ini adalah cara melakukan konfigurasinya:


  • Disallow: /cgi-bin

  • Disallow: /wp-admin

  • Disallow: /wp-includes

  • Disallow: /wp-content

  • User-agent: Bingbot

Sedangkan perintah untuk mengatur penambahan dan perizinan mesin pencari agar dapat melakukan crawl, Anda harus menambahkan beberapa baris skrip baru yaitu:

  • User-agent: Mediapartners-Google

  • Allow: /

  • User-agent: Adsbot-Google

  • Allow: /

  • User-agent: /Googlebot-Mobile

  • Allow: /

  • Sitemap: https:// (masukan link website Anda)

Tidak semua webmaster memberikan cara merubah maupun mengganti robot.txt yang sudah dibuatnya dalam keadaan apapun. Namun hal tersebut dapat Anda pelajari, dikarenakan ada beberapa plugin SEO yang memberikan fitur tersebut. Berikut ini beberapa plugin menyediakan perubahan alat tersebut.

  1. Yoast SEO

Masuk file editor pada tab tools. Disini Anda sudah mendapati robot.txt milik wordpress. Dimana skrip tersebut merupakan pengaturan standar yang sudah ditetapkan oleh wordpress sendiri.


Memang disini dapat ditambahkan berbagai macam skrip, akan tetapi harus berhati-hati dan lebih teliti dalam menambahkan skrip. Agar tidak terjadi kesalahan informasi diberikan kepada mesin pencari. Pada umumnya kesalahan itu berbentuk seperti terjadinya pengaturan saling tumpang tindih maupun saling berbenturan satu sama lainnya.


  1. All in One SEO Pack

Plugin kedua ini terbilang mirip dengan Yoast, baik fitur dan penggunaannya sama. Namun ada beberapa penempatan berbeda dari sistemnya. Apabila dibandingkan dengan yoast, penggunaan yoast lebih friendly dan lebih mudah dalam mengakses fitur yang sudah disediakan.


Jangan menganggap bahwa plugin ini tidak bagus, karena setiap sistem tentunya memiliki keunggulan dan kekurangan masing-masing. Dari yang sudah dijelaskan diatas merupakan kelemahan dari all in one SEO pack, sedangkan kelebihannya dari segi robot.txt adalah ketersediaan kode-kode sudah ditulis langsung. 


Sehingga Anda tidak perlu repot atau ribet dalam melakukan penulisan script. Menu scipt sudah disediakan keseluruhan, sehingga hanya perlu menambahkan admin akan dituju dan menjadi sasaran dalam melakukan pengaturan robot.txt.

Robot.txt juga memiliki batasan dalam penggunaannya. Berikut ini merupakan kelemahan dari tools:

  • Perintah atau script tidak didukung oleh semua mesin pencari

Beberapa mesin pencari memang mematuhi aturan yang diberikan oleh robot teks. Namun beberapa juga tidak membaca atau mengetahui informasi yang diberikannya. Oleh karena itu ada baiknya untuk menggunakan metode private atau memblokir, dengan menggunakan sandi pada website yang tidak boleh diakses atau di tampilkan.


  • Crawler berbeda membutuhkan script berbeda

Tiap crawler tentunya memiliki kemampuan memecah atau menerima informasi berbeda dari robot.txt, disini sistem kerjanya hampir sama dengan penjelasan diatas. Namun dalam hal ini tentunya masih dapat diatasi dengan cara Anda harus mengetahui keseluruhan perintah yang memang sering digunakan untuk crawler.


  • Halaman diblokir oleh tools tetap dapat diakses

Halaman yang disembunyikan dari google atau mesin telusur lainnya tetap dapat diakses apabila link atau alamat URL situs terpasang atau ditautkan pada website lain. Dalam hal ini Anda harus mengingat untuk tidak mengikut sertakan alamat URL yang memang ingin disembunyikan.

Bagaimana menurut Anda terkait penjelasan dan cara penggunaan robot text SEO tersebut. Semoga dapat membantu dalam menjalankan optimasi dan memecahkan masalah seperti crawler, menyembunyikan beberapa konten atau media dari google.


Posting Komentar untuk "Robot Text SEO"