Manfaat dan fungsi meta robots.txt dan robots spiders

Beriukt ini adalah fungsi dari meta robots.txt :

Manfaat dan fungsi utama dari meta robotst.,txt adalah untuk menentukan halaman blog atau web mana yang  bisa di index atau tidak. Meta tag ini sangat berguna sekali terutama jika seseorag yang mempunyai website atau blog Untuk cepat terindex oleh Search Engine.

Tentunya kita tidak ingin menampilkan halaman-halaman tertentu untuk dibaca oleh search engine.

Format dasar dari meta tag robots.txt adalah sebagai berikut :  
<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"&gt;

Sebagai contoh, jika Anda ingin agar mesin robots membaca main page, dan menelusuri semua link yang ada maka tambahkan perintah berikut ini :

Dengan meta tag perintah seperti ini akan meng-index seluruh main page Anda dan menjadwalkan untuk mengindex halan yang berfungsi menjadi hyperlink contoh :

Berikut ini contoh meta robots yang di beri perintah untuk menelusuri seluruh isi main page :
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">Dan contoh perintah yang akan menginstruksikan agar meta robots tidak meng-index maupun menelusuri link yang ada pada suatu seluruh halaman web ata blog : 

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Dan berikut ini adalah manfaaat atau fungsi dari Robots spider :

Fungsi dari Meta tags Spiders dengan menggunakan keyword  “all” untuk mengizinkan semua spider yang ada untuk menelusuri webatau blog  kita.

Sebenarnya fungsi Spiders sama dengan web crawler. bedanya spiders akan diam diblog kita dan mengetahui aktivitas setiap detiknya, misalnya blog seseorang sudah didiami spiders google, maka ketika dia memposting sebuah artikel, maka dalam hitungan detik artikel tersebut sudah ada di halaman utama google.

Dan berikut ini adalah contoh dari Meta Spiders :

<META CONTENT='ALL' NAME='SPIDERS'/>