# Izinkan semua mesin pencari (Googlebot, Bingbot, dll)
User-agent: *

# Blokir folder yang tidak perlu diindeks
Disallow: /admin/
Disallow: /login/
Disallow: /register/
Disallow: /search/
Disallow: /assets/
Disallow: /uploads/

# Izinkan semua artikel, kategori, halaman publik
Allow: /

# Lokasi sitemap (penting untuk SEO)
Sitemap: https://news.aiotrade.app/sitemap.xml