Bahasa Pertanyaan Mengubah Rekomendasi AI: Ringkasan Uji 320 Jawaban dari Delapan Asisten
Catatan: tulisan ini merupakan ringkasan riset praktisi yang dilakukan Arfadia, bukan makalah ilmiah yang telah ditelaah sejawat.
Latar Belakang
Semakin banyak calon pembeli meminta rekomendasi pemasok kepada asisten kecerdasan buatan (AI). Bidang yang mempelajari cara sebuah merek muncul dalam jawaban tersebut dikenal sebagai Generative Engine Optimization (GEO), AEO, atau LLMO. Sebagian besar penelitian yang tersedia berfokus pada bahasa Inggris. Uji ini mempertanyakan apakah pertanyaan yang sama dalam bahasa Inggris dan bahasa Indonesia menghasilkan rekomendasi perusahaan yang sama.
Metode
Disusun 20 pertanyaan pembeli tentang sepuluh kategori ekspor Indonesia, masing-masing dalam versi bahasa Inggris dan Indonesia dengan makna yang sama. Keempat puluh versi pertanyaan diajukan kepada delapan asisten, yaitu ChatGPT, Gemini, Google AI Overviews, Google AI Mode, Perplexity, Copilot, Claude, dan Grok, sehingga menghasilkan 320 jawaban.
Setiap pertanyaan diajukan di jendela peramban privat yang baru. Pengujian dilakukan oleh lima orang di Indonesia pada 28 sampai 30 September 2026, dengan tangkapan layar untuk setiap jawaban. Sebagai kontrol, lima pertanyaan berbahasa Inggris diulang masing-masing lima kali di ChatGPT, Perplexity, dan Google AI Overviews, sehingga menambah 75 jawaban.
Tumpang tindih diukur sebagai jumlah perusahaan yang muncul di kedua jawaban dibagi seluruh perusahaan yang disebut di salah satunya.
Temuan
Rata-rata tumpang tindih antara jawaban bahasa Inggris dan Indonesia hanya 21 persen. Pada 28 persen pasangan pertanyaan, tidak ada satu pun perusahaan yang muncul di kedua jawaban.
Pengulangan pertanyaan yang sama dalam bahasa yang sama menghasilkan tumpang tindih 39 persen di ChatGPT, 34 persen di Perplexity, dan 46 persen di Google AI Overviews. Ketika bahasanya diganti, angkanya turun menjadi 21 persen, 11 persen, dan 14 persen. Artinya, perbedaan akibat bahasa jauh lebih besar daripada variasi biasa.
Jawaban atas pertanyaan berbahasa Inggris hampir seluruhnya bersumber dari halaman berbahasa Inggris. Dari 160 jawaban, hanya satu yang seluruhnya bersumber dari halaman berbahasa Indonesia. Jawaban berbahasa Inggris juga menyebut rata-rata 7,5 perusahaan, dibanding 5,7 pada jawaban berbahasa Indonesia.
Nicolas Magor, CMO & Head of International Growth Arfadia yang memimpin uji ini, mengakui besarnya selisih di luar perkiraan.
"Kami tidak menyangka selisihnya sebesar ini. Mengulang pertanyaan yang sama saja sudah mengubah jawaban, tapi mengganti bahasa mengubahnya jauh lebih banyak," kata Nicolas.
Temuan ini relevan bagi merek asing yang hendak masuk ke Indonesia. Arfadia menerbitkan panduan terbuka Indonesia Market Entry yang memetakan enam jalur masuk pasar, yaitu badan hukum, kepatuhan digital, sertifikasi produk, merek dagang, perdagangan dan pembayaran, serta visibilitas digital. Arfadia mengerjakan jalur visibilitas digital, sedangkan pendirian perusahaan, pendaftaran merek, registrasi BPOM, dan sertifikasi halal ditangani notaris dan konsultan berizin.
Keterbatasan
Uji ini mencakup sepuluh kategori, satu negara, dan tiga hari pengujian. Hasilnya menunjukkan arah, bukan peringkat perusahaan tertentu. Nama perusahaan dicocokkan dengan aturan sederhana. Dengan pencocokan persis, tumpang tindih turun menjadi 14 persen. Pengujian dilakukan dari Indonesia, sehingga pengguna di negara lain bisa memperoleh jawaban berbeda.
Implikasi
Perusahaan yang menjual ke luar negeri perlu memastikan informasi tentang dirinya tersedia dalam bahasa yang dipakai pembeli sasaran. Audit visibilitas di AI juga sebaiknya dilakukan dalam dua bahasa dan dilaporkan per platform.
Bagi penyedia jasa, mulai dari digital marketing agency terbaik hingga PR agency dan konsultan online reputation management, temuan ini menunjukkan bahwa pengukuran berbahasa tunggal berisiko memberi gambaran yang tidak lengkap.
Rujukan
Uji ini disusun tim Arfadia bersama Founder dan CEO-nya, pakar SEO dan GEO Tessar Napitupulu. Arfadia juga menerbitkan tiga laporan riset terbuka di Zenodo dengan DOI 10.5281/zenodo.21095254, 10.5281/zenodo.21100366, dan 10.5281/zenodo.21100877, serta kerangka pengukuran RoGEO untuk layanan Generative Engine Optimization. Nomor DOI menunjukkan laporan terdaftar dan dapat dilacak, bukan bukti telah melalui telaah sejawat.