Kemungkinan yang Hidup di Antara Kepastian
Beberapa tahun lalu, kalau ada bug aneh di production, kita biasanya tahu harus menatap ke mana.
Ke commit terakhir. Ke log yang mencurigakan. Ke asumsi yang ternyata hanya hidup di kepala pembuatnya.
Singkatnya: ke manusia.
Hari ini, ceritanya sedikit berubah. Ada satu “anggota tim” baru yang sering ikut duduk di ruangan itu. Diam. Rapi. Jarang salah sintaks. Namanya AI.
Menariknya, AI hampir tidak pernah terlihat salah. Kodenya bersih. Komentarnya masuk akal. Penjelasannya meyakinkan. Kadang malah terdengar lebih yakin daripada developer yang membacanya. Dan justru di situlah dilema itu mulai terasa.
AI tidak pernah ragu.
Padahal, dalam engineering, sedikit ragu sering kali adalah tanda kedewasaan.
Contoh Nyata: Fitur yang Jalan, Tapi Tidak Masuk Akal
Saya ingat satu fitur yang secara teknis nyaris sempurna.
Semua unit test hijau. Tidak ada error. Tidak ada alarm. Monitoring tenang.
Fitur itu dibuat dengan bantuan AI: validasi input, alur logika, bahkan komentar kodenya terlihat “rapi dan profesional”. Tapi setelah beberapa minggu dipakai, ada pola aneh. Sistem tidak rusak, tapi keputusan-keputusan kecil yang diambilnya terasa tidak selaras dengan cara bisnis sebenarnya berjalan.
Misalnya, AI menyederhanakan sebuah query karena terlihat terlalu panjang dan “redundant”. Secara logika umum, perubahan itu masuk akal. Query jadi lebih ringkas, lebih cepat, dan tetap lolos semua test. Masalahnya, satu kondisi kecil ikut hilang: pembatas data per tenant.
Tidak ada error. Tidak ada warning. Tapi perlahan, data milik satu pelanggan mulai bisa terbaca oleh pelanggan lain. Bukan karena bug klasik, tapi karena AI menganggap aturan itu tidak penting—karena ia hanya melihat pola, bukan konteks bisnis yang tidak pernah tertulis. Ada yang bilang sistem buatan AI bekerja untuk 10 data pertama, data berikutnya akan menunjukkan sisi sebenarnya. Tapi…
AI tidak tahu.
Ia hanya melihat pola.
Secara statistik masuk akal.
Secara sistem, tidak waras.
Halusinasi AI dan Dunia Probabilitas
Di titik itu saya mulai memahami sesuatu yang penting: halusinasi AI bukan bug. Ia adalah sifat dasar.
AI bekerja di dunia probabilitas—dunia kemungkinan. Artinya, ia tidak pernah benar-benar “tahu”. Ia memperkirakan. Ia memilih jawaban yang paling mungkin benar berdasarkan pola yang pernah ia lihat.
Ini bukan hal buruk. Justru di situlah kekuatannya.
Tapi penting untuk disadari: paling mungkin benar bukanlah pasti benar.
Dan perbedaan kecil itu menjadi masalah besar ketika AI dipakai di tempat yang menuntut kepastian.
Dunia Deterministik yang Kita Bangun Selama Ini
Sebagian besar software yang kita bangun hidup di dunia deterministik.
Sedikit istilah, tapi sederhana maknanya: input yang sama harus menghasilkan output yang sama, kapan pun dijalankan.
Sistem pembayaran bekerja seperti ini.
Sistem otorisasi bekerja seperti ini.
Audit dan laporan keuangan hanya mengenal dunia ini.
Rekening bank tidak boleh berubah karena sistem hari ini “merasa” transaksinya masuk akal. Sistem izin akses tidak boleh longgar hanya karena model menilai risikonya kecil. Audit tidak mengenal istilah hampir benar.
Sekali saja meleset, dampaknya bukan sekadar bug. Bisa jadi insiden. Bisa jadi masalah hukum.
Dan di sinilah konflik itu muncul: probabilitas bertemu determinisme.
Vibecoding dan Ilusi Kendali
Benturan ini makin terasa sejak muncul budaya vibecoding. Menulis prompt dengan rasa percaya. Menjelaskan maksud, lalu berharap sistem menangkap niat kita.
Awalnya terasa seperti sihir. Fitur cepat jadi. Produktivitas melonjak. Tapi pelan-pelan muncul pertanyaan yang lebih penting: siapa yang sebenarnya memegang kendali?
Saya pernah melihat vibecoding dipakai untuk membangun workflow bisnis penuh—approval, validasi, bahkan perubahan data sensitif. Secara teknis, tidak ada yang salah. Semua berjalan.
Sampai seseorang bertanya:
“Kalau AI salah menafsirkan satu aturan, siapa yang bertanggung jawab?”
Pertanyaan itu tidak dijawab dengan cepat. Dan itu sudah cukup jadi sinyal.
Masalahnya Bukan AI, Tapi Perannya
Masalahnya bukan pada AI. Dan bukan juga pada vibecoding. Masalahnya ada pada peran.
Kita sering lupa bahwa probabilitas dan determinisme berasal dari dua dunia yang berbeda. Yang satu cair, adaptif, penuh kemungkinan. Yang lain kaku, membosankan, tapi bisa dipercaya.
Sistem deterministik memang tidak kreatif. Tapi justru karena itu ia bisa diaudit, dijelaskan, dan dipertanggungjawabkan.
AI tidak hidup di dunia itu.
Ketika Probabilitas Menghadapi Akuntabilitas
Probabilitas adalah musuh alami akuntabilitas.
Ketika sebuah sistem ditanya, “kenapa hasilnya seperti ini?”, sistem deterministik bisa menunjuk aturan. Sistem probabilistik hanya bisa berkata, “karena model menilai ini paling mungkin.”
Jawaban yang terdengar cerdas, tapi tidak pernah benar-benar memuaskan.
Di sinilah arsitektur seharusnya berperan sebagai orang dewasa di ruangan itu.
AI sebagai Penasihat, Bukan Hakim
AI yang matang tidak duduk di kursi hakim. Ia duduk di bangku penasihat. Ia boleh memberi saran, membuka kemungkinan, dan menunjukkan pola yang tidak terlihat.
Tapi palu keputusan harus dipegang oleh sesuatu yang kaku: aturan eksplisit, validasi deterministik, atau manusia yang siap bertanggung jawab.
Sejak itu, saya mulai memegang satu prinsip sederhana: semua output AI diperlakukan seperti input dari user anonim. Tidak dipercaya secara default. Harus divalidasi. Harus bisa ditolak.
Pendekatan ini memang tidak se-seksi demo AI di media sosial. Tapi justru di situlah letak kedewasaannya.
Penutup: Pertanyaan untuk Kamu yang Membangun Sistem
Menariknya, semakin jelas batas peran ini, AI justru semakin berguna. Ia berhenti menjadi sumber risiko, dan mulai menjadi sumber leverage. Ia mempercepat hal yang tepat, tanpa mengaburkan tanggung jawab.
Di era ketika semua orang bisa menulis kode dengan bantuan AI, nilai seorang engineer tidak lagi diukur dari seberapa cepat ia mengetik. Nilainya ada pada kejelasan berpikir. Pada kemampuan membedakan mana yang boleh spekulatif, dan mana yang harus mutlak.
Maka mungkin pertanyaannya bukan lagi “seberapa pintar AI yang kamu pakai?”, tapi:
- Di sistem yang kamu bangun sekarang, di mana AI ditempatkan?
- Apakah ia hanya memberi saran, atau diam-diam sudah mengambil keputusan?
- Jika besok ada audit atau insiden, apakah kamu bisa menjelaskan setiap keputusan sistem tanpa berkata, “karena AI bilang begitu”?
Kalau pertanyaan-pertanyaan itu terasa tidak nyaman, mungkin bukan AI-nya yang perlu dikurangi.
Mungkin batasnya yang perlu diperjelas.
Dan di situlah, biasanya, arsitektur yang dewasa mulai lahir.
mesbach 
Anda harus log masuk untuk menerbitkan komentar.