KYIV, Ukraina – Pada hari pertama perang AS-Iran, rudal jelajah Tomahawk menghantam sekolah dasar Shajareh Tayyebeh di Minab, selatan Iran. Setidaknya 168 orang tewas – lebih dari 100 di antaranya berusia di bawah 12 tahun, menurut pejabat PBB dan Iran.
Gedung sekolah tersebut berjarak kurang dari 100 yard dari instalasi angkatan laut Pasukan Pengawal Revolusi Islam yang telah lama berada di sana dan sebelumnya berada dalam perimeter kompleks IRGC sampai dinding muncul antara 2013 dan 2016, menurut analisis citra satelit oleh Amnesty International.
Saat AS dan Israel melancarkan serangan pertama mereka pada 28 Februari, sekolah tersebut telah berdiri beberapa tahun sebelumnya. Sekolah ini aktif di media sosial dan memiliki situs web sendiri, demikian temuan penyelidikan Reuters.
Jadi, apa yang salah?
“Apakah kecerdasan buatan, termasuk penggunaan Sistem Cerdas Maven, digunakan untuk mengidentifikasi sekolah Shajareh Tayyebeh sebagai target?” lebih dari 120 Demokrat Gedung memberikan pertanyaan ini dalam surat kepada Pentagon pada 12 Maret, hanya beberapa hari setelah 46 Demokrat Senat mengirim permintaan serupa untuk klarifikasi tentang serangan mematikan tersebut.
Sistem Cerdas Maven, platform intelijen dan penargetan yang dibangun oleh perusahaan analitik data Palantir Technologies di bawah kontrak Pentagon senilai $1.3 miliar, dibangun untuk mengatasi masalah yang tumbuh pesat dalam beberapa tahun terakhir: beban informasi – dengan kecerdasan buatan sebagai senjata rahasianya.
Maven menyatukan citra satelit, feeds drone, data radar, dan intelijen sinyal ke dalam antarmuka tunggal, kemudian mengklasifikasikan target, merekomendasikan sistem senjata, dan menghasilkan paket serangan secara nyaris real time, memperpendek alasan rantai pembunuhan dan pengambilan keputusan ke dalam jangka waktu tercepat yang pernah terjadi di medan perang.
Dan ia menggunakan model AI Claude dari Anthropic, yang tertanam dalam sistemnya, untuk secara semi-otomatis mengklasifikasikan target berdasarkan pentingnya strategis, menyusun justifikasi hukum otomatis untuk setiap serangan sepanjang jalan.
Perangkat lunak ini menghasilkan ratusan koordinat serangan dalam 24 jam pertama kampanye Iran, memungkinkan AS melakukan lebih dari 1.000 serangan dalam 24 jam pertama perang, menurut The Washington Post.
Setelah sumber yang diberi informasi tentang temuan awal memberi tahu CNN bahwa Central Command AS telah membuat koordinat penargetan menggunakan intelijen usang yang diberikan oleh Badan Intelijen Pertahanan yang belum diperbarui untuk mencerminkan keberadaan sekolah, satu pertanyaan menjadi pusat dari penyelidikan: “Jika demikian, apakah manusia memverifikasi akurasi target ini?” tanya mereka.
Mereka masih menunggu penjelasan resmi.
Operator drone Ukraina yang membangun dan menerapkan sistem penargetan semi-otomatis di garis depan mengatakan kepada Military Times bahwa mereka langsung mengenali orang yang diduga sebagai pelaku.
Ihor Matviyuk, direktur Aero Center, sebuah perusahaan drone Ukraina yang membangun dan menerapkan drone semi-otomatis di garis depan perang dengan Rusia, mengatakan ia bisa membayangkan dengan tepat bagaimana kegagalan itu terjadi.
Meskipun ia tidak memiliki pengetahuan internal tentang serangan di Minab secara khusus, awal bulan ini ia mengatakan hal itu menunjukkan ciri-ciri kegagalan penargetan – bukan gangguan AI.
“Hampir pasti serangan terjadi pada koordinat [yang diberikan],” kata Matviyuk kepada Military Times. “Masalah utamanya bukanlah AI – tetapi seberapa dekat objek militer itu dengan sekolah.”
Minggu lalu, mantan pejabat militer yang berbicara kepada Semafor mengonfirmasi penilaian awal Matviyuk: “Manusia – bukan AI – bertanggung jawab” atas serangan sekolah, mereka mengatakan, menunjuk pada data manusia yang kuno yang dimasukkan ke dalam platform penargetan Maven Pentagon.
Matviyuk mengenali pola tersebut karena ia telah harus memutuskan seberapa banyak AI yang akan digunakan dalam sistem senjata semi-otomatisnya sendiri berulang kali seiring dengan evolusi cepat perang drone dan kemampuan perangkat lunak di medan perang Ukraina.
“Penargetan otomatis memungkinkan kami menangkap kurang dari separuh target, bukan lebih,” kata Matviyuk. “Karena semuanya masih tercamouflase.”
Data Departemen Pertahanan membuktikan hal itu. Maven dapat mengidentifikasi objek dengan akurasi kira-kira 60% secara keseluruhan – dibandingkan dengan 84% untuk analis manusia.
Tetapi tingkat tersebut turun di bawah 30% dalam kondisi buruk, seperti cuaca buruk atau visibilitas rendah, menurut data Pentagon yang dipublikasikan dalam laporan Bloomberg 2024.
Risiko dari “kerusakan sekunder,” seperti serangan terhadap sekolah di Minab yang mungkin dikategorikan dalam terminologi militer, terlalu tinggi – itulah mengapa Aero Center dan setiap perusahaan drone Ukraina lainnya yang berbicara dengan Military Times mengatakan mereka selalu meninggalkan keputusan serangan terakhir kepada operator manusia.
“Dampak langsung selalu dilakukan atas perintah operator,” kata Matviyuk, “untuk mencegah warga sipil masuk dalam sasaran.”
Pada 2021, kecerdasan buatan penargetan Angkatan Udara AS yang eksperimental mencapai akurasi kira-kira 25% dalam kondisi nyata, meskipun menilai keyakinannya sendiri sebesar 90%, kata Jenderal Brigade Daniel Simpson, mantan wakil kepala staf intelijen, survei, dan pengintaian Udara Force, kepada Defense One.
“Ini salah dengan penuh keyakinan,” kata Simpson, menggambarkan masalah program itu. “Dan itu bukan kesalahan algoritma. Itu karena kami memberinya data pelatihan yang salah.”
Situasi ini tidak diharapkan akan membaik. Bulan lalu, Hegseth memotong tenaga kerja Pusat Keunggulan Perlindungan Sipil sekitar 90% dan memangkas tim penilaian kerugian warga sipil CENTCOM dari 10 menjadi satu, lapor Politico.
Lalu, setelah meninggalkan staf kerangka untuk mengawasi pagar terbesar perluasan AI di militer, Wakil Menteri Pertahanan Steve Feinberg menandatangani memo awal bulan ini yang memformalkan peran AI dalam pengambilan keputusan militer – menunjuk Maven sebagai program resmi catatan dan mendorong adopsi di seluruh cabang militer AS pada September, lapor Reuters pada Jumat.
Pembuat senjata Ukraina seperti Matviyuk tidak enggan memberikan AI lebih banyak otonomi, tetapi mereka menggunakannya secara strategis.
Penargetan otomatis efektif untuk “operasi ofensif massal, di mana target tidak tercamouflage,” katanya, sebuah deskripsi yang mungkin cocok dengan instalasi militer Iran yang tetap, yang jauh lebih sedikit tersembunyi daripada sebagian besar posisi di garis depan Ukraina.
“Kami mendukung gagasan untuk menggunakan unsur manusia semakin sedikit dalam pekerjaan operator drone,” kata Matviyuk. “Otonomi, elemen otonom drone – itulah hal yang kami kerjakan.”
Masalahnya, menurut pandangannya, bukan bahwa Pentagon menggunakan AI. Melainkan bahwa data di balik target tersebut tidak diperbarui sejak sekolah perempuan menggantikan markas militer di koordinat yang sama – dan orang-orang yang tugasnya adalah memverifikasi data itu telah dipotong dari rantai.
Sistem AI hanya dapat diandalkan sebaik orang-orang yang membangun, memberi makan, dan mengawasi mereka, tekankan Matviyuk.
Ketika mata rantai manusia gagal, baik melalui data buruk, pengawasan yang dipotong atau waktu yang dipadatkan – mesin akan terus melaksanakan kesalahan tersebut dengan presisi.
Mantan direktur intelijen CENTCOM, Letnan Jenderal Karen Gibson, dengan tegas memberi tahu panel Center for Strategic and International Studies pekan lalu tentang di mana akuntabilitas untuk serangan mematikan berada, terlepas dari otonomi senjata.
“Saya selalu kembali pada prinsip fundamental tanggung jawab dan akuntabilitas manusia,” katanya. “Seorang komandan di suatu tempat pada akhirnya akan bertanggung jawab – bukan mesin atau insinyur perangkat lunak.”
