Terminal-Bench 2.1: Standar Baru Uji Performa AI Agent?

Makin banyak AI agent yang diklaim bisa bekerja sendiri. Tapi, bagaimana cara membuktikannya secara objektif? apa itu Terminal-Bench 2.1? Singkatnya, ini benchmark untuk menguji kemampuan AI agent menyelesaikan tugas kompleks secara otonom di lingkungan container. Artikel ini membahas cara kerja, fungsi, perbaikan versi 2.1, hingga cara membaca skornya.

Apa Itu Terminal-Bench 2.1?

Terminal-Bench 2.1 adalah benchmark yang dirancang untuk menguji apakah AI agent benar-benar mampu menyelesaikan pekerjaan teknis yang kompleks secara mandiri di lingkungan terminal.

Benchmark ini dikembangkan melalui kolaborasi Stanford University dan Laude Institute. Berbeda dari benchmark yang hanya meminta model menjawab pertanyaan atau menghasilkan potongan kode, Terminal-Bench memberikan agent lingkungan kerja yang bisa dieksekusi.

Jadi, agent tidak hanya bisa mengatakan, “jalankan perintah ini.”

Agent harus benar-benar menjalankan perintah tersebut, melihat hasilnya, menemukan error jika ada, lalu memperbaiki langkahnya sampai tugas selesai.

Baca Juga: Benchmark VPS: Panduan Tes Kecepatan dan Kinerja Server

Jenis tugasnya pun cukup dekat dengan pekerjaan developer dan engineer sehari-hari. Mulai dari debugging kode asinkron, konfigurasi server, pengelolaan repository, pemrosesan data, sampai tugas keamanan dan kompilasi software.

Karena itu, Terminal-Bench menarik perhatian vendor AI agent seperti Claude Code, Codex CLI, dan Gemini CLI. Benchmark ini memberi mereka cara yang lebih konkret untuk menunjukkan kemampuan agent dalam mengoperasikan lingkungan command-line, bukan hanya kualitas percakapan.

Baca Juga: Sudah Tahu Meta Business Agent? Ini Manfaat buat Bisnismu

Cara Kerja Terminal-Bench 2.1

Kalau kamu baru mengenal benchmark performa AI agent, cara kerja Terminal-Bench cukup mudah dipahami. Agent diberi tugas, lingkungan untuk bekerja, lalu sistem memeriksa apakah hasil akhirnya benar.

Struktur Satu Task

Merangkum dari Kii Technology dan Joinnextdev, setiap task Terminal-Bench 2.1 memiliki lima komponen utama:

1. Instruksi bahasa natural

Task ditulis seperti instruksi engineer kepada rekannya, bukan pseudocode yang kaku. Misalnya, agent diminta menyiapkan Git server melalui SSH, membuat deployment dari dua branch ke endpoint HTTPS berbeda menggunakan Nginx, lalu memastikan setiap push memicu deployment melalui post-receive hook.

Artinya, agent harus memahami konteks sekaligus menjalankan command yang tepat.

2. Environment Docker

Setiap task berjalan di container dengan kondisi awal tertentu. Di sinilah AI agent command-line diuji. Agent perlu menginstal dependency, mengubah konfigurasi, menjalankan program, dan menangani error yang muncul.

3. Script validasi otomatis

Penilaian tidak bergantung pada command tertentu, tetapi pada kondisi akhir sistem. Contohnya, validator dapat melakukan clone dan push dua branch, lalu memeriksa apakah setiap endpoint HTTPS menampilkan konten yang sesuai.

Jadi, agent boleh menggunakan cara berbeda selama hasil akhirnya benar.

4. Solusi referensi buatan manusia

Setiap task memiliki solusi referensi untuk memastikan tugas dapat diselesaikan dan instruksinya tidak ambigu.

5. Batas waktu

Agent memiliki time limit. Karena itu, benchmark juga menguji efisiensi dalam merencanakan dan menyelesaikan masalah.

Cakupan 89 Task

Terminal-Bench 2.1 mempertahankan 89 task dari versi 2.0, mencakup software engineering, system administration, data processing, model training, dan security.

Tugasnya beragam, mulai dari memulihkan database SQLite yang rusak dan mengekspornya ke JSON, hingga melakukan cross-compilation Doom untuk arsitektur MIPS sampai menghasilkan file ELF yang berjalan di emulator.

Dari sini terlihat bahwa agent tidak cukup hanya “bisa coding”. Ia harus memahami environment, membaca error, memilih pendekatan, dan menggabungkan beberapa command.

Bagaimana Skornya Dihitung?

Penilaian bersifat binary per task: berhasil atau gagal. Validator memeriksa kondisi akhir berdasarkan test suite. Agent boleh memakai pendekatan berbeda dari solusi referensi selama memenuhi kriteria.

Hasilnya biasanya dilaporkan sebagai pass@1, yaitu tingkat keberhasilan dalam satu percobaan. Perlu diingat, skor dari Artificial Analysis, JoinNextDev, dan Harbor Hub bisa berbeda karena harness atau environment evaluasinya tidak selalu sama.

Mengapa Terminal-Bench 2.1 Penting?

Terminal-Bench bukan hanya soal siapa yang memiliki skor paling tinggi di leaderboard. Ada beberapa fungsi praktis yang membuat benchmark ini relevan bagi developer maupun perusahaan.

Mengukur Kemampuan Agent Bekerja Secara Otonom

Terminal-Bench 2.1 berfungsi untuk melihat apakah agent benar-benar dapat bekerja di lingkungan teknis. Artinya, agent harus merencanakan tindakan, mengeksekusi command, mengamati hasil, mengenali kesalahan, lalu melakukan koreksi. Pola ini jauh lebih dekat dengan pekerjaan engineer dibanding sekadar menjawab pertanyaan dalam chatbot.

Membantu Pemilihan AI Agent

Misalnya, sebuah tim engineering ingin menggunakan AI agent untuk membantu otomasi CI/CD. Mereka dapat menetapkan threshold performa tertentu sebagai salah satu kriteria pemilihan AI agent.

Skor benchmark bahkan dapat dimasukkan ke requirement vendor atau RFP. Dengan begitu, keputusan tidak hanya berdasarkan demo yang terlihat bagus atau klaim “agent paling pintar”.

Tetap saja, benchmark sebaiknya menjadi salah satu parameter, bukan satu-satunya parameter.

Memberi Tolok Ukur untuk Membandingkan Vendor

Ketika vendor mengatakan agent mereka “terbaik di kelasnya”, kamu punya alasan untuk bertanya: berdasarkan pengujian apa?

Leaderboard dan hasil evaluasi independen dapat menjadi titik awal untuk meminta bukti yang lebih terukur. Ini membuat diskusi tentang kemampuan AI agent sedikit lebih objektif.

Membantu Riset dan Pengembangan Model

Bagi lab AI, benchmark juga berguna untuk menemukan kelemahan model.

Task yang gagal dapat dianalisis untuk mengetahui apakah masalahnya berasal dari reasoning, penggunaan tools, kemampuan coding, pemahaman environment, atau strategi recovery ketika terjadi error.

Apa yang Diperbaiki dari Terminal-Bench 2.0?

Terminal-Bench versi 2.1 sejatinya bukan hanya hanya pergantian angka versi dari generasi sebelumnya, 2.0.

Dari 89 task, 28 task diperbaiki untuk mengatasi berbagai masalah yang ditemukan pada versi 2.0. Brief juga mencatat adanya perbedaan angka pada beberapa sumber yang menyebut 26 task, sehingga angka tersebut sebaiknya diverifikasi kembali sebelum publikasi final.

Masalah yang diperbaiki terutama terbagi menjadi tiga:

• Dependency eksternal yang berubah.
  Package, API, atau tools tertentu dapat berubah sejak benchmark dibuat sehingga task yang sebelumnya valid menjadi bermasalah.
• Resource dan timeout yang terlalu ketat.
  Agent dapat memiliki solusi yang benar, tetapi gagal karena waktu atau resource yang diberikan tidak mencukupi.
• Ketidaksesuaian antara instruksi dan validator
  Dalam kondisi seperti ini, agent bisa mengikuti instruksi dengan benar tetapi tetap dianggap gagal karena sistem validasinya memeriksa sesuatu yang berbeda.

Versi 2.1 juga memperkenalkan continuous validation, sehingga benchmark dapat terus dipantau dan divalidasi seiring perubahan environment. Tujuannya sederhana: skor seharusnya merepresentasikan kemampuan agent, bukan kebetulan menemukan benchmark yang sedang rusak.

Siapa yang Memimpin Leaderboard Terminal-Bench 2.1?

Berdasarkan leaderboard Terminal-Bench v2.1 dari Artificial Analysis, Claude Opus 4.6 menempati posisi teratas dengan skor 62,1%. Model ini dievaluasi menggunakan Claude Code dan berhasil menyelesaikan 55 dari 89 task yang tersedia.

Peringkat	Model/Agent	Interface	Skor
1	Claude Opus 4.6	Claude Code	62,1%
2	GPT-5.3-Codex	Codex CLI	59,1%
3	Claude Opus 4.5	Claude Code	56,2%
4	GPT-5.2-Codex	Codex CLI	54,0%
5	Gemini 3.1 Pro Preview	Gemini CLI	52,8%
6	Claude Sonnet 4.6	Claude Code	51,7%
7	GPT-5.1-Codex-Max	Codex CLI	50,6%
8	GPT-5.2	Codex CLI	48,3%

Catatan: skor pada tabel mengacu pada leaderboard Artificial Analysis untuk Terminal-Bench v2.1. Hasil dapat berubah apabila evaluator memperbarui data, model, atau konfigurasi pengujian.

Dari data tersebut, Claude Opus 4.6 memimpin dengan skor 62,1%, disusul GPT-5.3-Codex sebesar 59,1%. Selisih sekitar tiga poin persentase menunjukkan persaingan AI agent dalam menyelesaikan tugas terminal semakin ketat. Claude Opus 4.5 berada di posisi ketiga dengan 56,2%, diikuti GPT-5.2-Codex sebesar 54,0% dan Gemini 3.1 Pro Preview melalui Gemini CLI dengan 52,8%.

Namun, angka tersebut perlu dibaca hati-hati. Pada laporan JoinNextDev, Claude Fable 5 tercatat 88,0%, sementara Claude Opus 4.8 tercatat 78,9%. Hasil Harbor Hub juga menunjukkan variasi skor untuk beberapa model. 

Karena itu, jangan hanya melihat angka terbesar pada leaderboard Terminal-Bench. Perhatikan evaluator, environment, task, interface, tanggal pengujian, dan metodologi scoring. 

Perbedaan skor dapat berasal dari metode evaluasi, bukan semata-mata kemampuan model. Jadi, pertanyaan “mana benchmark terbaik AI agent 2026?” tidak cukup dijawab dengan satu leaderboard.

Kesimpulan

Terminal-Bench 2.1 menguji kemampuan AI agent secara lebih realistis. Agent harus bekerja langsung di environment, menjalankan command, menangani error, dan mencapai hasil akhir sesuai kriteria.

Pembaruan versi 2.1 penting untuk menjaga validitas benchmark. Tanpa validasi dan pemeliharaan rutin, hasil evaluasi dapat dipengaruhi masalah dependency, resource, atau environment.

Namun, skor benchmark bukan jaminan mutlak performa di dunia nyata. Gunakan hasilnya sebagai salah satu pertimbangan, bukan satu-satunya dasar saat memilih AI agent.

Kamu juga dapat menguji AI agent, n8n, atau project AI sendiri melalui environment server seperti AI Hosting dari IDwebhost. Dengan begitu, kemampuan agent bisa dinilai berdasarkan kebutuhan dan workflow yang benar-benar kamu gunakan.