Forem: Nugroho Ardi Sutrisno

"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.

Nugroho Ardi Sutrisno — Fri, 10 Apr 2026 07:15:33 +0000

🌍 Mengapa paper ini begitu penting?

Sebelum 2017, komputer sangat kesulitan memahami dan menghasilkan bahasa manusia. Para peneliti sudah mencoba berbagai pendekatan, tapi semuanya punya masalah mendasar.

Lalu delapan peneliti Google menulis sebuah paper berjudul "Attention Is All You Need" — dan dunia AI tidak pernah sama lagi. Paper ini memperkenalkan arsitektur bernama Transformer, yang menjadi fondasi dari hampir semua AI bahasa modern:

ChatGPT dan semua model GPT dari OpenAI
Claude
Gemini dari Google
Google Translate versi modern
Dan ratusan aplikasi AI lainnya

Analogi : Bayangkan sebelumnya orang mencoba membangun gedung pencakar langit menggunakan bata satu per satu dari bawah. Paper ini seperti menemukan baja dan beton bertulang — material baru yang jauh lebih kuat dan efisien.

😓 Masalah sebelum Transformer

Untuk memahami solusinya, kita perlu tahu dulu apa masalahnya. Sebelum Transformer, model bahasa menggunakan arsitektur yang disebut RNNRecurrent Neural Network — jaringan saraf yang memproses kata satu per satu secara berurutan (Recurrent Neural Network).

Bayangkan kamu membaca kalimat ini kata per kata, dan kamu hanya diizinkan mengingat satu catatan kecil yang terus kamu perbarui setiap membaca kata baru. Di akhir kalimat, kamu harus menjawab pertanyaan tentang kata yang ada di awal — tapi catatan kamu sudah berubah berkali-kali!

🔍 Apa itu "Attention"?

Konsep paling kunci dalam paper ini adalah mekanisme attention. Idenya intuitif: ketika kamu membaca sebuah kata, kamu secara alami memperhatikan kata-kata lain yang relevan untuk memahaminya.

Contoh Nyata : Dalam kalimat "Kucing itu duduk di atas matras karena ia lelah" — untuk memahami kata "ia", kamu secara otomatis melirik ke belakang dan menghubungkannya dengan "Kucing". Itulah persis yang dilakukan attention!

Mekanisme attention memungkinkan model untuk melihat semua kata sekaligus dan menentukan kata mana yang paling relevan untuk memahami sebuah kata tertentu.

Rumus Attention (tidak perlu panik!)
Secara matematis, attention dihitung dengan rumus sederhana:

Terjemahannya dalam bahasa manusia:

Q (Query) = "Apa yang sedang aku cari?"
K (Key) = "Apa yang dimiliki setiap kata?"
V (Value) = "Informasi apa yang ingin kubawa jika relevan?"
Hitung seberapa cocok Query dengan setiap Key → dapat skor
Gunakan skor itu untuk mengambil Value yang proporsional

🎯 Multi-Head Attention

Satu mekanisme attention saja tidak cukup, karena setiap kata punya banyak aspek yang perlu diperhatikan secara bersamaan. Transformer menggunakan Multi-Head Attention — beberapa "kepala" attention yang bekerja paralel, masing-masing fokus pada aspek yang berbeda.

Kepala Sintaksis : Kepala ini fokus pada hubungan tata bahasa, subjek-predikat, kata sifat-kata benda. Seperti seorang ahli tata bahasa yang menganalisis struktur kalimat.
Kepala Referensi : Kepala ini ahli mencari referensi kata ganti, menemukan bahwa "ia", "mereka", atau "itu" merujuk ke entitas mana. Sangat penting untuk pemahaman konteks.
Kepala Kedekatan : Kepala ini memperhatikan kata-kata yang berdekatan secara posisi, frasa seperti "di atas", "sangat cepat", atau "meja kayu". Tangkap hubungan lokal.
Kepala Semantik : Kepala ini fokus pada makna, menghubungkan kata-kata yang memiliki hubungan semantik seperti tindakan dengan pelakunya atau benda dengan sifatnya.
Kepala Temporal : Kepala ini sensitif terhadap hubungan waktu dan urutan kejadian dalam teks kata kerja, kata keterangan waktu, dan kausalitas.
Kepala Konteks : Kepala ini punya jangkauan luas, menghubungkan tema utama paragraph atau dokumen, menjaga koherensi global teks.

🏗️ Arsitektur Transformer

Transformer terdiri dari dua bagian besar: Encoder (pemahaman) dan Decoder (pembuatan). Untuk tugas terjemahan misalnya, encoder membaca bahasa sumber dan decoder menghasilkan terjemahannya.

A. ENCODER

Encoder Self-Attention Setiap kata dalam input memperhatikan semua kata lain di kalimat yang sama. Ini membangun pemahaman konteks yang kaya — "bank" dalam "bank sungai" vs "bank uang" akan berbeda representasinya.
Feed-Forward Proses tiap kata
Layer Normalization Normalisasi memastikan nilai tidak meledak atau mengecil saat data melewati banyak lapisan. Tanpa ini, training bisa tidak stabil. Juga ada "residual connections" (skip connections) yang membantu gradient mengalir.
Output Encoder Encoder menghasilkan representasi kontekstual yang kaya untuk setiap kata input. Bukan lagi sekadar "embeddings" statis, tapi representasi yang sudah memahami konteks penuh kalimat.

B. DECODER

Masked Self-Attention Kata yang sudah ada
Cross-Attention — Jembatan Encoder↔Decoder Bagian paling krusial! Decoder menggunakan output yang sedang dihasilkan sebagai Query dan seluruh output encoder sebagai Key+Value. Model secara eksplisit memilih bagian mana dari input yang relevan untuk setiap langkah decoding.
Decoder Feed-Forward Sama seperti encoder, lapisan ini memproses setiap posisi secara independen setelah informasi dari kedua attention layers digabungkan.
Feed-forward Proses gabungan info
Softmax Output Output akhir adalah distribusi probabilitas atas seluruh kosakata (bisa ratusan ribu kata!). Kata dengan probabilitas tertinggi dipilih, atau kita bisa "sampling" untuk variasi. Proses ini berulang sampai kalimat selesai.

📍 Positional Encoding

Ada satu masalah kecil: karena Transformer memproses semua kata secara paralel (bukan berurutan), model tidak tahu kata mana yang datang pertama, kedua, atau ketiga. Ini seperti dikasih kartu yang sudah diacak — kamu tidak tahu urutannya!

Solusinya: tambahkan informasi posisi ke setiap kata sebelum diproses. Paper ini menggunakan fungsi sinus dan cosinus untuk mengkodekan posisi ini.

Intuisi Sederhana Setiap posisi mendapat "cap" numerik yang unik, seperti nomor kursi di bioskop. Model belajar menggunakan cap ini untuk memahami urutan dan jarak antar kata.

📊 Hasil yang Menakjubkan

Ketika paper ini pertama dirilis, hasilnya membuat komunitas riset terkejut. Transformer tidak hanya lebih baik — ia jauh lebih baik, dengan waktu training yang lebih singkat.

🎓 Apa yang sudah kita pelajari?

📚 Mau belajar lebih lanjut?

Paper asli "Attention Is All You Need" (arXiv)
The Illustrated Transformer — Jay Alammar (visualisasi cantik, bahasa Inggris)
Andrej Karpathy: Let's build GPT from scratch (YouTube)

Hipotesis Tiket Lotre: Penemuan Jaringan Saraf Jarang yang Dapat Dilatih dengan Efisien

Nugroho Ardi Sutrisno — Sat, 14 Mar 2026 04:56:49 +0000

Hipotesis Tiket Lotre (Lottery Ticket Hypothesis) merupakan konsep revolusioner dalam bidang kecerdasan buatan, yang pertama kali diperkenalkan oleh Jonathan Frankle dan Michael Carbin pada tahun 2018. Konsep ini mengungkap potensi efisiensi luar biasa dalam pelatihan jaringan saraf buatan (neural networks). Artikel ini menyajikan penjelasan yang mudah dipahami bagi pemula, dengan analogi sederhana dan ilustrasi visual.

Pengertian Hipotesis Tiket Lotre

Hipotesis ini menganalogikan jaringan saraf besar sebagai kumpulan tiket lotre. Sebagian besar tiket tidak berguna, tetapi terdapat sub-jaringan jarang (sparse subnetwork) yang, jika diidentifikasi dan dilatih secara terpisah, mampu mencapai performa setara dengan jaringan penuh.

Jaringan saraf terdiri dari jutaan parameter (bobot koneksi antar-neuron).
Pada inisialisasi acak, sub-jaringan kecil (10-20% parameter) sudah "berpotensi menang".
Fakta kunci: Sub-jaringan ini, setelah dipisahkan, dapat dilatih dengan sumber daya minimal tanpa mengorbankan akurasi.

Ilustrasi 1: Analogi Tiket Lotre

Bayangkan sebuah kotak berisi 1.000 tiket lotre. Hanya satu tiket pemenang. Demikian pula, dari jaringan saraf dengan jutaan parameter, hanya sub-jaringan kecil yang "pemenang".

Signifikansi bagi Pemula di Bidang AI

Konsep ini memiliki implikasi praktis yang signifikan:

Efisiensi Komputasi: Mengurangi kebutuhan GPU/CPU hingga 10 kali lipat.
Aksesibilitas: Memungkinkan pelatihan model di perangkat sederhana, seperti laptop standar.
Keberlanjutan: Menghemat energi, relevan di era komputasi ramah lingkungan.

Contoh: Pada dataset pengenalan gambar CIFAR-10, sub-jaringan dengan 10% parameter mencapai akurasi >90%, setara model penuh.

Mekanisme Kerja: Proses Langkah demi Langkah

Proses pencarian "tiket pemenang" dilakukan secara sistematis:

Inisialisasi jaringan saraf besar secara acak.
Latih sementara (1-2 epoch) untuk mengidentifikasi bobot penting.
Pemangkasan (pruning): Hilangkan 80-90% bobot terkecil.
Reset bobot sub-jaringan ke inisialisasi awal, lalu latih ulang.

Ilustrasi 2: Diagram Proses (Mermaid)

Diagram ini menggambarkan alur efisien, di mana output akhir (hijau) adalah model jarang yang superior.

Dampak dan Prospek Masa Depan

Hipotesis ini telah diadopsi dalam framework seperti PyTorch dan TensorFlow, dengan aplikasi pada model besar seperti Transformer. Penelitian terkini (hingga 2025) menunjukkan keberhasilannya pada large language models (LLM). Tantangan utama meliputi konsistensi lintas arsitektur dan skalabilitas.

Penutup

Hipotesis Tiket Lotre menegaskan prinsip kualitas mengungguli kuantitas dalam pengembangan AI. Bagi praktisi pemula, konsep ini mendorong eksplorasi implementasi langsung melalui repositori open-source. Unduh paper asli di arXiv:1803.03635 untuk studi lebih lanjut.

Dari Matematika Murni ke Enkripsi: Bagaimana G. H. Hardy Secara Tak Sengaja Menggerakkan Kriptografi Modern

Nugroho Ardi Sutrisno — Thu, 04 Dec 2025 06:52:16 +0000

Ketika G. H. Hardy (Godfrey Harold Hardy) dengan bangga menyatakan bahwa karyanya dalam matematika murni tidak akan pernah berguna secara praktis, ia ternyata keliru besar.

Lebih dari 50 tahun setelah kematiannya, sistem yang mengamankan pesan WhatsApp Anda, melindungi transaksi perbankan online, dan menjaga komunikasi digital global semuanya bergantung pada ide-ide matematika yang pernah ia kembangkan.

Ironisnya, matematika yang dulu ia sebut sebagai “indah tapi tak berguna” justru menjadi tulang punggung kriptografi modern.

Artikel ini membahas jembatan tak terduga antara teori bilangan awal abad ke-20 karya Hardy dan skema enkripsi yang mengamankan dunia digital kita saat ini.

🔑 Dunia Hardy: Matematika Murni demi Keindahan, Bukan Kegunaan

Hardy adalah penganut kuat matematika murni ilmu yang dikejar demi keindahannya, bukan aplikasinya.

Ia bekerja secara luas pada:

Teori bilangan prima
Analisis bilangan (analytic number theory)
Rumus-rumus asimtotik
Kolaborasi dengan Ramanujan dan Littlewood

Pada masanya, bidang-bidang ini dipandang kaya secara intelektual namun tidak memiliki manfaat praktis.

Hari ini, bidang yang sama justru menjadi inti dari kriptografi.

🔗 Bagaimana Karya Hardy Terhubung dengan Kriptografi Modern

Berikut diagram sederhana untuk memperlihatkan keterkaitannya:

1️⃣ Teori Bilangan Prima → RSA dan Enkripsi Kunci Publik

Karya Hardy bersama Littlewood menghasilkan pemahaman mendalam tentang distribusi bilangan prima.

Hal ini sangat penting hari ini karena hampir semua sistem kriptografi kunci publik seperti RSA, Diffie–Hellman, hingga elliptic-curve cryptography (ECC) bergantung pada:

ketersediaan bilangan prima besar
kepadatan bilangan prima dalam rentang tertentu
kesulitan memfaktorkan bilangan komposit besar

RSA, misalnya, bekerja dengan memilih dua bilangan prima besar dan mengalikannya. Keamanan muncul dari kesulitan memfaktorkan hasil perkalian itu kembali menjadi dua bilangan prima awal yang merupakan fenomena yang dipahami melalui teori bilangan.

2️⃣ Analisis Bilangan → Fondasi “Tingkat Kesulitan” dalam Kriptografi

Hardy adalah salah satu pionir analytic number theory, penggunaan analisis matematis untuk mempelajari bilangan bulat.

Bidang ini menjadi dasar bagi banyak asumsi keamanan dalam kriptografi modern, seperti:

distribusi bilangan prima
struktur aritmetika modular
kesulitan logaritma diskrit
sifat acak fungsi bilangan

Analisis bilangan menyediakan “medan matematis” tempat algoritma kriptografi berdiri.

3️⃣ Metode Asimtotik Hardy–Ramanujan → Analisis Kompleksitas Algoritma

Hardy dan Ramanujan mengembangkan metode canggih untuk memperkirakan pertumbuhan fungsi, yang kini berhubungan dengan analisis kompleksitas algoritma.

Pendekatan ini penting untuk:

mengevaluasi performa algoritma kriptografi
menentukan ukuran kunci yang aman
memperkirakan ketahanan brute-force
menganalisis hash dan pseudorandom number generators

Teknik-teknik mereka membentuk cara kita memahami keamanan digital secara matematis.

🔥 Ironi Terbesar: Matematika “Tak Berguna” Hardy Justru Menjadi Pondasi Dunia Siber

Dalam A Mathematician’s Apology, Hardy pernah menulis:

“Saya tidak pernah melakukan sesuatu yang ‘berguna’. Tidak ada penemuan saya yang membuat atau memungkinkan, langsung atau tidak langsung, perbedaan terhadap kenyamanan dunia.”

Ironisnya, ia tidak mungkin membayangkan:

perbankan online
komunikasi terenkripsi
tanda tangan digital
blockchain
belanja internet
enkripsi untuk pertahanan dan keamanan nasional
komunikasi satelit

Semua bergantung pada teori bilangan, bidang yang ia kembangkan dengan penuh kecintaan.

🎯 Kesimpulan

G. H. Hardy tidak pernah membayangkan kriptografi. Namun karya matematisnya yang murni, elegan, dan sengaja tidak praktis menjadi fondasi yang menopang keamanan dunia digital modern.

Di era ketika miliaran pesan terenkripsi terkirim setiap hari, warisan Hardy semakin terasa hidup.

Matematikanya yang “tidak berguna” kini menjadi salah satu matematika paling berguna yang pernah dibuat.