SK Hynix punya diumumkan bahwa ia telah mengembangkan tumpukan memori HBM3 24 GB 12 lapis pertama di industri yang menawarkan kepadatan tinggi dan lebar pita ekstrem 819 GB/dtk. Produk HBM3 12-Hi mempertahankan ketinggian yang sama dengan produk HBM3 8-lapisan perusahaan yang sudah ada, artinya produk tersebut mudah digunakan.
Produk HBM3 24 GB SK Hynix yang dikenal sebagai good stack die (KGSD) menempatkan dua belas perangkat memori 16 GB yang terhubung menggunakan through silicon vias (TSV) pada lapisan dasar dengan antarmuka 1024-bit. Perangkat ini memiliki kecepatan transfer data 6400 MT/s dan karenanya seluruh modul 24GB HBM3 menawarkan bandwidth 819,2 GB/s.
Bergantung pada subsistem memori sebenarnya, modul tersebut dapat mengaktifkan bandwidth 3,2 TB/dtk – 4,915 TB/dtk untuk memori 96GB melalui memori 4096-bit atau 144GB melalui antarmuka 6140-bit. Sebagai perbandingan, H100 NVL Nvidia — implementasi HBM3 tercanggih hingga saat ini — menampilkan memori 96 GB dengan bandwidth 3,9 TB/dtk untuk masing-masing dari dua GPU komputasi GH100.
Menumpuk 12 lapisan DRAM HBM di atas satu sama lain merupakan tantangan karena beberapa alasan. Pertama, sulit untuk mengebor sekitar 60.000 atau lebih lubang TSV melalui paket untuk menghubungkan kedua belas lapisan. Kedua, paket DRAM 12-Hi HBM tidak bisa secara fisik lebih tinggi dari KGSD HBM 8-Hi (biasanya, 700 – 800 mikron, 720 mikron dalam kasus Samsung), jadi akan sangat rumit (jika memungkinkan) untuk memasang KGSD HBM3 semacam itu di sebelah CPU atau GPU yang memiliki ketinggian tetap. Untuk itu, pembuat DRAM seperti SK Hynix perlu mengurangi ketebalan lapisan DRAM individu tanpa mengorbankan hasil atau kinerja (yang menimbulkan banyak tantangan) atau mengurangi celah antar lapisan serta mengecilkan lapisan dasar.
SK Hynix mengatakan bahwa untuk membangun produk 12-Hi HBM3 dengan ketinggian yang sama dengan perangkat 8Hi HBM3, mereka menggunakan teknologi enkapsulasi Advanced Mass Reflow Molded Underfill (MR-MUF) yang melibatkan pemasangan chip mass reflow (MR) untuk mengecilkan proses base layer dan molded underfill (MUF) untuk mengurangi jarak die-to-die.
SK Hynix telah mengirimkan sampel produk HBM3 24 GB ke beberapa pelanggan yang sangat menantikannya. Produk tersebut saat ini sedang menjalani evaluasi kinerja dan akan memasuki produksi massal pada paruh kedua tahun ini.
