Penjelasan Sangfor Memory Tiering: Bagaimana Cara Menggandakan Memori Server Tanpa Menambahkan DRAM?

---

Ringkas artikel blog ini dengan AI:

---

Selama dua tahun terakhir, perencanaan memori perusahaan secara diam-diam telah menjadi salah satu masalah tersulit dalam desain infrastruktur. Ledakan workload AI dan pergeseran cepat kapasitas semikonduktor menuju High Bandwidth Memory (HBM) telah mendorong harga DRAM server naik lebih dari 170% dari tahun ke tahun , dengan analis industri memperingatkan bahwa pasokan yang ketat dan harga yang tinggi mungkin akan berlanjut setidaknya hingga tahun 2027.

Namun dalam lingkungan produksi dunia nyata, pemanfaatan memori merupakan kisah yang berbeda. Pada platform virtualisasi dan cloud-native, aplikasi seperti layanan berbasis JVM, platform middleware, big data, dan machine learning cenderung memiliki memory space yang besar di depan, sementara hanya sebagian dari memori tersebut yang diakses secara aktif pada saat tertentu. Halaman yang tersisa tetap diam untuk waktu yang lama, mengonsumsi kapasitas DRAM yang mahal tanpa berkontribusi langsung pada kinerja.

Kesenjangan antara memori yang dialokasikan dan memori yang aktif digunakan inilah yang memunculkan pendekatan optimasi baru.

Memory tiering dibangun berdasarkan pengamatan sederhana namun ampuh: tidak semua memory pages sama nilainya. Jika data "hot" yang sering diakses dapat tetap berada di DRAM berkecepatan tinggi, sementara data "cold" yang jarang diakses secara transparan ditempatkan pada media berkinerja tinggi dengan biaya lebih rendah, kapasitas memori secara keseluruhan dapat diperluas secara signifikan tanpa meningkatkan biaya perangkat keras secara proporsional.

Namun, gagasan ini segera menimbulkan pertanyaan kritis bagi pengguna perusahaan:

• Bisakah memori benar-benar diperluas melampaui DRAM fisik tanpa mengganggu kinerja?
• Bagaimana sistem mengidentifikasi memori hot dan cold secara akurat, tanpa menimbulkan overhead CPU yang tinggi?
• Ketika data yang jarang diakses kembali, seberapa cepat data tersebut dapat kembali ke memori berkecepatan tinggi, dan apakah aplikasi akan menyadarinya?

Kekhawatiran ini beralasan. Memori berada pada jalur penting pada kinerja aplikasi, dan setiap optimasi pada lapisan ini harus tepat dan dapat diprediksi.

Dalam artikel ini, kita akan membahas secara praktis dan teknis Teknologi Memory Tiering Sangfor. Kita akan menjelaskan mengapa memori dapat ditata tingkat dengan aman, bagaimana DRAM dan NVMe berkolaborasi di tingkat sistem, dan prinsip desain apa yang memastikan dampak kinerja tetap terkontrol dengan ketat. Yang tak kalah penting, kita akan menguraikan skenario di manamemory tiering memberikan nilai yang jelas dan di mana memory tiering tersebut harus digunakan dengan hati-hati.

Tujuan kami bukanlah untuk mempromosikan konsep secara berlebihan, tetapi untuk menyediakan kerangka kerja transparan yang membantu IT architect dan decision maker Anda menentukan apakah memory tiering) tepat untuk environment perusahaan.

Mengapa Memori Bisa "Tiered"?

Dalam ranah optimasi memori perusahaan, solusi tradisional seperti memory ballooning, transparent page sharing, kompresi memori, dan memory overcommitment, semuanya dapat meningkatkan pemanfaatan memori fisik dan mengurangi tekanan sampai batas tertentu. Namun, peningkatan ini terbatas. Seiring dengan terus berkembangnya skala bisnis, pendekatan teknologi baru diperlukan untuk memperluas kapasitas memori yang tersedia pada sistem.

Dalam environment cloud-native dan virtualisasi, aplikasi (seperti JVM, layanan caching, dan middleware) biasanya memerlukan sejumlah besar ruang memori. Namun, memori yang benar-benar "aktif" yang sering dibaca dan ditulis hanya sekitar 50%, sedangkan sisanya tetap dalam keadaan "cold" dan jarang diakses.

Berdasarkan karakteristik inti ini, solusi memory tiering) pun lahir. Dengan membagi data memori menjadi hot data tier) dan cold data tier) berdasarkan frekuensi akses, solusi ini membangun kumpulan sumber daya memori terpadu menggunakan DRAM fisik dan SSD NVMe berkinerja tinggi. Dengan mengandalkan algoritma penjadwalan cerdas untuk secara dinamis mengarahkan data hot dan cold, kita dapat menembus batasan memori fisik tanpa mengorbankan kinerja bisnis inti.

Bagaimana DRAM dan NVMe Berkolaborasi Secara Cerdas?

Solusi Memory Tiering dari Sangfor mengadopsi arsitektur inti "Multi-Tier Memory Pool + Intelligent Scheduling Engine" untuk mencapai kolaborasi yang sangat efisien antara DRAM dan NVMe SSD. Hal ini memungkinkan manajemen memori hierarkis dan penjadwalan dinamis dengan overhead sistem yang sangat rendah.

Desain Arsitektur Kumpulan Memori Multi-Tingkat

• Tier 0 (Tier Data Hot): DRAM berkecepatan tinggi menangani data "phot" berfrekuensi tinggi dan sensitif terhadap latensi, berfungsi sebagai jaminan inti untuk kinerja bisnis.
• Lapisan 1 (Tier Data Cloud): NVMe berkinerja tinggi bertindak sebagai lapisan perluasan memori, membawa data "cold" berfrekuensi rendah untuk mencapai perluasan kapasitas memori yang elastis.

Engine Scheduling Cerdas

Engine Schedule cerdas adalah inti dari solusi memory tiering. Dengan memanfaatkan teknologi "partitioning wilayah dinamis + pengambilan sampel jarang acak", ia menilai distribusi global memori hot dan cold dengan overhead minimal, memungkinkan identifikasi yang akurat dan scheduling dinamis.

Sistem ini terdiri dari tiga kemampuan inti:

• Identifikasi Hot/Cold yang Akurat (Penargetan Tepat): Melalui deteksi heat berkelanjutan, sistem ini memetakan set kerja aktif aktual bisnis secara real-time. Sistem ini secara akurat membedakan data hot mana yang harus tetap berada di DRAM berkecepatan tinggi dan cold page mana yang dapat di-demote secara aman.
• Migrasi Memori Otomatis (Pemindahan Cepat): Secara otomatis menjalankan "cold data demotion" dan "phot data promotion". Hal ini membebaskan ruang DRAM untuk aplikasi inti sekaligus memastikan data yang diaktifkan kembali langsung kembali ke tingkatan panas untuk menjamin kinerja akses yang lancar.
• Observabilitas Tautan secara Penuh (Visibilitas Jelas): Terus memantau distribusi memory heat, perilaku migrasi halaman, dan status akses cold-tier untuk membentuk kemampuan observabilitas yang komprehensif. Data pemantauan ini membantu operasi TI mengidentifikasi potensi risiko kinerja dan memberikan dasar yang kuat untuk optimasi kebijakan dan perencanaan kapasitas.

Aliran Data Hot dan Cold Antara DRAM dan NVMe

• DRAM → NVMe (Penurunan Prioritas Halaman Dingin): Setelah sistem mengidentifikasi halaman cold dengan akses rendah, halaman tersebut ditambahkan ke antrian kandidat migrasi halaman cold. Sistem mengalokasikan ruang penyimpanan NVMe, menulis data halaman dari DRAM ke SSD NVMe, dan memperbarui mapping memori secara sinkron. Setelah dimigrasikan, ruang DRAM yang sesuai dibebaskan, memastikan memori berkecepatan tinggi diprioritaskan untuk data aktif.
• NVMe → DRAM (Promosi Halaman Panas): Ketika sebuah aplikasi mengakses kembali halaman yang sebelumnya diturunkan ke tier cold NVMe, sistem menangkap permintaan tersebut secara real-time dan memicu proses promosi. Sistem membaca data halaman target dari NVMe kembali ke DRAM dan memperbarui pemetaan memori secara sinkron, memungkinkan data yang diaktifkan kembali untuk masuk ke tier memori berkecepatan tinggi dan memulihkan kinerja normal.

Bagaimana CPU Mengakses Memori Tiered? Meminimalkan Kerugian Kinerja

Tantangan teknis dari penataan tingkatan memori terletak pada bagaimana mengidentifikasi data dengan cepat, menjadwalkan halaman, dan memungkinkan CPU untuk mengakses memori dengan cepat setelah data tersebut ditata dalam tingkatan.

Dalam arsitektur ini, perangkat NVMe tidak digunakan sebagai penyimpanan tradisional, tetapi sebagaiTier Memori Cold di bawah DRAM. Oleh karena itu, semua operasi akses memori CPU pada akhirnya diselesaikan melalui DRAM. Jalur akses dibagi menjadi dua jenis:

• Jalur 1: Akses Halaman Panas: CPU memulai akses → DRAM Lokal/Jauh → Mengembalikan data.
• Jalur 2: Cold Page Miss: CPU memulai akses → Halaman target tidak ada di lapisan DRAM aktif → Sistem mengambil halaman dari NVMe kembali ke DRAM → CPU mengakses halaman tersebut.

Karena CPU server tidak mengakses NVMe secara langsung, bagaimana kita meminimalkan dampak kinerja? Untuk mengatasi kekhawatiran tentang kinerja pasca-tiering, sistem memastikan stabilitas bisnis melalui mekanisme berikut:

• Space Alamat Terpadu & Akses Transparan: Halini sepenuhnya transparan bagi aplikasi. Saat mengakses halaman hot di DRAM, akses langsung dilakukan tanpa overhead tambahan. Saat mengakses halaman colddi NVMe, hal itu memicu interupsi fault pada halaman; kernel OS dengan cepat menarik data dari NVMe kembali ke DRAM, memungkinkan akses CPU. CPU beroperasi tanpa mengetahui apakah data tersebut berada di DRAM atau NVMe—kernel menangani semuanya.
• Penjadwalan Cerdas & Penyesuaian Wilayah Dinamis: Sistem secara dinamis menyesuaikan struktur region berdasarkan hasil pemantauan untuk menyeimbangkan akurasi dan beban sistem. Ketika region yang berdekatan memiliki pola akses yang serupa, wilayah tersebut secara otomatis bergabung untuk mengurangi objek monitoring. Ketikahot spot yang jelas terdeteksi dalam suatu wilayah, wilayah tersebut dipisahkan untuk identifikasi yang lebih detail. Mekanisme adaptif ini menjaga granularitas pemantauan tetap optimal.
• NVMe dengan Latensi Rendah Meminimalkan Overhead Transfer: Pengontrol NVMe membaca dan menulis ke DRAM secara langsung melalui PCIe tanpa intervensi CPU, sehingga hanya menggunakan sedikit sumber daya interupsi CPU. Perangkat keras NVMe menawarkan keunggulan signifikan: Latensi berkisar antara 10–100μs (jauh lebih rendah daripada SSD/HDD SATA), dan bandwidth PCIe 4.0 NVMe mencapai hingga 7GB/s—kira-kira 1/10 dari DRAM dan jauh melampaui penyimpanan tradisional.

Memory tiering meminimalkan dampak kinerja terutama melalui manajemen yang transparan terhadap aplikasi, penjadwalan cerdas, dan NVMe dengan latensi rendah, memastikan CPU selalu beroperasi pada jalur berkecepatan tinggi. Dikombinasikan dengan optimasi jalur I/O kernel dan pewarisan afinitas lokal NUMA yang mulus, kapasitas memori server secara keseluruhan berlipat ganda sementara penurunan kinerja aktual tetap berada di bawah 10%.

Demo Langsung: Penataan Tingkat Memori dalam Aksi

• Sebelum Memory Tiering: Memori fisik 256G, pemanfaatan hingga 73%. TPS (Transaksi Per Detik) Basis Data Oracle: 15000+.
• Setelah Memory Tiering: Memori fisik 128G + Memori Tiering 128G, setara dengan kapasitas memori 256G. Rata-rata TPS Oracle Database tetap stabil sekitar 14000, dengan penurunan kinerja yang terkendali dengan aman dalam batas 10%.

Panduan Implementasi Praktis: Skenario yang Berlaku dan Rekomendasi Perencanaan

Skenario yang Berlaku

• Skenario Ideal: memory tiering cocok untuk use cases yang membutuhkan kapasitas memori total yang besar, dengan pola akses data panas/dingin yang berbeda, sensitivitas biaya, dan toleransi terhadap latensi kecil dan sesekali. Contohnya termasuk lingkungan pengembangan & pengujian, layanan caching non-inti, dan klaster layanan mikro dengan beban rendah hingga menengah.
• Tidak Direkomendasikan Untuk: Tidak cocok untuk aplikasi inti yang sangat sensitif terhadap latensi akses, memiliki pola akses yang padat dan seragam, serta membutuhkan jitter yang sangat rendah dan stabilitas tinggi. Contohnya termasuk sistem trading waktu nyata, basis data tradinf frekuensi tinggi, basis data dalam memori, dan basis data OLTP frekuensi tinggi.

Solusi Memory Tiering dari Sangfor mendukung pengaktifan atau penonaktifan fitur pada tingkat mesin virtual (VM) . Pengguna dapat secara fleksibel mengaktifkan atau menonaktifkan memory tiering untuk VM tertentu berdasarkan jenis dan karakteristik bisnis, memungkinkan kontrol yang lebih detail atas kinerja dan biaya. Jika harga perangkat keras turun di masa mendatang, pengguna dapat dengan mudah meningkatkan kapasitas secara online tanpa ketergantungan pada vendor tertentu atau kekhawatiran tentang peningkatan di masa depan.

Praktik Terbaik untuk Perencanaan Penataan Tingkat Memori

Untuk menyeimbangkan ekspansi memori dengan stabilitas kinerja bisnis, rasio DRAM terhadapTiered Memory yang direkomendasikan adalah 1:1. Rasio ini mencakup kebutuhan sebagian besar skenario perusahaan, berhasil menggandakan kapasitas memori sambil menjaga fluktuasi kinerja tetap dalam kisaran yang dapat diterima.

Dalam lingkungan market di mana harga perangkat keras memori tetap tinggi, memory tiering) bukan lagi sekadar alat optimasi kinerja; ini adalah strategi pengendalian biaya yang sangat efektif. Pengguna dapat memangkas anggaran pengadaan perangkat keras memori secara drastis tanpa mengorbankan kinerja bisnis inti, memaksimalkan nilai guna kembali aset TI yang ada untuk mengatasi tantangan ganda daro pertumbuhan daya computing dan manajemen biaya TI dengan tenang.