GORONTALO — Sebuah laptop Acer Nitro 5 berusia lima tahun kini berfungsi sebagai server AI lokal yang menjalankan model bahasa kecil di grafis terintegrasi Intel UHD. Pendekatan ini membebaskan GPU diskret RTX 3050 Ti untuk tugas berat seperti transcoding video dan streaming game ke televisi. Solusi ini cocok untuk pengguna yang ingin memproses dokumen sensitif tanpa mengirimnya ke server cloud.
Gagasan memfungsikan ulang laptop lama sebagai server rumah yang menyala terus bukan hal baru. Namun seorang pengguna memilih jalur berbeda: menjalankan model AI lokal di grafis terintegrasi, bukan di GPU diskret, agar kartu grafis utama tetap tersedia untuk pekerjaan lain.
Laptop Acer Nitro 5 yang dipakai mengemas prosesor Core i7-11800H, RAM 16GB, dan GPU RTX 3050 Ti versi mobile. Konfigurasi itu dulu tergolong mumpuni, tetapi kini tugas-tugas berat sudah menumpuk di GPU diskret.
RTX 3050 Ti di laptop tersebut menjalankan Jellyfin untuk transcoding streaming ke seluruh rumah. Kartu yang sama juga dipakai Sunshine untuk mengirim game ke televisi.
Karena itu, menjalankan model AI di GPU diskret dinilai tidak masuk akal. Grafis terintegrasi Intel UHD yang menempel di CPU dipilih sebagai tempat menjalankan model kecil di latar belakang.
Pemicu lain datang dari kebiasaan orang tua pengguna. Mereka rutin mengunggah rekening bank, polis asuransi, laporan medis, hingga tagihan ke Gemini dan ChatGPT untuk dimintai penjelasan.
Dokumen pribadi seperti itu dinilai terlalu sensitif untuk dikirim ke server pihak lain. Tujuannya bukan menggantikan ChatGPT, melainkan menyediakan asisten rumah tangga yang menjawab pertanyaan soal dokumen tanpa data keluar dari jaringan lokal.
Pilihan jatuh pada llama.cpp karena paling mudah dijalankan di laptop berspesifikasi lemah. Perangkat lunak ini cukup diarahkan ke sebuah model dan lokasi menjalankannya.
Agar benar-benar memakai grafis Intel, pengguna memakai build Vulkan dari llama.cpp. Perangkat dipatok ke Vulkan0, sehingga lapisan model terdorong ke iGPU.
Verifikasi dilakukan lewat perintah nvidia-smi -l 1. Hasilnya memastikan llama.cpp sama sekali tidak masuk hitungan utilisasi kartu RTX.
Model yang dipilih adalah LFM3-VL-2B dari Liquid AI, sebuah model vision-language berukuran kecil. Kemampuan membaca gambar jadi penting karena pengguna ingin model memahami dokumen dan foto, bukan sekadar teks.
Untuk menjalankan LFM3-VL-2B, dibutuhkan llama.cpp build 11960 atau lebih baru. Setelah inferensi berjalan, llama.cpp diubah menjadi server LAN.
Laptop tetap tersambung lewat kabel LAN, sementara perangkat nirkabel lain mengakses model melalui pintasan Chrome di ponsel masing-masing. Semua perangkat di jaringan rumah bisa memakai chatbot tersebut.
Model kecil di iGPU ini tidak akan mengesankan siapa pun, apalagi menggantikan kecerdasan ChatGPT atau Gemini. Pengguna menekankan model ini bukan untuk penalaran rumit.
Fungsinya terbatas pada meringkas laporan medis, rekening bank, atau menarik poin utama dari dokumen yang malas dibaca. Ekspektasi keluarga pun diminta disesuaikan.
Kecepatan menjadi kompromi terbesar. Generasi teks berjalan sekitar enam token per detik. Memberi model dokumen sewa dua halaman hasil pindai butuh hampir empat menit sebelum satu kata keluar.
LFM3-VL juga belum benar-benar memproses PDF. Setiap dokumen harus dijadikan tangkapan layar lebih dulu sebelum diunggah, menambah satu langkah yang sebenarnya tidak perlu.
Percobaan ini menunjukkan laptop lama masih bisa diberi tugas berguna tanpa mengorbankan komponen utamanya. Memisahkan beban AI ke grafis terintegrasi membuat GPU diskret tetap fokus pada transcoding dan streaming.
Bagi yang menyimpan dokumen sensitif dan enggan mengunggahnya ke layanan cloud, server AI lokal di jaringan rumah bisa jadi jalan tengah. Syaratnya jelas: terima kecepatan lambat dan kemampuan terbatas, karena ini pelengkap, bukan pengganti chatbot komersial.