AI di premis bermaksud model bahasa beroperasi pada perkakasan milik agensi, dalam rangkaiannya sendiri, supaya soalan dan dokumen tidak sekali-kali dihantar kepada perkhidmatan luar. Ia sesuai untuk agensi yang mengendalikan data terperingkat, peribadi atau sensitif dari segi operasi. Sebagai gantinya, agensi atau pembekalnya perlu menyediakan dan menyelenggara perkakasan itu.
Mengapa agensi memintanya
Garis Panduan Adaptasi AI Sektor Awam, yang dilancarkan oleh Jabatan Digital Negara pada 27 Februari 2025, menggariskan prinsip etika, pengurusan risiko dan penilaian kendiri bagi agensi yang menggunakan AI. Bagi banyak agensi, jawapan paling mudah kepada persoalan data yang dibangkitkan ialah mengekalkan model di dalam bangunan sendiri.
| Perkhidmatan AI awan | AI di premis | |
|---|---|---|
| Ke mana data pergi | Ke pelayan penyedia | Kekal dalam rangkaian agensi |
| Perkakasan | Tiada yang perlu dibeli | Stesen kerja atau pelayan AI |
| Keupayaan model | Model terbesar yang ada | Model terbuka lebih kecil, kuat untuk tugas berfokus |
| Corak kos | Bayar mengikut penggunaan | Kebanyakannya di awal, kos operasi rendah |
| Berfungsi tanpa internet | Tidak | Ya |
Apa yang dilakukan dengan baik oleh pembantu di premis
- Menjawab soalan kakitangan atau orang awam daripada pekeliling, dasar dan soalan lazim agensi sendiri, dengan sumber dipaparkan
- Membaca dokumen masuk dan mengekstrak medan yang diperlukan pegawai
- Meringkaskan laporan panjang dan mendraf jawapan rutin untuk disemak pegawai
- Mencari dokumen dalaman dalam Bahasa Malaysia dan Inggeris
Apa yang diperlukan untuk mengendalikannya
Pembantu yang berfokus tidak memerlukan pusat data. Sebuah stesen kerja AI boleh menyokong chatbot laman web agensi dan carian dalaman. Persediaan lebih penting: mengumpul dokumen sumber yang diluluskan, menentukan apa yang pembantu mesti enggan jawab, dan menamakan pegawai yang menyemak jawapannya.
Virtucon menentukan saiz perkakasan mengikut beban kerja, memasang dan menguji sistem di tapak, serta melatih pasukan agensi mengemas kini pangkalan pengetahuan sendiri.
Soalan
Adakah model di premis sehebat chatbot AI awam?
Tidak bagi tugas terbuka. Bagi tugas yang jelas, seperti menjawab daripada dokumen agensi sendiri, model lebih kecil yang mendapatkan sumber yang betul berprestasi baik, dan setiap jawapan boleh dijejak kepada dokumen.
Siapa yang bertanggungjawab terhadap jawapan pembantu?
Agensi. Sebab itulah jawapan perlu menyatakan sumber, soalan yang tidak pasti perlu diserahkan kepada pegawai, dan perbualan direkodkan untuk semakan.