Ollama

Insomnia. Jam 11 malam belum bisa tidur dan masih melihat langit-langit rumah. Tiba-tiba terpikir, “apa mungkin ya menggunakan ChatGPT secara offline?“. Bangun dari tempat tidur, cari informasi di internet. Jam 12 ketemulah ollama yang memungkinkan untuk menjalankan AI model secara lokal di komputer tanpa perlu internet dan juga Minimalistic interface for LLM untuk UI bagi ollama. Sayangnya ollama tidak dapat diinstall di Windows, dan beruntungnya komputer utama di rumah menggunakan Linux (Arch Linux).

curl https://ollama.ai/install.sh | sh

Model-model AI yang dapat digunakan untuk ollama adalah model-model AI yang opensource seperti Llama dari Meta, Phi-2 dari Microsoft Research, atau Mistral. Sayangnya ChatGPT tidak bisa digunakan secara offline karena bukan model AI yang opensource dan diinstall pada suatu komputer secara bebas. Jam 1 mulai menginstall model AI dari Mistral yang berukuran sekitar 4GB (terimakasih kepada paket unlimited malam Sm4rtfr3n jam 01-05).

ollama run mistral

Jam 3 proses penginstallan selesai. Untuk menggunakan model AI pada suatu komputer secara lokal, kita memerlukan komputer dengan spek yang cukup tinggi. Amannya kita memiliki RAM di atas 8GB dan akan lebih baik jika memiliki kartu grafik NVIDIA. Berikut ini adalah contoh dari penggunaan ollama di terminal (command prompt).

Untuk mendapatkan tampilan di web seperti ChatGPT kita akan menggunakan Minimalistic interface for LLM. Penginstallan di linux dapat dilakukan sebagai berikut.

git clone https://github.com/richawo/minimal-llm-ui.git
cd minimal-llm-ui
npm install
npm run dev

Contoh penggunannya sebagai berikut.