Kako pokrenuti chatbot sa vještačkom inteligencijom na sopstvenom računaru

Velike jezičke modele koji pokreću popularne chatbotove poput ChatGPT-a i Clauda moguće je instalovati i pokretati direktno na ličnom računaru, bez slanja podataka na internet. Prednosti su veća privatnost, rad bez internet konekcije i odsustvo mjesečne pretplate.

Lokalni jezički modeli obično nisu toliko napredni ni brzi kao verzije koje rade u oblaku i za koje se plaća pretplata, ali su dovoljno sposobni za svakodnevnu upotrebu. Korisnik može da bira između više različitih modela, uključujući besplatne verzije koje nude i velike kompanije poput Mete i Gugla.

Za pokretanje ovakvog sistema potrebno je više memorije - minimalno 8 gigabajta RAM-a, mada je 16 gigabajta bolje rješenje, a za najveće i najbrže modele potrebno je 32 gigabajta ili više. Za najbolje rezultate preporučuje se namjenska grafička kartica sa što više takozvane VRAM memorije, jer je taj tip memorije optimizovan za zadatke koje obavljaju modeli vještačke inteligencije. Na Windows računarima posebno pomaže namjenska Nvidia grafička kartica, dok se meko izdanje operativnog sistema macOS smatra pogodnijim jer Apple-ovi čipovi objedinjuju procesor, grafičku karticu i memoriju na način koji ovakvi modeli dobro koriste.

Pored hardvera, potreban je i program koji služi kao interfejs za rad sa modelom. Među najpoznatijim besplatnim aplikacijama za početnike izdvaja se LM Studio Bionic, dostupna za Windows i macOS, dok iskusniji korisnici koriste i alate poput Ollama, Llama.cpp, vLLM i GPT4All. Same modele korisnici preuzimaju sa onlajn repozitorijuma, među kojima je najpoznatiji Hugging Face, koji nudi preko tri miliona različitih modela.

Proces instalacije obično počinje preuzimanjem programa poput LM Studio Bionic, nakon čega korisnik otvara novi projekat i bira jedan od ponuđenih modela - manji modeli se brže preuzimaju i zauzimaju manje prostora, ali su ograničenih sposobnosti u odnosu na veće verzije. Nakon instalacije, rad sa lokalnim chatbotom liči na korišćenje standardnih aplikacija poput ChatGPT-a, uz mogućnost slanja slika i dokumenata ukoliko to izabrani model podržava.

Rješenje zahtijeva više održavanja od strane korisnika, koji sam mora da preuzima ažuriranja programa i modela, za razliku od gotovih aplikacija koje se automatski osvježavaju. Ipak, za one kojima je privatnost prioritet, lokalno pokretanje jezičkih modela nudi nezavisnost od velikih tehnoloških kompanija i njihovih servera.