Kun virtuaalikone on saatu toimimaan omalla kehityskoneella VBoxin avulla, herää kysymys; “Miten saadaan sama virtuaalikone julkaistua omalle palvelimelle helposti?”
Proxmoxin uuden 8.3 version pitäisi nykyisin osata tuoda/importata .ova ja .ovf muotoon pakattuja virtuaalikoneita helposti.
Kokeillaan tätä seuraavaksi. Aikaisemmassa postauksessa jo käsiteltiin Proxmoxin asentamista omalle palvelimelle, jatketaan tätä tulevaisuudessa ja luodaan vikasietoinen oma Cluster, eli muutaman oman palvelimen muodostama kokonaisuus. Tällöin oma teköälyprojekti jatkaa palvelun tuotattamista internettiin, vaikka yksi palvelimista joskus rikkoontuisi/olisi hetken huollossa.
Importoidaan .ova, eli tuodaan kehityskoneelta valmis .ova muotoon pakattu virtuaalikone palvelimelle:
Valitaan Storage / Local / Edit / Content / Import Otetaan Import ominaisuus käyttöön.
Siirrytään local / Import / Upload valikkoon
Jotta voidaan valita ladattavan virtuaalikoneen .ova tiedosto.
Uusi virtuaalikone “tekoäly-kekkonen” lataantuu nyt omalle Proxmox palvelimelle.
Joitain virtuaalikoneen asetuksia saattaa joutua käsin hiukan säätämään. Esimerkiksi RAM-muistin määrä, käytettävien CPU-ytimien määrä yms.
Jos Proxmox palvelimella on Nvidian näytönohjain, se voidaan asettaa virtuaalikoneen käyttöön. Se nopeuttaa mm. oman Ollama tekoälyn toimintaa huomattavasti.
Nvidian näytönohjaimen saa omalla palvelimella Proxmox ympäristössä asetettua virtuaalikoneen käyttöön seuraavasti:
Valitaan virtuaalikone / Hardware / Add / PCI Device
Oikean Device osoitteen voi selvittää lspci komennolla, Proxmoxin host terminaalissa. Tulosteesta pitäisi löytyä Nvidia näytönohjain, jos sellainen on asennettu omaan palvelimeen.
Virtuaalikoneen asetuksissa vastaavasti, muokataan vielä hiukan CPU ominaisuuksia.
Tarkastetaan prosessorin tyyppi:
Tämä tehdään sen vuoksi, että muuten Nvidian näytönohjain ei toimi oikein virtuaaliympäristössä, Ollama tekoälyn kanssa. Kun valitaan “Host” tyyppinen CPU, tämän jälkeen Ollama osaa käyttää Nvidian näytönohjainta hyväksi ja tekoälyn toiminta on paljon nopeampaa.
Käynnistetään virtuaalikone ja asennetaan vielä Nvidian ajuri Linux käyttöjärjestelmään:
#asennetaan Nvidian Ajuri:
sudo apt install nvidia-driver-535
#asennetaan NVTop
sudo apt install nvtopKomennoilla nvidia-smi ja nvtop voi tarkastella nyt näytönohjaimen toimintaa, samalla kun käyttää tekoälyä. Tekoälyn pitäisi käyttää näytönohjainta täydellä teholla ja prosessorien tulisi nyt päästä paljon helpommalla. Mikäli nvtopin näkymässä ei näy gpu kuormitusta, tällöin on vielä joku ongelma, ja näytönohjain ei ole käytössä Ollamalla. Kannattaa kokeilla vaikka asentaa Ollama uudelleen tai kokeilla muokata ollaman asetuksia.
sudo curl -fsSL https://ollama.com/install.sh | sh
