AI აპარატურის მაღაზია
დათვალიერება მინი-PC-ების, NAS-ების, სამუშაო სადგურების, სერვერების და edge AI აპარატურის — თითოეულ სისტემას ⏻ On Intelligence-ის მიერ შემუშავებული ინსტალაციის სერვისი და პროგრამული ინოვაციები შეიძლება დაერთოს.
| ფოტო | პროდუქტი | ფასი | სიმძლავრე |
|---|
მოდელის სიმძლავრის გაგება
მოდელის სიმძლავრე გულისხმობს იმ პარამეტრების რაოდენობას, რომელსაც AI მოდელი შეიცავს (მაგ. 70B = 70 მილიარდი პარამეტრი). უფრო დიდ მოდელებს, ზოგადად, მეტი მეხსიერება და გამოთვლითი სიმძლავრე სჭირდებათ, მაგრამ მათ შეუძლიათ გაუმჯობესებული მსჯელობა და გამომავალი ხარისხი.
სიზუსტე (FP16 / FP8 / FP4) გავლენას ახდენს იმაზე, თუ რამდენ მეხსიერებას მოითხოვს მოცემული მოდელის სიმძლავრე: დაბალი სიზუსტის ფორმატები უხეშად ასახევებს მეხსიერების მოთხოვნებს ყოველი საფეხურისთვის (FP16 → FP8 → FP4), გარკვეული ზიანის მიყენებით გამომავალი სიზუსტისთვის.
| მოდელის ზომა | ტიპიური მეხსიერება (FP16) | ტიპიური მეხსიერება (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |