איך להתקין Ollama

התקנת Ollama עצמה לוקחת פחות משתי דקות - פקודה אחת, והכלי רץ. הבעיה לא בהתקנה, היא בשתי החלטות שרוב האנשים לא שמים לב שהם מקבלים באופן אוטומטי: איפה המודלים נשמרים, ואיזה גודל מודל בכלל מתאים למכונה.

התקנה - פקודה אחת לפי מערכת הפעלה

macOS ו-Linux:

curl -fsSL https://ollama.com/install.sh | sh

Windows (PowerShell):

irm https://ollama.com/install.ps1 | iex

או הורדה ידנית מ-ollama.com לכל אחת משלוש המערכות. יש גם image רשמי ב-Docker Hub (ollama/ollama) למי שמעדיף קונטיינר במקום התקנה ישירה על המערכת.

תוצאה גרועה טיפוסית 1 - הכונן מתמלא

ברירת המחדל: Ollama שומר כל מודל שמורידים בתיקיית הבית של המשתמש ($HOME/.ollama/models). מודל בגודל בינוני יכול לתפוס כמה ג'יגה-בייט, ומי שמנסה כמה מודלים כדי להשוות ביניהם - כמו שהמדריך הקודם ממליץ - מגלה אחרי שבוע שכונן המערכת (לרוב C: ב-Windows) כמעט מלא, בלי אזהרה מראש.

הפתרון: להגדיר מראש איפה המודלים יישמרו, לפני ההורדה הראשונה - לא אחריה. משתני הסביבה הרלוונטיים:

OLLAMA_MODELS=/mnt/ssd/ollama    # לינוקס/macOS - נתיב לכונן עם מקום

ב-Windows מגדירים את אותו משתנה דרך "Edit environment variables for your account" בהגדרות המערכת, ומצביעים על כונן עם מקום פנוי. שינוי אחרי שכבר הורדתם מודלים דורש להעביר את הקבצים הקיימים ידנית לנתיב החדש.

תוצאה גרועה טיפוסית 2 - המודל נתקע או קורס

הורדת מודל 70B פרמטרים על מחשב נייד עם 16GB RAM נראית כמו פעולה רגילה - הפקודה ollama pull פשוט מורידה קובץ. הבעיה מתגלה רק בהרצה: המודל נטען לאט מאוד, המערכת קופאת, או שהתהליך נכשל בשקט.

הפתרון: לבדוק גודל מודל מול חומרה לפני ההורדה, לא אחריה. ollama ps מציג אילו מודלים כרגע טעונים לזיכרון ומאפשר לראות בזמן אמת אם משהו תקוע. כלל אצבע מהמדריך הקודם על הרצה מקומית: 7B-8B פרמטרים דורשים כ-16GB RAM, ומעל זה עולים בהדרגה - לא קופצים ישר למודל הכי גדול שרואים ברשימה. שם המודל בקטלוג של Ollama בדרך כלל כולל את גודל הפרמטרים בסוגריים או בסיומת - שווה לבדוק את זה לפני ההורדה, לא אחריה, כדי לא לגלות בדיעבד שהורדתם משהו גדול בהרבה ממה שהתכוונתם.

למה שתי הטעויות האלה כל כך נפוצות

שתיהן קורות מאותה סיבה: ברירת המחדל של Ollama עובדת מצוין לניסיון ראשון עם מודל קטן אחד, ונשברת בשקט כשהשימוש גדל. אין הודעת אזהרה כשמתקרבים למקום פנוי בכונן, ואין בדיקה אוטומטית שהחומרה שלכם מתאימה למודל שביקשתם להוריד - הפקודה ollama pull מצליחה גם אם המודל בסוף לא ירוץ בסבירות על המכונה. זה ההבדל המרכזי בין הרצה מקומית לבין API ענן: בענן הספק דואג לתשתית, מקומית זה באחריותכם המלאה מהרגע הראשון.

התוצאה אחרי התיקון

ollama pull llama3.2        # מוריד למיקום שהוגדר מראש
ollama run llama3.2 "מה זה RAG?"
ollama ps                   # מוודאים שהמודל טעון ורץ כרגיל

ה-API המקומי של Ollama זמין כברירת מחדל בכתובת 127.0.0.1:11434 - כתובת ופורט שאפשר לשנות דרך משתנה הסביבה OLLAMA_HOST אם יש התנגשות עם שירות אחר על המחשב, או אם רוצים לחשוף את השירות לרשת המקומית. חשיפה לרשת שווה מחשבה נוספת על אבטחה - כברירת מחדל השירות מאזין רק ל-127.0.0.1, כלומר לא נגיש ממכשירים אחרים ברשת, וזה בכוונה.

פקודות שימושיות אחרי ההתקנה

ollama list ו-ollama rm יחד הם הדרך המהירה לנקות מודלים ישנים שהצטברו מניסויים - שווה להריץ אותם מדי פעם, לא רק כשהכונן כבר מלא.

מה לנסות עכשיו

לפני ההתקנה - מחליטים על נתיב אחסון קבוע למודלים ומגדירים את OLLAMA_MODELS מראש. אחרי ההתקנה - מתחילים ממודל קטן (3B) לבדיקת תקינות, ורק אז עולים בהדרגה לגודל שהחומרה שלכם מטפלת בו בנוחות.

שווה גם להרגיל את עצמכם להריץ ollama list פעם בשבוע-שבועיים ולשאול את עצמכם על כל מודל ברשימה: "השתמשתי בזה בשבועיים האחרונים?" מודל שהתשובה עליו שלילית הוא מועמד טוב למחיקה - זה הרגל קטן שחוסך את המקרה שבו מגלים באמצע עבודה חשובה שאין מקום להוריד את המודל שבאמת צריך כרגע.