מושגים בגובה העיניים

מה זו קוונטיזציה?

קוונטיזציה (quantization) היא דרך לשמור את המספרים של המודל בפחות ביטים, כדי שיתפסו פחות זיכרון. השאלה היא כמה זיכרון חוסכים, והאם התשובות עדיין מספיק טובות למשימה שלכם.

מה בעצם משתנה?

משקלי המודל, weights, הם המספרים שהמודל למד בזמן האימון, ובעזרתם הוא מחשב את הפלט הבא. בקוונטיזציה של המשקלים מחליפים כל ערך בקירוב שאפשר לשמור בפחות ביטים.

זה דומה לעיגול של מדידה למספר קטן יותר של ספרות אחרי הנקודה: הקירוב עדיין שימושי, אבל חלק מהדיוק המספרי הולך לאיבוד. בפועל לא מוחקים ספרות סתם כך, אלא משתמשים בפורמט מספרי ובכללי המרה מוגדרים. בחלק מהשיטות מורידים גם את רמת הדיוק של תוצאות הביניים בחישוב, שנקראות activations.

הסבר על קוונטיזציה בתיעוד של Hugging Face (באנגלית)

מהם BF16 ו־NVFP4?

BF16 הוא פורמט מספרים בנקודה צפה, עם 16 ביטים לכל ערך. NVFP4 משתמש בערכים של 4 ביטים ובמקדמי קנה מידה נוספים, שמתאימים את הערכים לטווח המספרים שצריך לייצג. אלה פורמטים לשמירת מספרים ולביצוע חישובים בהם, ולא ציוני איכות.

בניסוי שפרסמנו השתמשנו ב־NVFP4 רק בחלקים מסוימים של המודל, ומשקלים אחרים נשארו ב־BF16. התווית NVFP4 בגרף אינה אומרת שכל המשקלים, החישובים והמטמון (cache) משתמשים בפורמט הזה. ההסבר על הניסוי (באנגלית) מפרט בדיוק מה השתנה.

להרחבה: סוגי המספרים ב־PyTorch (באנגלית) וגם תיעוד NVFP4 של NVIDIA (באנגלית).

איך זה חוסך זיכרון?

פחות ביטים לכל משקל פירושם שהמשקלים תופסים פחות זיכרון. כך אפשר לפעמים להריץ מודל על כרטיס גרפי שאין בו מספיק זיכרון לגרסה המקורית.

אבל קובץ המודל הוא רק חלק מהחשבון. ההרצה דורשת גם זיכרון עבודה ומקום לבקשות הפעילות. מעבר לכך, פורמט הקוונטיזציה עשוי לדרוש נתוני המרה נוספים או להשאיר חלקים רגישים בדיוק גבוה יותר. גודל הקובץ לבדו אינו מראה בכמה משתמשים השרת יוכל לתמוך במקביל.

סקירה של Hugging Face על קוונטיזציה (באנגלית)

חיסכון בזיכרון אינו מבטיח את אותה איכות או מהירות גבוהה יותר

העיגול משנה את החישובים, והשינוי עלול להשפיע על התשובות. מודל עשוי להמשיך להצליח בשאלות כלליות ובכל זאת להיחלש בעבודה עם הקוד שלכם, בעברית או בהקפדה על פורמט הפלט שאתם צריכים. לכן משווים בין הגרסה המקורית לבין הגרסה שעברה קוונטיזציה בדוגמאות שמייצגות את העבודה שלכם.

המהירות תלויה בחומרה, בתוכנה שמריצה את המודל ובבקשה עצמה. העברה של פחות נתונים עשויה לעזור, אבל גם המרת הנתונים לצורך החישוב דורשת עבודה. לכן צריך למדוד זמני תגובה בסביבת ההרצה האמיתית, גם עם קלט ארוך וגם עם בקשות מקבילות.

בחירת שיטת קוונטיזציה בתיעוד של Hugging Face (באנגלית)

ה־KV cache נפרד ממשקלי המודל

בזמן יצירת טקסט מודלים רבים שומרים תוצאות ביניים של מנגנון הקשב (attention), שמחשב את הקשרים בין יחידות הטקסט. התוצאות האלה חושבו עבור טוקנים שהמודל כבר עיבד. הזיכרון הזה נקרא KV cache. השימוש החוזר בתוצאות חוסך את הצורך לחשב אותן מחדש בכל צעד.

גם הוא תופס זיכרון. גודלו תלוי במודל, בכמות הטקסט שמעבדים ובמספר הבקשות הפעילות. קוונטיזציה של המשקלים אינה משנה כשלעצמה את ה־KV cache. אפשר להחיל קוונטיזציה גם עליו, אבל זו החלטה נפרדת, ויש לבדוק את השפעתה על האיכות ועל המהירות.

הסבר על KV cache בתיעוד של Hugging Face (באנגלית)

מה בודקים לפני שבוחרים?

  • איכות במשימה שלכם: האם המודל עדיין עומד בדרישות, גם בדוגמאות שלא שימשו להתאמה שלו?
  • זיכרון בעומס: האם נשאר מספיק זיכרון לקלט באורך הנדרש ולמספר הבקשות המקבילות שאתם צריכים?
  • זמן תגובה: כמה זמן עובר עד שמתחיל להגיע טקסט שימושי, וכמה עד שהתשובה מוכנה?
  • תמיכה בסביבת ההרצה: האם התוכנה שבחרתם מריצה את הפורמט הזה ביעילות על החומרה שלכם?

בוחרים את הגרסה שעומדת בדרישות האיכות והתפעול. הקובץ הקטן ביותר אינו בהכרח הבחירה הטובה ביותר.