מושגים בגובה העיניים

מושגים במודלי שפה, בלי להסתבך

לא צריך להיות חוקרי למידת מכונה כדי לבחור איך להריץ מודל. כאן מסבירים את המונחים, ומה כדאי לבדוק כשבוחרים מודל וסביבת הרצה.

מנוע הרצה: התוכנה שמריצה את המודל

המודל כולל את המשקלים שנלמדו ואת הגדרת החישובים. מנוע ההרצה, serving engine, הוא התוכנה שטוענת את המודל, מבצעת את החישובים על החומרה ומטפלת בבקשות. בדרך כלל המנוע פועל בתוך שרת שמספק API, ודרכו האפליקציה פונה למודל.

הסקה (inference) היא הרצה של מודל מאומן כדי לקבל ממנו פלט, למשל תשובה לשאלה. בניגוד לאימון, בהסקה לא משנים את הפרמטרים שהמודל למד. מנוע ההרצה, החומרה והגדרות הבקשה עשויים להשפיע על צריכת הזיכרון ועל זמני התגובה. שם המודל לבדו אינו מתאר את סביבת ההרצה.

דוגמה לתוכנה להרצת מודלים בתיעוד של Hugging Face (באנגלית)

טוקנים וחלון ההקשר: כמה טקסט המודל מעבד

טוקן (token) הוא יחידת הטקסט שהמודל מעבד. טוקן יכול להיות מילה, חלק ממילה, סימן פיסוק או רצף תווים אחר. הטוקנייזר (tokenizer) הוא הרכיב שמפרק את הטקסט לטוקנים. אותו משפט עשוי להתפרק אחרת במודלים שונים, וגם השפה משפיעה על מספר הטוקנים.

פרומפט (prompt), או הנחיה, הוא הקלט שמוסרים למודל: הוראות, שאלה ומידע שיכול לעזור לו לענות. שינוי ההנחיה משנה את הקלט, אבל אינו מאמן את המודל.

חלון ההקשר, context window, הוא מספר הטוקנים המרבי שהמודל יכול לעבד בבקשה אחת. ההוראות, היסטוריית השיחה, המסמכים, התוצאות שהחזירו הכלים והתשובה שהמודל מייצר צריכים כולם יחד לעמוד במגבלה הזאת. חלון גדול אינו מבטיח שהמודל ישתמש נכון בכל פרט שבתוכו.

מה כדאי לשאול: האם הקלטים והתשובות שלנו עומדים במגבלה? והאם המודל עדיין עונה נכון כשהפרט החשוב קבור באמצע קלט ארוך?

איך טוקנייזר מפרק טקסט לטוקנים, בתיעוד של Hugging Face (באנגלית)

הזרמה (streaming): רואים את התשובה בזמן שהיא נוצרת

ב־streaming, חלקי התשובה נשלחים לאפליקציה בזמן שהמודל עדיין מייצר אותם. המשתמש יכול להתחיל לקרוא עוד לפני שהתשובה הושלמה. בלי הזרמה האפליקציה ממתינה לתשובה המלאה.

הזרמה היא דרך להעביר את התשובה, והיא כשלעצמה אינה מאיצה את יצירת הטקסט. האפליקציה צריכה גם לדעת לטפל בטקסט חלקי, בתשובה שנקטעה ובשגיאות.

הסבר על הזרמה בתיעוד של Hugging Face (באנגלית)

זמני תגובה וקצב עבודה: מה בדיוק מודדים?

זמן תגובה (latency)
משך הזמן משליחת הבקשה ועד נקודת הסיום של המדידה. צריך לציין אם הכוונה לתחילת התשובה, לקבלת התשובה המלאה או להשלמת המשימה באפליקציה.
הזמן עד הטוקן הראשון (TTFT)
קיצור של Time to first token: הזמן עד שהאפליקציה מקבלת את הטוקן הראשון שנוצר. משפיעים עליו ההמתנה בתור, עיבוד הקלט והעברת התשובה ברשת.
קצב יצירת הטקסט
כמה מהר מגיעים טוקנים אחרי שהמודל התחיל לייצר את התשובה. נהוג למדוד אותו בטוקנים לשנייה. המדד אינו כולל את ההמתנה שלפני הטוקן הראשון.
תפוקה (throughput)
כמות העבודה שהמערכת משלימה ביחידת זמן, בכל הבקשות יחד. שרת יכול לטפל ביותר בקשות בסך הכול, ובו בזמן לגרום לכל משתמש לחכות יותר.

מה כדאי לשאול: מה נמדד, באילו אורכי קלט ותשובה וכמה בקשות רצו במקביל? כדי להשוות תוצאות צריך למדוד בדיוק את אותו הדבר.

מדדי ביצועים למודלי שפה בתיעוד של NVIDIA (באנגלית)

כוונון עדין (fine-tuning): אימון נוסף למשימה מסוימת

ב־fine-tuning מתחילים ממודל קיים ומאמנים אותו על דוגמאות שנבחרו למשימה. המטרה עשויה להיות לשנות את האופן שבו הוא מבצע את המשימה, ללמד אותו להשתמש במונחים מקצועיים או לגרום לו להקפיד על פורמט הפלט. בהתאם לשיטה מעדכנים את משקלי המודל או מאמנים רק קבוצות קטנות של פרמטרים נוספים שנקראות adapters.

כוונון עדין שונה מהוספת הוראות או מסמכים להנחיה. כשהמידע מתעדכן לעיתים קרובות, שליפה של המסמכים הרלוונטיים בזמן הבקשה עשויה להתאים יותר. לפני שמאמנים כדאי לנסות הנחיות טובות. אם מאמנים, משווים את התוצאות ובודקים אותן על דוגמאות שלא נכללו באימון.

הסבר על כוונון עדין בתיעוד של Hugging Face (באנגלית)

מודלי חזית (frontier models): המודלים המובילים, לפי הגדרה שתלויה בהקשר

מודלי חזית (frontier models) הוא כינוי למודלים המתקדמים ביותר בתקופה נתונה. ההגדרה משתנה לפי ההקשר, והמודלים המובילים מתחלפים. הכינוי לבדו אינו מעיד שהמודל מתאים למשימה שלכם, שמשתלם להריץ אותו או שהרישיון שלו מתיר להשתמש בו לצרכים שלכם.

מה כדאי לשאול: באיזה מודל ובאיזו גרסה מדובר, ובאיזו משימה בדקו אותו? כשבוחרים מה להריץ, הפרטים האלה חשובים יותר מהכינוי.

דוגמה להגדרת frontier AI של ממשלת בריטניה (באנגלית)

פענוח ספקולטיבי (speculative decoding): הצעת המשך שהמודל הראשי בודק

ביצירת טקסט רגילה המודל מייצר טוקן אחד בכל פעם. ב־speculative decoding, תהליך זול יותר מציע כמה טוקנים קדימה, והמודל הראשי בודק את כולם בבת אחת. הצעות שמתקבלות חוסכות עבודה, אבל גם בדיקת הצעות שנדחות גוזלת זמן. התועלת תלויה במודל, בתוכנה ובסוג הבקשות.

התאמת הטיוטה (draft agreement) מתארת עד כמה הטוקנים שהוצעו תואמים לאלה של המודל הראשי, או כמה מהם הוא מקבל, בהתאם לשיטת המדידה. המדד עוזר להבין אם ההצעות באמת מאיצות את התהליך. הוא אינו מעיד שהתשובה נכונה עובדתית או שהקוד שנוצר עובד.

אלגוריתמים מדויקים של פענוח ספקולטיבי נועדו לשמור על התפלגות הפלט של המודל הראשי: כשהם ממומשים נכון, הם אינם אמורים לשנות את ההסתברות שהמודל יבחר בפלט מסוים. גם את התכונה הזאת צריך לבדוק במערכת האמיתית, לצד מדידת המהירות.

המאמר על פענוח ספקולטיבי והאצת יצירת טקסט (באנגלית)

גיזום (pruning): הסרת חלקים מהמודל

גיזום (pruning) הוא הסרה או איפוס של משקלים נבחרים או של קבוצות רכיבים במודל. בקוונטיזציה, לעומת זאת, שומרים את הערכים ברמת דיוק מספרי נמוכה יותר. שתי השיטות עשויות לחסוך משאבים, אבל כל אחת משנה את המודל בדרך אחרת.

איפוס ערכים לבדו אינו מבטיח קובץ קטן יותר או הרצה מהירה יותר: פורמט האחסון והתוכנה צריכים לדעת לנצל את הגיזום. כמו בקוונטיזציה, אחרי השינוי בודקים מחדש את איכות התשובות ואת הביצועים.

הסבר על גיזום בתיעוד של PyTorch (באנגלית)