tiyuvta / מעבדה
אודות
tiyuvta היא המעבדה של אבי פנש. מריצים מודלים פתוחים על המכונות שלנו, מכווננים אותם על עומסי עבודה אמיתיים, ומעבירים את העבודה הזו ללקוחות כמודלים מכווננים על העומס שלהם, שרצים על חומרה שהם שולטים בה.
מה אפשר לבדוק
לכל טענה שלנו יש משהו מאחוריה
שכבת ההגשה מכווננת על העומס שלכם, לא על מדד ביצועים כללי: המודל, הקוונטיזציה, המטמון ומדיניות הקבלה נבחרים מול התעבורה שאתם באמת שולחים. אבי פנש עושה את העבודה הזו בעצמו, ולכן אין אף אחד ביניכם לבין מי שבאמת מבין את המערכת. המעבדה חוקרת את מנוע ההגשה עצמו ומכווננת אותו לכל חומרה ולכל מודל שאנחנו מריצים, כך שמה שהלקוח מקבל הוא הקונפיגורציה שנמדדה הכי טוב על המכונה שלו, כתובה.
לנתוני ה-API המנוהל מצורפים פרטי הבנייה שעליה נמדדו, התאריך ופרוטוקול המדידה. נתוני המעבדה מסומנים ככאלה, עם החומרה שעליה נמדדו. אם לנתון אין תיעוד מדידה חתום, אנחנו מציינים זאת במפורש, כדי שלא ייתפס כנתון מגובה רק משום שהוא מופיע לצד נתונים שכן מגובים. המדידות נמצאות בבלוג (באנגלית).
המשכיות
מה קורה למערכת שלכם אם ניעלם
זו שאלה שכל מי שקונה מספק קטן שואל, ומגיע לה תשובה עם מספרים ולא הרגעה. הנה מה שבפועל נשאר אצלכם:
- מה שמסרנו נשאר שלכם. המשקולות המכווננות, קונפיגורציית ההגשה וה-runbook יושבים על החומרה שלכם או בחשבון שלכם. אין רכיב שרק אנחנו יכולים לבנות מחדש.
- ממשק סטנדרטי, פורמטים פתוחים. ה-API תואם OpenAI, אז מעבר לספק אחר במודלים שאנחנו מגישים זו החלפה של כתובת ה-API. מודל שכיווננו עבורכם הוא משקולות, והוא ירוץ על כל סביבת ריצה שקוראת את אותו פורמט.
- הכל כתוב. לכל פריסה יש runbook, וכל החלטה שקיבלנו בכיוונון מתועדת עם המספרים שהובילו אליה.
שכבת ההגשה שסביב זה היא שלנו לתפעל, ואפשר לסגור עליה נאמנות קוד (escrow) לפי בקשה.
צרו קשר
רוצים לדבר על העומס שלכם?
ספרו לנו מה אתם מריצים, ומהנדס יחזור אליכם.