פלטפורמת דאטה
מערכת לאיסוף וחיפוש מידע ציבורי
המקור יכול להשתנות מחר. זה בנוי בדיוק בשביל זה.
היא אוספת אלפי רשומות ציבוריות מאתר שאף אחד כאן לא שולט בו, מודל AI קורא ומתייג כל אחת מהן, היא שומרת עותק משלה לתמונות, והופכת את כל הערימה לתיבת חיפוש שעונה תוך שנייה.
זה נבנה עבור לקוח. השם שעליו שייך לו, לא לנו.
איפה זה רץעל שרת שכור, כארבע תוכניות שעולות מחדש לבד אם המכונה מאותחלת.
למי זה מתאים?
צוות שהעבודה היומית שלו תלויה במעקב אחרי מה שמתפרסם במקום ציבורי, ועד עכשיו עשה את זה בפתיחת טאבים אחד אחד.
מה המספרים אומרים
כתובים ונעולים, כך ששני חלקים במערכת לא יכולים להתרחק זה מזה בלי שמישהו ישים לב.
אחת מהן קיימת רק כדי לשים לב כשהשלוש האחרות נעצרות.
בעוד שנה, מי שיירש את זה יוכל לקרוא למה זה נבנה ככה במקום לנחש.
כולל אחת שעוקבת אחרי רשומה אחת מהאיסוף ועד לתוצאות החיפוש.
איך זה עובד באמת
כל מה שנכנס לכאן מגיע מאתר של מישהו אחר, שיכול לשנות בו עיצוב ביום שלישי בלי להודיע לאף אחד. העובדה האחת הזאת קבעה את כל השאר.
לכן הפרדנו לגמרי את החלק שאוסף מכל השאר. הוא תוכנית קטנה בפני עצמה, והדבר היחיד שעובר בין השניים הוא פורמט מוסכם אחד ששני הצדדים חייבים לעמוד בו. כשהמקור משתנה, מחליפים את התוכנית הקטנה הזאת ושום דבר אחר לא זז.
כל תמונה שמגיעה מועתקת לאחסון שהמערכת הזאת שולטת בו, במקום להצביע חזרה על המקור. קישור לשרת של מישהו אחר הוא קישור שימות, ועמוד מלא בתמונות מתות נראה כמו מוצר שבור.
מודל שפה קורא כל רשומה ומתייג אותה, כך שמי שמחפש מקבל רשימה קצרה במקום עשרת אלפים שורות.
המערכת רצה כארבע תוכניות נפרדות על השרת. אחת מהן לא עושה כלום חוץ מלבדוק כל כמה דקות שהשלוש האחרות עדיין חיות. כשחלק נעצר, מכונה שמה לב לזה, לא לקוח.
אם העסק שלך תלוי באתר שהוא לא שלך, השאלה היא לא אם הוא יישבר. השאלה היא אם תשמע על זה לפני הלקוחות שלך.
אנחנו בונים דברים כאלה. ספרו לנו במה אתם תקועים.
ממה זה בנוי
- TypeScript
- Fastify
- Next.js
- PostgreSQL
- Redis
- Python