در مورد Context Engineering
در چند سال اخیر اصطلاح prompt engineering پررنگترین مفهوم در طراحی راهحلهای llm بوده. prompt engineering به صورت مشخصتر به این معناست که من چیزی که میخوام رو چطوری و با چه ادبیات و کلمههایی برای llm توضیح بدم. در این اواخر اما یک اصطلاح تازهای هم به نام context engineering به وجود اومده که ممکنه در نگاه اول شبیه به prompt engineering به نظر بیاد اما موضوعش یک درد و درمان جدایی هست.
ماجرا اینه که هر چه قدر که llmها رشد کردند و ازشون در تسکهای پیچیدهتر و اصطلاحا long horizon تری (مثل مهندسی نرمافزار) استفاده شد از اونور میزان توکنی که بهشون به عنوان context باید داده بشه بیشتر و بیشتر میشه. این context خودش میتونه شامل چیزهای مختلفی نظیر system prompt یا tool call های ایجنت یا تاریخچه مکالمهاش با user باشه. حالا این بزرگشدن context دو مشکل میتونه به وجود بیاره. یکی این که ممکنه اون قدر بزرگ بشه که ظرفیت context مدلهای llm ای جا نشه و یکی دیگه هم این که حتی اگر context در حد ظرفیت llm هم باشه آزمایشات نشون دادند که هر چه قدر context بزرگتر بشه عملکرد llm افت پیدا میکنه و اصطلاحا llm یک بودجه اتنشن محدودی داره. در نتیجه توسعهدهنده باید تا حد امکان بتونه جوری context رو مهندسی کرده که اطلاعات مربوط با تعداد توکن کمتری به llm داده بشه. این که مثلا چه جاهایی از تاریخچه مکالمه رو به llm بدم، چه tool call هایی رو بدم و ... همه میتونن استراتژیهای مختلف برای این مساله باشند.
حالا Anthropic چند روز پیش اومده در بلاگی راجع به context engineering و ابعاد مختلفش صحبت کرده و یک سری توصیه و نیکروش (امروز دوستم آقای حبیبی داشت فحش میداد چرا از واژههای انگلیسی استفاده میکنیم، به همین دلیل به جای بست پرکتیس از نیکروش استفاده کردم) ارائه کرده. تنی چند از این توصیههایی که به نظرم خودم جالب بودند اینها هستند:
- یک context engineering موفق به این معنا هست که کوچکترین ست ممکن از توکنهایی رو پیدا کنیم که نقش سیگنال رو برای llm جوری بازی کنند که احتمال بهترین رفتار llm رو بیشتر کنند. در جایی که عملکرد مساوی بنابراین اولویت با اون ستی هست که کوچکتر باشه.
- سیستم پرامپت باید نه اون قدر مبهم باشه که llm نفهمه دقیقا باید چی کار کنه و نه اون قدر با جزییات نوشته شده باشه که مستعد اورفیت و شکست روی نمونهها باشه. یک جاهایی اون وسطها باید باشه.
- روند ساخت سیستم پرامپت باید این جوری باشه که سعی بشه اول با یک پرامپت مینیمال روی بهترین llm موجود جواب گرفته بشه و بعد حالا از یک طرف سعی بشه تا failure mode رو با اضافهکردن توضیحات یا مثال هندل کرد. از طرف دیگه هم آروم آروم از بهترین مدل به ممکنترین مدل (مدلی که هزینهاش بهمون بخوره) رسید.
- میشه از tool ها به نحوی استفاده کرد که context مون کوچیکتر بشه. بدین منظور باید toolهایی داشته باشیم که بخشی از منطق مساله رو بدون این که نیاز باشه تو کانتکس tool یا agent های دیگه بیاریم به اونها بسپریم. این tool ها باید تا حدامکان خودنگهدار باشند و مرز کار منطقی که انجام میدن با هم مشخص باشه.
- تکنیک few shot exampling با این که خوبه اما اکثرا به صورت اشتباهی استفاده میشه. باید مثالهای دایورسی رو قرار داد تا مبادا مدل روی مثالهای خاص اورفیت کنه.
- برای تسکهای long horizon و بهینهترکردن context شون میشه سه استراتژی داشت: خلاصه کردن محتوا برای دورهای بعدی، قابلیت note taking و جداکردن conern های منطقی با sub agentها. در note taking این شکلی میشه که ایجنت میاد چیزایی که بهشون دست پیدا کرده رو یادداشت میکنه و عوض این که هر سری تو کانتکس خودش نگه داره یک جای دیگه ذخیره میکنه و هر وقت که نیاز شد میره برش میداره میذاره تو کانتکس
لینک بلاگ:
https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
5.2M حجم رسانه بالاست
مشاهده در ایتا
نرم افزار تبدیل صدا به متن
با قابلیت اجرا به صورت محلی و پشتیبانی از زبان فارسی
https://handy.computer
#هوش_مصنوعی
➕ با همت باشیم
🧠 @HemmatAI_IR
14M حجم رسانه بالاست
مشاهده در ایتا
📌 با هوش مصنوعی Napkin آشنا هستین؟
#اینفوگرافیک
➕ با همت باشیم
🧠 @HemmatAI_IR
دستورالعمل استفاده از ابزارهای هوش مصنوعی.pdf
حجم:
238.8K
🔰 «دستورالعمل ملی استفاده از ابزارهای هوش مصنوعی» در پژوهشهای علمی، تصویب شد
🔻بنیاد ملی علم ایران با هدف صیانت از اخلاق علمی و ساماندهی استفاده از فناوریهای نوین، دستورالعملی جامع در حوزه بهرهگیری از ابزارهای هوش مصنوعی در پژوهش را تدوین و در تاریخ ۲۹ شهریور ۱۴۰۴ به تصویب شورای علمی رساند.
🔸 این دستورالعمل که با همکاری پژوهشگران و نهادهای مرتبط تدوین شده و استفاده از ابزارهای هوش مصنوعی را در تمامی مراحل پژوهش ـ از طراحی و تدوین پروپوزال گرفته تا اجرای طرح، تحلیل دادهها، نگارش گزارش و حتی فرآیند داوری ـ بلامانع دانسته است، مشروط بر آنکه ضوابط اخلاقی و اصول شفافیت رعایت شوند.
🔹 «دستورالعمل ملی استفاده از ابزارهای هوش مصنوعی» قابل دریافت است.
نسخه بهسازی شده، قابل استفاده در موبایل
➕ با همت باشیم
🧠 @HemmatAI_IR
17.8M حجم رسانه بالاست
مشاهده در ایتا
یه نرم افزار ویژه برای حفّاظ
محفوظاتتون رو تحویل بدید بدون اینکه به قرآن نگاه کنید، اپلیکیشن tarteel رو نصب کنید و لذت ببرید 🥰
.➕ با همت باشیم
🧠 @HemmatAI_IR
همت | هوش مصنوعی تربیتی 🧠
یه نرم افزار ویژه برای حفّاظ محفوظاتتون رو تحویل بدید بدون اینکه به قرآن نگاه کنید، اپلیکیشن tartee
امروز داشتم با یکی از دوستان❤️ حافظ قران میومدم خونه داشت با این اپلیکیشن کار میکرد ازش راضی بود.
بهترین ابزارهای رایگان هوش مصنوعی برای پژوهش
copilot.microsoft.com
جستجو با هوش مصنوعی
سوال و جواب از فایل و سایت
دستیار مطالعه مقاله
درک و توضیح تصویر
gemini.google.com
جستجو با هوش مصنوعی
درک و توضیح تصویر
chat.openai.com
پاسخ به سوالات
درک و توضیح تصویر
درک مقاله و پرسش و پاسخ
researchrabbit.ai
خوشه مقالات مشابه
ساخت مجموعه مقالات
پیدا کردن و اتصال مقالات مشابه
semanticscholar.org
جستجوی مقاله
پیدا کردن مقالات مشابه
consensus.app
پاسخ به سوال براساس مقاله
پیدا کردن رفرنس برای سوالات
elicit.com
پاسخ به سوال بر اساس فایل مقاله
استخراج لیست مفاهیم برای مقاله
typeset.io
بازنویسی متن
خوانش هوشمند مقالات
ترجمه تخصصی
scite.ai
استناد جملات به مقالات
connectedpapers.com
پیدا کردن مقالات مشابه
scholarcy.com
خلاصهسازی مقاله
glasp.co
یادداشتبرداری از مقالات
grammarly.com
اصلاح گرامر
بهبود نگارش
Iris.ai
پردازش پژوهش
اکتشاف موضوعات
طبقهبندی مقالات
Worldtune.com
ویرایش لحن متن
انسانیزه کردن
➕ با همت باشیم
🧠 @HemmatAI_IR
.
🔮 سایتی با امکانات فراوان:
👉 tinywow.com 👈
✅ ابزاری که با خدمات فراوان میخواهد همه چیز را برای شما آسان کند!
➕ با همت باشیم
🧠 @HemmatAI_IR
6.4M حجم رسانه بالاست
مشاهده در ایتا
📽 ساخت زیرنویس خودکار با هوش مصنوعی
❇️ ابزار مورد استفاده سایت :
🌐 https://capzy.app/
➕ با همت باشیم
🧠 @HemmatAI_IR
4.9M حجم رسانه بالاست
مشاهده در ایتا
آموزش ساخت پاورپوینت با gamma
فـــــــــــــــــــــــــــ❤️ــــــــــــــوق العاده جذاب
❇️دقت کنید. gamma.app. سایتهای مشابه نرویدهااا.
➕ با همت باشیم
🧠 @HemmatAI_IR