در این مقاله
دستیار هوش مصنوعی فروش به مشتری پیامی داده که «برای خرید عمده، کالا را تا یک ماه میپذیریم». چنین قاعدهای در شرکت وجود ندارد. جمله روان بود، لحن مؤدبانه بود و هیچ نشانهای نداشت که ساخته ذهن مدل است. مشتری حالا روی آن قاعده حساب کرده است و شما باید یا پای آن بایستید یا مشتری را ناراحت کنید.
به این پدیده «توهم» یا hallucination میگویند. توهم هوش مصنوعی همیشه آشکار نیست و دقیقاً به همین دلیل خطرناک است: اشتباههای آدمها معمولاً با تردید گفته میشوند، ولی اشتباه مدل با همان اطمینانی گفته میشود که درستترین جملهاش.
خبر خوب این است که میشود با طراحی درست خطر را خیلی پایین آورد، حتی اگر به صفر نرسد. اول بفهمیم چرا پیش میآید.
چرا مدل با اطمینان اشتباه میگوید؟
مدل زبانی بزرگ (LLM) برای پیشبینی محتملترین ادامه متن ساخته شده، نه برای رجوع به یک پایگاه واقعیتها. جملهای که محتمل باشد و جملهای که درست باشد همیشه یکی نیستند.
وقتی پرسش شما جوابی دارد که مدل در آموزش بارها دیده، معمولاً درست میگوید. وقتی جواب نادر است، به اسناد داخلی شما بستگی دارد یا خیلی تازه است، مدل خلأ را با چیزی پر میکند که شبیه یک جواب خوب به نظر میآید. او «نمیدانم» را بهطور پیشفرض نمیگوید.
چند وضعیت معمول که توهم در آن بیشتر پیش میآید:
- پرسش درباره اطلاعات خصوصی شرکت (قیمت، شرایط، موجودی) که مدل هرگز ندیده.
- خواستن عدد دقیق، تاریخ، شماره ماده قانونی یا ارجاع به مقاله.
- پرسش درباره موضوعی بسیار تازه یا بسیار تخصصی.
- حسابهای چندمرحلهای که یک گام آنها غلط است و بقیه روی همان غلط میایستد.
- زبان فارسی تخصصی، مثل اصطلاحهای حقوقی یا حسابداری ایران، که مدل کمتر دیده است.
توهم چه شکلهایی دارد؟
توهم فقط «جواب کاملاً ساختگی» نیست. بیشتر وقتها ترکیبی از درست و غلط است که تشخیصش سختتر است. جدول زیر چند شکل رایج را با نمونه فرضی نشان میدهد.
| شکل | نمونه فرضی | چرا خطرناک است |
|---|---|---|
| واقعیت ساختگی | مهلت بازگشت کالایی که وجود ندارد | مشتری به آن استناد میکند |
| ارجاع ساختگی | شماره بخشنامهای که چنین نیست | سند رسمی را بیاعتبار میکند |
| عدد نزدیک به درست | مجموع فاکتور با یک رقم اختلاف | دیر پیدا میشود |
| خلاصه بیوفا | قراردادی که بندش را برعکس خلاصه کرده | تصمیم را عوض میکند |
| پیروی ظاهری از دستور | جواب «طبق دستور شما»، با اطلاعات نادرست | اعتماد کاذب میسازد |
شش کار عملی برای پایین آوردن خطر
هیچکدام از اینها جادو نیست، ولی با هم خطر را بهطور محسوس کم میکنند. بهتر است بر اساس اهمیت کار ترکیبشان کنید.
- جواب را به منبع شرکت وصل کنید. به جای اینکه مدل از حافظه جواب بدهد، اسناد مرتبط را (فهرست قیمت، شرایط فروش، دستورالعمل) پیش از جواب به او نشان دهید و بخواهید فقط از همانها جواب بدهد. به این روش «تولید افزوده با بازیابی (RAG)» میگویند و در با اسناد شرکت حرف بزنید توضیحش دادهایم.
- منبع بخواهید. از مدل بخواهید زیر هر ادعا بگوید از کدام بخش سند آمده. اگر منبعی نیست، جواب نباید ارائه شود.
- «نمیدانم» را مجاز کنید. در دستور سیستم صریح بنویسید: اگر جواب در اسناد نیست، بگو نمیدانم و آدم را صدا کن. این جمله تنها، بسیاری از توهمها را کم میکند.
- حساب را به ابزار بسپارید. مدل برای جمع و تطبیق عدد خوب نیست. بگذارید مدل کار را بفهمد و محاسبه را یک ابزار یا کد انجام دهد.
- کار را کوچک کنید. یک پرسش ساده و مشخص بهتر جواب میدهد تا یک دستور بلند و مبهم. بهجای «کل قرارداد را بررسی کن»، بپرسید «بند مربوط به جریمه تأخیر چیست؟».
- انسان را درست بگذارید. تصمیمهای پرهزینه یا برگشتناپذیر باید پیش از اجرا تأیید انسانی بگیرند. کجا این لازم است را در انسان در حلقه بررسی کردهایم.
نکته: مدلهای مختلف در توهم یکسان نیستند و نسخهها عوض میشوند. بهجای اعتماد به شهرت یک مدل، همیشه روی نمونههای واقعی خودتان آزمایش کنید.
چطور بفهمیم سیستم ما چقدر توهم میزند؟
با آزمایش روی سؤالهای واقعی خودتان، نه با حس کلی. سی تا پنجاه پرسش را که مشتریها و کارمندان واقعاً میپرسند جمع کنید، جواب درستشان را مشخص کنید و ببینید سیستم کجا اشتباه میکند.
مثال فرضی: یک پخش لوازم برقی در تبریز میخواهد دستیاری بسازد که به پرسش مشتری درباره قیمت، موجودی و شرایط ارسال جواب بدهد. پیش از راهاندازی، چهل پرسش واقعی از پیامهای سال گذشته انتخاب میشود. بعضی جواب روشن در اسناد دارند، بعضی عمداً جواب ندارند، مثل «مهلت بازگشت کالای عمده چقدر است؟» وقتی چنین مهلتی تعریف نشده. سیستم خوب باید در همان گروه دوم بگوید «این را نمیدانم و همکار فروش پاسخ میدهد». همین نمونهها را هر بار که سند یا مدل عوض شد دوباره اجرا میکنید.
این آزمون یک کار یکباره نیست. چون مدلها و اسناد عوض میشوند، باید بخشی از نگهداری سیستم باشد.
کجا باید بیشتر مراقب بود؟
مراقبت را به اندازه هزینه اشتباه تنظیم کنید. اگر مدل برای پیشنویس ایمیل کمک میکند و انسان قبل از ارسال میخواند، خطر کم است. اگر مدل مستقیم به مشتری جواب میدهد، قیمت میگوید یا در سیستم مالی ثبت میکند، خطر زیاد است.
یک قاعده ساده:
- خطر کم: پیشنویس، ایده، ترجمه غیررسمی. انسان بخواند و ارسال کند.
- خطر متوسط: خلاصه سند، پاسخ به پرسش مشتری. جواب از اسناد شرکت بیاید، منبع نشان داده شود، موارد نامطمئن به انسان برسد.
- خطر زیاد: قیمت، تعهد، سند حقوقی یا مالی، سلامت. تأیید انسانی اجباری، و در بعضی موارد بهتر است هوش مصنوعی فقط آمادهکننده باشد.
وقتی ایجنت (agent) به ابزارها وصل میشود و خودش کار انجام میدهد، هزینه اشتباه بالاتر میرود. تفاوت ایجنت و چتبات را در ایجنت هوش مصنوعی چیست توضیح دادهایم. در سند حقوقی یا مالی هم همیشه نظر متخصص انسانی را بگیرید؛ این نوشته مشاوره حقوقی نیست.
یک سیستم قابلاعتماد چطور ساخته میشود؟
اعتماد از طراحی میآید، نه از انتخاب «بهترین مدل». سیستم قابلاعتماد منبع دارد، حد و مرز دارد، آزمایش میشود و راه برگشت دارد.
مهندس پیادهسازی (FDE) در بلنک پیکسل این کار را در پنج گام پیش میبرد. در شناخت، میبیند اشتباه کجا واقعاً گران تمام میشود. در نقشه، آزمون پرسشهای واقعی را میسازد. در ساخت و اتصال، پاسخها را به اسناد و سیستمهای خود شما وصل میکند و نقطه تأیید انسانی را میگذارد؛ نمونهاش ایجنتهای هوش مصنوعی اختصاصی است. در اجرا و بهبود، اشتباهها را ثبت و آزمون را روزآمد میکند.
اگر کارمندانتان از ابزارهای عمومی استفاده میکنند، بخش دیگری از این مسئله را در هوش مصنوعی پنهان در شرکت میبینید: توهم و نشت داده معمولاً با هم از همان استفاده بدون قاعده میآیند.
پرسشهای رایج
آیا توهم هوش مصنوعی کاملاً قابل حذف است؟
نه، ولی میشود آن را خیلی کم کرد و جلوی اثرش را گرفت. با اتصال به اسناد، خواستن منبع، اجازه «نمیدانم» و تأیید انسانی، اشتباه کمتر پیش میآید و اگر پیش آمد پیش از رسیدن به مشتری گرفته میشود.
مدلهای جدیدتر توهم نمیزنند؟
نسخههای تازه معمولاً بهتر میشوند، ولی ادعای «دیگر توهم نمیزند» درست نیست. همیشه روی نمونههای خودتان بسنجید، چون شرایط شما با آزمونهای عمومی فرق دارد.
از کجا بفهمیم یک جواب توهم است؟
نشانههایی مثل عدد خیلی دقیق بدون منبع، ارجاع به ماده یا مقالهای که پیدا نمیشود، و جوابی که از پرسش شما دقیقتر از اسناد است شکبرانگیزند. سادهترین راه، مطابقت با منبع اصلی است.
آیا اتصال به اسناد شرکت کافی است؟
کمک بزرگی است، ولی کافی نیست. اگر سند قدیمی یا ناقص باشد، جواب هم همان میشود. باید سند را بهروز نگه دارید، آزمون بگذارید و برای موارد مهم تأیید انسانی داشته باشید.
راهکار مرتبط
ایجنتهای هوش مصنوعی اختصاصی
ایجنتهایی برای شرکت شما که از سندهای خودتان جواب میدهند و کار چندمرحلهای را در حدی که تعیین میکنید انجام میدهند.
ادامه مطالعه
مقالههای مرتبط
داده، CRM و ERP۲۸ آبان ۱۴۰۵
نشانههایی که کسبوکار شما از اکسل بزرگتر شده
جایگزین اکسل کی لازم میشود؟ یک خودآزمایی با ده نشانه که خودتان میشمارید و بعد میفهمید چه چیزی را باید اول از جدول بیرون بیاورید.
خواندن مقالهمدلهای مشاوره۲۷ آبان ۱۴۰۵
مدل 7S مککینزی با هوش مصنوعی: کجای سازمان با بقیه هماهنگ نیست؟
مدل 7S مک کنزی را قدمبهقدم روی یک شرکت ایرانی اجرا کنید و ببینید هوش مصنوعی کجا داده میآورد و کجا قضاوت هنوز با خود شماست.
خواندن مقالهخودکارسازی و ایجنتها۲۶ آبان ۱۴۰۵
ایجنت هوش مصنوعی چیست و چه فرقی با چتبات دارد؟
ایجنت هوش مصنوعی چیست؟ فرقش با چتبات، چهار جزء یک ایجنت، مثالهایی از کسبوکار ایرانی و جاهایی که اصلاً به ایجنت نیاز ندارید.
خواندن مقاله
ببینید هوش مصنوعی کجا بیشترین صرفهجویی را برایتان دارد.
یک گفتوگوی رایگان درباره کسبوکارتان، و بعد گزارش امکانسنجی مکتوب از فرایندهایتان: زمان و پول کجا هدر میرود، هوش مصنوعی چه کارهایی را میتواند برعهده بگیرد و از کجا باید شروع کرد.