پرش به محتوا
MGبازگشت
هوش مصنوعی و LLM

یک مدل زبانی دقیقاً چه چیزی را در نقشه راه محصول B2B تغییر می‌دهد؟

کجا قابلیت‌های مولد هزینه‌شان را درمی‌آورند و کجا بی‌سروصدا درنمی‌آورند.

8 دقیقه مطالعه→ Read this article in English
در این صفحه

بیشتر نقشه‌های راه B2B که در دو سال گذشته یک مدل زبانی اضافه کردند، آن را در جای اشتباه اضافه کردند. قابلیت منتشر می‌شود، دمو خوب می‌نشیند و شش ماه بعد نمودار استفاده صاف است، چون مدل به سمت کاری نشانه رفته که کسی پشت آن گیر نکرده بود.

نقطه شروع اشتباه

هدف‌های وسوسه‌انگیز همان‌های قابل‌مشاهده‌اند — جعبه جست‌وجو، پنل خلاصه، دستیار آنبوردینگ. دموی زیبایی می‌دهند و بیرون از عملیات می‌نشینند؛ دقیقاً به همین دلیل چیزی را تغییر نمی‌دهند. هفته هیچ‌کس کوتاه‌تر نمی‌شود.

یک قابلیت مبتنی بر LLM به‌ندرت یک قابلیت است. تغییری است در محل استقرار بررسی.

ویژگی مشترک کارهای درست

کارهایی که ارزش خودکارسازی دارند یک ویژگی مشترک دارند: همین حالا یک انسان ورودی بدون‌ساختار را می‌خواند و خروجی کوتاه و محدودی تولید می‌کند. یک صف بررسی. تفکیک تیکت پشتیبانی. خلاصه‌سازی انطباق. خروجی آن‌قدر کوتاه است که بتوان بررسی‌اش کرد، یعنی مدل می‌تواند اشتباه کند بدون آنکه خطا از سازمان بیرون برود.

  • ورودی بدون‌ساختار، خروجی محدود
  • انسانی همین حالا آن را با هزینه انجام می‌دهد
  • خطا ظرف چند روز دیده می‌شود، نه چند فصل
  • یک لایه قطعی می‌تواند مرز را نگه دارد

کارهایی که وسوسه‌انگیز به نظر می‌رسند و نیستند: هر جایی که خروجی مدل بدون حضور انسان ورودی سامانه خودکار دیگری شود. خطا آنجا بی‌صدا انباشته می‌شود و شما در مغایرت‌گیری فصلی از آن باخبر می‌شوید، نه در یک تیکت.

سیاست آستانه — شبه‌کد
decision = model.draft(item)
if not rules.permits(decision):        # deterministic boundary
    return escalate(item, reason="outside policy")
if decision.confidence < band[item.class]:
    return escalate(item, reason="low confidence")
return commit(decision, audit=snapshot(item))

عددی که اهمیت دارد

دقت نیست. هزینه دسته خطایی است که حالا تولید می‌کنید، ضرب در حجمی که تازه خودکار کرده‌اید. وقتی این عدد را در برابر حقوق صرفه‌جویی‌شده رسم کنید، بیشتر صف‌های نامزد در سمت اشتباه خط می‌افتند.

دسته A — تطبیق سند۰٫۲۲×
دسته B — مسیریابی۰٫۳۸×
دسته C — استثنای سقف۰٫۹۶×
دسته D — ریسک طرف مقابل۴٫۱۰×
هزینه سالانه خطا در برابر حقوق صرفه‌جویی‌شده، به تفکیک دسته تصمیم (شاخص‌شده)

اگر این حاصل‌ضرب از حقوقی که صرفه‌جویی کرده‌اید کمتر است، منتشرش کنید. اگر نیست، صف دستی می‌ماند — و گفتن صریح این جمله ارزشمندترین کاری است که یک مدیر محصول در این چرخه انجام می‌دهد.

پانوشت‌ها

[1]منظور از هزینه خطا در اینجا هزینه مورد انتظار جبران است، نه جریمه نظارتی؛ جریمه‌ها جداگانه با تیم ریسک مدل‌سازی شدند.
[2]دسته D در نمودار سقف خورده است — شاخص واقعی آن ۴٫۱۰× است، خارج از مقیاس سه دسته دیگر.
پروژه مرتبطاتوماسیون پشتیبانی AIپیاده‌سازی سیستم مبتنی بر LLM برای شرکت وابسته به بانک تجارت جهت پاسخگویی به مشتریان سازمانی.
MG
محمدمهدی قنبریمدیر محصول ارشد و متخصص هوش مصنوعی. می‌نویسم درباره وارد کردن مدل‌ها به عملیاتی که همین حالا کار می‌کند.تماس با من

خبرنامه

یادداشت‌های میدانی در صندوق شما

نوشته‌های تازه درباره وارد کردن مدل به عملیاتی که همین حالا کار می‌کند. نه خلاصهٔ خبرهای دیگران.

هر وقت بخواهید می‌توانید لغو کنید.

گفت‌وگو

3 دیدگاه
سن
سارا نوری

نکته «اول ردپای حسابرسی» همان چیزی است که بیشتر تیم‌ها از آن رد می‌شوند. ما لاگ‌گیری را بعد از شش ماه اضافه کردیم و عملاً شواهد دو فصل اول را از دست دادیم.

DW
Daniel Weiss

کنجکاوم بدانم باندهای اطمینان هر دسته را چطور تعیین کردید — تجربی از دوره سایه بود یا از ابتدا با ریسک توافق شد؟

مم
محمدمهدینویسنده

از ابتدا توافق شد، بعد دو بار با داده‌های سایه سخت‌گیرانه‌تر شد. سقف را ریسک مالک بود؛ پیشنهاد حرکت زیر آن سقف با من بود.

دیدگاه‌ها پیش از نمایش بررسی می‌شوند.