Cloudflare ابزاری برای «پرداخت به‌ازای دسترسی ربات‌های AI» ارائه کرد

ارسال شده توسط امیر متفکر

21 بهمن, 1404

در 11 تیر, 1404

Cloudflare ابزاری برای کسب درآمد از دسترسی ربات‌های خزشگر هوش مصنوعی به وب‌سایت‌ها را راه‌اندازی کرد

Cloudflare ابزار جدیدی معرفی کرد که به ناشران وب اجازه می‌دهد تا برای دسترسی سرویس‌های AI به محتوای‌شان دریافت هزینه کنند.

تحلیل:

این حرکت پاسخی مستقیم به کاهش درآمد ناشی از کاهش بازدید در جست‌‌وجوی سنتی است.
مدلی نوین برای کسب‌وکار اینترنتی ایجاد می‌شود؛ کاربران AI موظف‌اند برای استفاده از محتوا هزینه پرداخت کنند، نه صرفاً کاربران مرورگر!

Cloudflare، شرکت پیشرو در ارائه خدمات امنیت و عملکرد وب، در تاریخ ۱ ژوئیه ۲۰۲۵، از ابزاری جدید رونمایی کرد که به صاحبان وب‌سایت‌ها امکان می‌دهد تا از دسترسی ربات‌های خزشگر (Crawlers) هوش مصنوعی به محتوای خود، کسب درآمد کنند. این اقدام در بحبوحه نگرانی‌های فزاینده درباره استفاده بدون مجوز از داده‌های وب برای آموزش مدل‌های هوش مصنوعی و نیاز به ایجاد یک مدل اقتصادی جدید برای محتواسازان صورت می‌گیرد.

زمینه و چرایی راه‌اندازی ابزار جدید:

با ظهور و گسترش سریع مدل‌های هوش مصنوعی مولد (Generative AI)، از جمله مدل‌های زبانی بزرگ (LLMs)، نیاز این مدل‌ها به حجم عظیمی از داده‌های متنی، تصویری و ویدئویی برای آموزش، به یک چالش و فرصت تبدیل شده است. بسیاری از شرکت‌های هوش مصنوعی برای جمع‌آوری این داده‌ها، از ربات‌های خزشگر استفاده می‌کنند که محتوای وب‌سایت‌ها را جمع‌آوری و برای آموزش مدل‌های خود پردازش می‌کنند. این فرآیند اغلب بدون پرداخت هزینه یا کسب رضایت صریح از صاحبان محتوا صورت می‌گیرد.

در نتیجه، ناشران و محتواسازان آنلاین با دو نگرانی اصلی مواجه هستند:

استفاده بدون مجوز: محتوای آن‌ها بدون کسب اجازه و پرداخت حق‌الزحمه برای آموزش هوش مصنوعی مورد استفاده قرار می‌گیرد.
مصرف منابع: فعالیت خزشگرهای هوش مصنوعی می‌تواند پهنای باند و منابع سرور وب‌سایت‌ها را مصرف کند، بدون آنکه ارزش مستقیمی برای صاحب وب‌سایت ایجاد کند.

Cloudflare با راه‌اندازی این ابزار جدید، قصد دارد راه حلی برای این مشکلات ارائه دهد و به صاحبان وب‌سایت‌ها قدرت کنترل و کسب درآمد از داده‌های خود را بازگرداند.

نحوه عملکرد ابزار جدید Cloudflare:

جزئیات فنی دقیق این ابزار هنوز به طور کامل مشخص نیست، اما بر اساس گزارش‌ها، این سیستم به وب‌سایت‌ها اجازه می‌دهد تا:

تشخیص ربات‌های هوش مصنوعی: با استفاده از فناوری Cloudflare، بتوانند ربات‌های خزشگر هوش مصنوعی را از سایر ترافیک وب متمایز کنند.
کنترل دسترسی: میزان دسترسی این ربات‌ها به محتوای خود را کنترل کنند.
تعیین قیمت: برای دسترسی ربات‌های هوش مصنوعی به داده‌ها و محتوای خود، قیمت تعیین کنند. این می‌تواند شامل مدل‌های مختلفی مانند پرداخت به ازای هر خزش (per-crawl), پرداخت به ازای حجم داده (per-data volume) یا حتی مدل‌های اشتراکی باشد.
جلوگیری از استفاده غیرمجاز: وب‌سایت‌هایی که تمایلی به فروش دسترسی به داده‌های خود ندارند، می‌توانند به طور مؤثر از خزش غیرمجاز توسط ربات‌های هوش مصنوعی جلوگیری کنند.

تحلیل و پیامدها:

راه‌اندازی این ابزار توسط Cloudflare دارای چندین پیامد مهم است:

اقتصاد محتوای جدید: این ابزار می‌تواند به شکل‌گیری یک اقتصاد جدید برای محتواسازان کمک کند، که در آن داده‌ها به عنوان یک دارایی ارزشمند برای آموزش هوش مصنوعی شناخته شده و صاحبان آن‌ها می‌توانند از آن درآمد کسب کنند. این امر به ویژه برای ناشران خبر، وبلاگ‌نویسان و تولیدکنندگان محتوای تخصصی که سرمایه‌گذاری زیادی در تولید محتوا می‌کنند، حائز اهمیت است.
افزایش شفافیت: این ابزار شفافیت بیشتری را در مورد اینکه کدام ربات‌های هوش مصنوعی به چه داده‌هایی دسترسی دارند، فراهم می‌کند. این امر به صاحبان وب‌سایت‌ها امکان می‌دهد تا تصمیمات آگاهانه‌تری در مورد نحوه استفاده از محتوای خود بگیرند.
چالش برای شرکت‌های هوش مصنوعی: شرکت‌های هوش مصنوعی که تاکنون به طور رایگان به حجم عظیمی از داده‌های وب دسترسی داشته‌اند، ممکن است با افزایش هزینه‌های جمع‌آوری داده مواجه شوند. این می‌تواند مدل‌های کسب‌وکار آن‌ها را تحت تأثیر قرار داده و آن‌ها را وادار به ایجاد شراکت‌های جدید با ناشران محتوا کند.
نقش Cloudflare در اکوسیستم هوش مصنوعی: Cloudflare با ارائه این ابزار، موقعیت خود را به عنوان یک بازیگر کلیدی در اکوسیستم هوش مصنوعی تقویت می‌کند. این شرکت با قرار گرفتن در نقطه اتصال میان وب‌سایت‌ها و مصرف‌کنندگان (اعم از انسان‌ها و ربات‌ها)، می‌تواند نقش مهمی در تسهیل جریان داده و ایجاد مدل‌های درآمدی جدید ایفا کند.
محدودیت‌ها و چالش‌ها: با این حال، موفقیت این ابزار به پذیرش گسترده آن توسط صاحبان وب‌سایت‌ها و همکاری شرکت‌های هوش مصنوعی بستگی دارد. همچنین ممکن است چالش‌هایی در زمینه استانداردسازی قیمت‌گذاری، مقابله با ربات‌های مخرب که هویت خود را پنهان می‌کنند، و تضمین اجرای عادلانه قوانین دسترسی به وجود آید.

در مجموع، اقدام Cloudflare گامی مهم در جهت ایجاد یک اینترنت عادلانه‌تر برای تولیدکنندگان محتوا در عصر هوش مصنوعی است و می‌تواند به بازتعریف روابط میان صاحبان وب‌سایت‌ها و توسعه‌دهندگان هوش مصنوعی کمک کند.

تحلیل کاربرد ابزار جدید Cloudflare برای ناشران ایرانی

❖ معرفی ابزار:

Cloudflare ابزاری معرفی کرده است که به ناشران وب‌سایت اجازه می‌دهد از ربات‌های هوش مصنوعی که محتوا را اسکرپ می‌کنند، درخواست پرداخت کنند.

❖ سازوکار ابزار:

ناشران محتوای وب می‌توانند از Cloudflare بخواهند هر رباتی که برای آموزش مدل‌های AI، محتوا را جمع‌آوری می‌کند، ابتدا شناسایی شود و سپس مجوز بگیرد.
این مجوز ممکن است رایگان یا پولی باشد.
AI Crawlerهایی مثل ChatGPT، Gemini و Claude مشمول این بررسی هستند.

این سیستم مبتنی بر دامنه و سیاست‌های API تنظیم می‌شود.

❖ کاربرد برای ناشران ایرانی:

محور	توضیح
۱. فرصت درآمدزایی برای رسانه‌های مستقل و وب‌سایت‌های فارسی	بسیاری از سایت‌های ایرانی در زمینه ترجمه، فناوری، تحلیل داده، خبری و حتی وبلاگ‌نویسی، به‌طور غیرمستقیم محتوایشان توسط LLMها (مدل‌های زبانی بزرگ) جمع‌آوری می‌شود. اکنون می‌توانند با تعریف API Access، برای ربات‌ها فاکتور صادر کنند.
۲. مقابله با سرقت محتوا (Content Scraping)	ناشران در ایران از مدت‌ها پیش از سرقت محتوا توسط سایت‌های دیگر و همچنین ابزارهای هوش مصنوعی شکایت داشتند. این ابزار امکان مسدود کردن دسترسی یا محدود کردن نرخ خواندن صفحات توسط AI Crawlerها را فراهم می‌کند.
۳. لزوم تنظیم دقیق در CDN یا سرورهای داخلی	برای سایت‌های روی سرورهای ایرانی (مانند شتاب‌دهنده‌ها یا هاست‌های داخلی) استفاده مستقیم از ابزار Cloudflare دشوار است؛ باید از پلن‌های ویژه Enterprise استفاده کنند یا از API درکنار CDNهای بین‌المللی بهره‌ ببرند.
۴. مشکلات تحریم	Cloudflare سابقه‌ی اعمال محدودیت برای کاربران ایرانی داشته؛ لذا برای استفاده کامل باید یا از واسطه استفاده شود یا هویت دامنه و سرور خارجی باشد.
۵. امکان درآمد ارزی	در صورت تأیید و اتصال صحیح، این ابزار می‌تواند به ناشران ایرانی (با دامنه بین‌المللی) اجازه دهد از شرکت‌های بین‌المللی AI که در حال اسکرپ محتوا هستند، پول دریافت کنند؛ درآمد از طریق پرداخت Stripe یا API Billing انجام می‌شود.