অ্যানথ্রোপিকের ক্লডবট ওয়েবসাইটগুলির এন্টি-এআই স্ক্রেপিং নীতিগুলি লঙ্ঘন করে

অ্যানথ্রোপিকের ক্লডবট ওয়েব ক্রলার নিয়ে বিতর্ক

অ্যানথ্রোপিকের দ্বারা এর AI মডেলগুলির জন্য প্রশিক্ষণ ডেটা সংগ্রহের জন্য ব্যবহৃত ক্লডবট ওয়েব ক্রলারটি একক দিনের মধ্যে প্রায় এক মিলিয়ন অনুরোধের মাধ্যমে iFixit-এর ওয়েবসাইটে হামলা চালানোর পর উল্লেখযোগ্য বিতর্ক উত্থাপন করেছে। এই আচরণ সরাসরি প্রশ্ন তোলে ক্রলারটির iFixit-এর ব্যবহারের শর্তাবলীর সাথে সঙ্গতি রয়েছে কিনা。

iFixit CEO-এর অনুমতি ছাড়া স্ক্রেপিং সম্পর্কে প্রতিক্রিয়া

একটি শক্তিশালী প্রতিক্রিয়া হিসেবে, iFixit-এর CEO কাইল উইয়েন্স X (পূর্বে টুইটার) তে এই লঙ্ঘনটি তুলে ধরেন, যা ক্লডবটের iFixit-এর সামগ্রীতে প্রবেশ নিষেধাজ্ঞা স্বীকার করে এমন ছবি পোস্ট করেন। উইয়েন্স এই পরিস্থিতি নিয়ে কোম্পানির হতাশা প্রকাশ করে বলেন, "যদি কোন অনুরোধ আমাদের সার্ভিসের শর্তাবলী প্রবেশ করে থাকে, তবে তারা আপনাকে বলত যে আমাদের সামগ্রী ব্যবহারের জন্য স্পষ্টভাবে নিষিদ্ধ। তবে আমাকে জিজ্ঞাসা করবেন না, ক্লডবটকে জিজ্ঞাসা করুন!" তিনি আরও জোর দেন, "আপনি শুধুমাত্র আমাদের সামগ্রী বিনা পয়সায় নিচ্ছেন না, বরং আমাদের ডেভঅপস রিসোর্সগুলিকে বেধে দিচ্ছেন।"

অতিরিক্ত ক্রলিংয়ের প্রযুক্তিগত প্রভাব

উইয়েন্স এসব অতিরিক্ত অনুরোধের উল্লেখযোগ্য প্রভাব সম্পর্কে বিস্তারিত বর্ণনা করেন, যা তাদের অবকাঠামো রক্ষার জন্য নির্ধারিত অ্যালার্ম সিস্টেমগুলো সক্রিয় করে। "ক্রলিং-এর হার এত বেশি ছিল যে এটি আমাদের সমস্ত অ্যালার্ম সক্রিয় করে এবং আমাদের ডেভঅপস টিমকে চালিয়ে দেয়," তিনি The Verge-এর কাছে ব্যাখ্যা করেন। ইন্টারনেটে সবচেয়ে বেশি পরিদর্শিত সাইটগুলির একটি হিসাবে, iFixit ওয়েব ক্রলারগুলিকে পরিচালনা করতে অভ্যস্ত; তবে ক্লডবটের দ্বারা প্রদর্শিত কার্যকলাপের স্তর অস্বাভাবিক এবং অতিরিক্ত ছিল।

ব্যবহারের শর্তাবলী এবং সঙ্গতিপূর্ণ সমস্যা

iFixit-এর ব্যবহারের শর্তাবলী অনুযায়ী, তাদের ওয়েবসাইট থেকে সামগ্রী পুনরুত্পাদন, কপি করা বা বিতরণ করা পূর্বে লিখিত অনুমতি ছাড়া কঠোর নিষিদ্ধ। এই নিষেধাজ্ঞা স্পষ্টভাবে AI মডেলগুলির প্রশিক্ষণ অন্তর্ভুক্ত করে। এই অবস্থার মধ্যে, 404 মিডিয়ার থেকে করা অনুসন্ধানে, অ্যানথ্রোপিক একটি FAQ পৃষ্ঠার উল্লেখ করে যা দাবি করে যে এর ক্রলারটিকে শুধুমাত্র একটি robots.txt ফাইলের এক্সটেনশন দ্বারা অবরুদ্ধ করা যেতে পারে।

ক্রল-ডিলে বাস্তবায়ন

এই ঘটনাগুলোর পরে, iFixit তার robots.txt ফাইলের সাথে একটি ক্রল-ডিলে এক্সটেনশন যোগ করেছে। "আমাদের লগ অনুযায়ী, তারা robots.txt এ এটি যোগ করার পর থামিয়ে দেয়," উইয়েন্স দাবি করেন। একজন অ্যানথ্রোপিক প্রতিনিধিও এই সঙ্গতি নিশ্চিত করেছেন, বলেন, "আমরা robots.txt কে সম্মান করি এবং আমাদের ক্রলার সেই সংকেতকে সম্মান করেছে যখন iFixit এটি বাস্তবায়িত করেছে।" এই উন্নয়নটি iFixit এবং অ্যানথ্রোপিকের মধ্যে সমস্যাটির একটি অস্থায়ী সমাধান প্রস্তাব করে।

একটি বিস্তৃত সমস্যা: অন্যান্য ওয়েবসাইটের অভিজ্ঞতা

এই ঘটনাটি একক ঘটনা নয়, কারণ Read the Docs-এর সহ-প্রতিষ্ঠাতা এরিক হোলসচার এবং Freelancer.com এর CEO ম্যাট ব্যারি মত অন্যান্য ওয়েবসাইট অপারেটররা অ্যানথ্রোপিকের ওয়েব ক্রলার নিয়ে একই সমস্যার সম্মুখীন হয়েছেন। Reddit-এর মতো প্ল্যাটফর্মে ব্যবহারকারীরাও উদ্বেগ প্রকাশ করেছেন, ক্লডবটের কার্যকলাপের উল্লেখযোগ্য বৃদ্ধি লক্ষ্য করে। উদাহরণস্বরূপ, লিনাক্স মিন্ট ওয়েব ফোরম জানিয়েছে যে তাদের সাইট ক্লডবটের অতিরিক্ত লোডের কারণে ব্যাহত হয়েছে।

ওয়েব স্ক্রেপিং নিয়ন্ত্রণের জন্য robots.txt এর সীমাবদ্ধতা

ওয়েব ক্রলার আচরণ নিয়ন্ত্রণের জন্য robots.txt ফাইলের উপর নির্ভর করা শিল্পের মধ্যে একটি বিতর্কিত বিষয়। যদিও অনেক AI কোম্পানি, যার মধ্যে OpenAI অন্তর্ভুক্ত, এই পদ্ধতি ব্যবহার করে, এটি বিভিন্ন স্ক্রেপিং শর্তাবলী নির্ধারণের জন্য ন্যূনতম নমনীয়তা প্রদান করে। তদ্ব্যতীত, Perplexity-এর মতো কোম্পানিগুলি এই নিষেধাজ্ঞাগুলিকে সম্পূর্ণরূপে উপেক্ষা করে বলে জানা গেছে। চ্যালেঞ্জগুলির সত্ত্বেও, Reddit-এর মতো কিছু সংস্থা তাদের তথ্য অখণ্ডতা রক্ষার জন্য ওয়েব ক্রলার গুলির উপর আরও কঠোর নিয়ন্ত্রণ বাস্তবায়ন শুরু করেছে।

উপসংহার: অ্যানথ্রোপিকের ক্লডবটের iFixit স্ক্রেপিংয়ের ঘটনা AI প্রশিক্ষণ পদ্ধতিগুলির এবং ওয়েবসাইটের মালিকদের তাদের সামগ্রী রক্ষার অধিকারগুলির মধ্যে চলমান কন্ট্রোভার্সির দিকে ইঙ্গিত করে। এই পরিস্থিতি ডেটা ব্যবহারের এবং নৈতিক AI প্রশিক্ষণের সর্বোত্তম অনুশীলন সম্পর্কে আরও আলোচনা উত্সাহিত করে।