एन्थ्रोपिक का क्लॉडबॉट वेबसाइटों के एंटी-एआई स्क्रैपिंग नियमों का उल्लंघन करता है

Anthropic के ClaudeBot वेब क्रॉलर के चारों ओर विवाद

ClaudeBot वेब क्रॉलर, जिसे Anthropic द्वारा अपनी AI मॉडलों के लिए प्रशिक्षण डेटा स्क्रैप करने के लिए उपयोग किया जाता है, ने काफी विवाद खड़ा कर दिया है जब यह रिपोर्ट किया गया कि इसने एक ही दिन में iFixit की वेबसाइट पर लगभग एक मिलियन अनुरोधों का बमबारी की। इस व्यवहार ने क्रॉलर की iFixit के उपयोग की शर्तों के अनुपालन के बारे में गंभीर प्रश्न उठाए हैं।

iFixit के CEO का अनधिकृत स्क्रैपिंग पर प्रतिक्रिया

एक मजबूत प्रतिक्रिया में, iFixit के CEO काइल वियंस ने इस उल्लंघन को उजागर करने के लिए X (पूर्व में ट्विटर) का सहारा लिया, प्रासंगिक चित्र पोस्ट करते हुए जो दिखाते हैं कि ClaudeBot ने iFixit की सामग्री तक पहुंचने में प्रतिबंध को स्वीकार किया। वियंस ने स्थिति को लेकर कंपनी की निराशा व्यक्त की, stating, "यदि उन अनुरोधों में से कोई हमारे सेवा की शर्तों तक पहुँचता, तो उन्होंने आपको बताया होता कि हमारे सामग्री का उपयोग पूरी तरह से वर्जित है। लेकिन मुझसे मत पूछो, Claude से पूछो!" उन्होंने आगे जोर दिया, "आप न केवल हमारी सामग्री को बिना पैसे दिए ले रहे हैं, आप हमारी देवोप्स संसाधनों को भी बाधित कर रहे हैं।"

अत्यधिक क्रॉलिंग के तकनीकी प्रभाव

वियंस ने इन अत्यधिक अनुरोधों के महत्वपूर्ण प्रभाव पर विस्तार से बताया, जिन्होंने उनकी संरचना की सुरक्षा के लिए निर्धारित अलार्म सिस्टम को सक्रिय कर दिया। "क्रॉलिंग की दर इतनी उच्च थी कि यह हमारे सभी अलार्मों को सेट करने में सक्षम थी और हमारे देवोप्स टीम को सक्रिय कर दिया," उन्होंने The Verge को समझाया। इंटरनेट पर सबसे ज्यादा देखी जाने वाली वेबसाइटों में से एक के रूप में, iFixit वेब क्रॉलर को संभालने का आदी है; हालाँकि, ClaudeBot द्वारा प्रदर्शित गतिविधि का स्तर असामान्य और अत्यधिक था।

उपयोग की शर्तें और अनुपालन समस्याएं

iFixit की उपयोग की शर्तों के अनुसार, उनकी वेबसाइट की सामग्री का कोई भी पुनर्प्रजनन, प्रतिलिपि या वितरण पूर्व अनुमति के बिना कड़ा वर्जित है। यह प्रतिबंध स्पष्ट रूप से AI मॉडलों के प्रशिक्षण को भी शामिल करता है। इसके बावजूद, 404 मीडिया से पूछताछ के जवाब में, Anthropic ने एक FAQ पृष्ठ का हवाला देते हुए कहा कि इसके क्रॉलर को केवल robots.txt फ़ाइल एक्सटेंशन के माध्यम से अवरुद्ध किया जा सकता है।

क्रॉल-डिले का कार्यान्वयन

इन घटनाओं के बाद, iFixit ने अपनी robots.txt फ़ाइल में एक क्रॉल-डिले एक्सटेंशन जोड़ा है। "हमारे लॉग के आधार पर, जब हमने इसे robots.txt में जोड़ा, तो उन्होंने रोक दिया," वियंस ने दावा किया। एक Anthropic के प्रवक्ता ने इस अनुपालन की पुष्टि की, stating, "हम robots.txt का सम्मान करते हैं और हमारे क्रॉलर ने जब iFixit ने इसे लागू किया तब उस संकेत का सम्मान किया।" यह विकास iFixit और Anthropic के बीच मुद्दे का एक अस्थायी समाधान दिखाता है।

एक व्यापक मुद्दा: अन्य वेबसाइटों के अनुभव

यह घटना एक एकल मामला नहीं है, क्योंकि अन्य वेबसाइट ऑपरेटर, जैसे Read the Docs के सह-संस्थापक एरिक होल्सचर और Freelancer.com के CEO मैट बैरी, ने Anthropic के वेब क्रॉलर के साथ समान समस्याओं की रिपोर्ट की हैं। Reddit जैसे प्लेटफार्मों पर उपयोगकर्ताओं ने भी चिंता व्यक्त की है, यह कहते हुए कि इस वर्ष पहले ClaudeBot के कारण स्क्रैपिंग गतिविधि में उल्लेखनीय वृद्धि हुई है। उदाहरण के लिए, Linux Mint वेब फोरम ने नोट किया कि इसकी साइट को ClaudeBot से अत्यधिक लोड के कारण आउटेज का सामना करना पड़ा।

वेब स्क्रैपिंग नियंत्रण के लिए robots.txt की सीमाएँ

वेब क्रॉलर के व्यवहार को नियंत्रित करने के लिए robots.txt फ़ाइलों पर निर्भरता उद्योग के भीतर एक विवादास्पद विषय है। जबकि कई AI कंपनियाँ, जिनमें OpenAI शामिल है, इस प्रकार की विधि का उपयोग करती हैं, यह अलग-अलग स्क्रैपिंग स्थितियों को परिभाषित करने के लिए न्यूनतम लचीलापन प्रदान करती है। इसके अलावा, कंपनियों ने रिपोर्ट किया है कि जैसे कि Perplexity ने इन अपवादों की अनदेखी की है। चुनौतियों के बावजूद, कुछ संगठनों, जैसे Reddit ने अपने डेटा की अखंडता की रक्षा के लिए वेब क्रॉलर्स पर कड़े नियंत्रण लागू करना शुरू कर दिया है।

निष्कर्ष: Anthropic के ClaudeBot द्वारा iFixit को स्क्रैप करने की घटना AI प्रशिक्षण प्रथाओं और वेबसाइट मालिकों के अपने सामग्री की रक्षा के अधिकारों के बीच चल रहे तनाव को उजागर करती है। यह स्थिति डेटा उपयोग और नैतिक AI प्रशिक्षण के लिए सर्वोत्तम प्रथाओं पर आगे की चर्चा के लिए प्रेरित करती है।