ਐਂਥਰੋਪਿਕ ਦਾ ਕਲੌਡਬੋਟ ਵੈਬਸਾਈਟਾਂ ਦੇ ਐਟੀ-ਏ ਆਈ ਸਕ੍ਰਾਪਿੰਗ ਨਿਯਮਾਂ ਦੀ ਉਲੰਘਣਾ ਕਰਦਾ ਹੈ

ਐਂਥਰਾਪਿਕ ਦੇ ਕਲੌਡਬੌਟ ਵੈਬ ਕ੍ਰਾਲਰ ਦੇ ਆਲੇ ਦੁਆਲੇ ਵਿਵਾਦ

ਐਂਥਰਾਪਿਕ ਦੁਆਰਾ ਆਪਣੇ ਏਆਈ ਮਾਡਲਾਂ ਲਈ ਪ੍ਰਸ਼ਿਖਣ ਡਾਟਾ ਨੂੰ ਸਕਰੇਪ ਕਰਨ ਲਈ ਵਰਤੀ ਜਾਣ ਵਾਲੀ ਕਲੌਡਬੌਟ ਵੈਬ ਕ੍ਰਾਲਰ ਨੇ ਇੱਕ ਹੀ ਦਿਨ ਵਿਚ ਹਜ਼ਾਰਾਂ ਦੀ ਗਿਣਤੀ ਵਿਚ iFixit ਦੀ ਵੈਬਸਾਈਟ 'ਤੇ ਬੋਮਬਾਰਡ ਕਰਕੇ ਮਹੱਤਵਪੂਰਨ ਵਿਵਾਦ ਖੜਾ ਕੀਤਾ ਹੈ। ਇਹ ਵਿਵਹਾਰ ਗੰਭੀਰ ਪ੍ਰਸ਼ਨਾਂ ਨੂੰ ਉਠਾਉਂਦਾ ਹੈ ਕਿ ਕ੍ਰਾਲਰ iFixit ਦੀ ਸ਼ਰਤਾਂ ਦੇ ਨਾਲ ਕਿਵੇਂ ਪਾਲਣਾ ਕਰਦਾ ਹੈ।

iFixit ਦੇ CEO ਦਾ ਬਿਨਾਂ ਇਜਾਜਤ ਦੇ ਸਕ੍ਰੇਪ ਕਰਨ ਦੇ ਜਵਾਬ

ਇੱਕ ਮਜਬੂਤ ਜਵਾਬ ਵਿੱਚ, iFixit ਦੇ CEO ਕਾਇਲ ਵੀਂਸ ਨੇ ਇਸ ਉਲੰਘਣਾ ਨੂੰ ਉਜਾਗਰ ਕਰਨ ਲਈ X (ਪਹਿਲਾਂ Twitter) ਤੇ ਜਾ ਕੇ ਮੁੜ ਇਕ ਖਾਸ ਚਿੱਤਰ ਪੋਸਟ ਕੀਤੇ, ਜੋ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਕਲੌਡਬੌਟ iFixit ਦੀ ਸਮੱਗਰੀ 'ਤੇ ਪਹੁੰਚਣ ਦੇ ਰੁਕਾਵਟ ਨੂੰ ਮੰਨਦਾ ਹੈ। ਵੀਂਸ ਨੇ ਸਥਿਤੀ ਬਾਰੇ ਕੰਪਨੀ ਦੀ ਨਾਫਰਮਾਨੀ ਦੱਸਦੇ ਹੋਏ ਕਿਹਾ, "ਜੇ ਤਾਂ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਬੇਨਤੀ ਸਾਡੇ ਸੇਵਾ ਦੇ ਸ਼ਰਤਾਂ 'ਤੇ ਪਹੁੰਚੀ ਹੋਵੇ, ਤਾਂ ਉਹ ਤੁਹਾਨੂੰ ਦੱਸਦੀ ਕਿ ਸਾਡੇ ਸਮੱਗਰੀ ਦੀ ਵਰਤੋਂ ਸਹੀ ਰੂਪ ਵਿੱਚ ਮਨਾਹੀ ਹੈ। ਪਰ ਮੈਨੂੰ ਨਾ ਪੁੱਛੋ, ਕਲੌਡ ਨੂੰ ਪੁੱਛੋ!" ਉਸ ਨੇ ਹੋਰ ਜ਼ੋਰ ਨਾਲ ਕਿਹਾ, "ਤੁਸੀਂ ਸਿਰਫ ਸਾਡੀ ਸਮੱਗਰੀ ਨੂੰ ਬਿਨਾਂ ਭੁਗਤਾਨ ਕੀਤੇ ਹੀ ਨਹੀਂ ਲੈ ਰਹੇ, ਤੁਸੀਂ ਸਾਡੇ ਡੇਵਓਪੀਐਸ ਸਰੋਤਾਂ ਨੂੰ ਵੀ ਰੋਕ ਰਹੇ ਹੋ।"

ਜ਼ਿਆਦਾ ਕ੍ਰਾਲਿੰਗ ਦੇ ਤਕਨੀਕੀ ਪ੍ਰਭਾਵ

ਵੀਂਸ ਨੇ ਕਿਹਾ ਕਿ ਇਹਨਾਂ ਜ਼ਿਆਦਾ ਬੇਨਤੀਆਂ ਦਾ ਭਾਰੀ ਪ੍ਰਭਾਵ ਹੈ, ਜਿਸ ਨੇ ਉਨ੍ਹਾਂ ਦੀ ਢਾਂਚਾ ਦੀ ਰੱਖਿਆ ਕਰਨ ਲਈ ਚਿਤਾਉਣੀ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਸੈਕਟਿਵ ਕਰ ਦਿੱਤਾ। "ਕ੍ਰਾਲਿੰਗ ਦੀ ਦਰ ਇੰਨੀ ਉੱਚੀ ਸੀ ਕਿ ਇਸ ਨੇ ਸਾਰੇ ਅਲਾਰਮ ਸੁੱਤੇ ਅਤੇ ਸਾਡੇ ਡੇਵਓਪੀਐਸ ਟੀਮ ਨੂੰ ਮੋੜਿਆ," ਉਸ ਨੇ The Verge ਨੂੰ ਸਮਝਾਉਂਦਾ ਹੋਇਆ ਕਿਹਾ। ਜੇਕਰ iFixit ਇੰਟਰਨੈੱਟ 'ਤੇ ਸਭ ਤੋਂ ਮੰਨਿਆ ਹੋਇਆ ਸਾਈਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਹਰਿਆਲ ਕ੍ਰਾਲਰਾਂ ਨਾਲ ਨਜਿੱਠਣ ਲਈ ਆਦਤ ਰੱਖਦੀ ਹੈ; ਪਰ ਕਲੌਡਬੌਟ ਦੇ ਦੁਆਰਾ ਦਰਸਾਈ ਗਈ ਗਤੀਵਿਧੀ ਅਸਧਾਰਨ ਅਤੇ ਜ਼ਿਆਦਾ ਸੀ।

ਇਸਤਮਾਲ ਦੇ ਸ਼ਰਤਾਂ ਅਤੇ ਪਾਲਣਾ ਦੇ ਮੁੱਦੇ

iFixit ਦੇ ਸ਼ਰਤਾਂ ਦੇ ਮੁਤਾਬਕ, ਉਨ੍ਹਾਂ ਦੀ ਵੈਬਸਾਈਟ ਤੋਂ ਸਮੱਗਰੀ ਦੀ ਕੋਈ ਵੀ ਨਕਲ, ਨਕਲ ਕਰਨ ਜਾਂ ਵੰਡਣ ਬਿਨਾਂ ਪੂਰਵ ਲਿਖਤੀ ਆਗਿਆ ਦੇ ਬੇਹੱਦ ਮਨਾਹੀ ਹੈ। ਇਹ ਰੁਕਾਵਟ ਇੱਕ ਸਪਸ਼ਟ ਰੂਪ ਵਿੱਚ ਏਆਈ ਮਾਡਲਾਂ ਦੀ ਪ੍ਰਸ਼ਿਖਣ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦੀ ਹੈ। ਇਸ ਦੇ ਬਾਵਜੂਦ, 404 ਮੀਡੀਆ ਤੋਂ ਪੁੱਛੇ ਗਏ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਵਿੱਚ, ਐਂਥਰਾਪਿਕ ਨੇ ਇੱਕ FAQ ਪੰਨਾ ਵਾਪਸ ਨਿਸ਼ਾਨਦਿਹੀ ਕਰਕੇ ਦੱਸਿਆ ਕਿ ਇਸਦਾ ਕ੍ਰਾਲਰ ਸਿਰਫ ਇੱਕ robots.txt ਫਾਈਲ ਵਿਸ਼ਾਲ ਦੇ ਜਰੀਏ ਰੋਕਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਕ੍ਰਾਲ-ਡਿਲੇ ਸਥਾਪਨਾ

ਇਹਨਾਂ ਘਟਨਾਂ ਦੇ ਬਾਅਦ, iFixit ਨੇ ਆਪਣੇ robots.txt ਫਾਈਲ ਵਿੱਚ ਕ੍ਰਾਲ-ਡਿਲੇ ਸਥਾਪਿਤ ਕੀਤਾ ਹੈ। "ਸਾਡੇ ਲੌਗਾਂ ਦੇ ਅਧਾਰ 'ਤੇ, ਉਹ ਸਾਡੇ ਦੁਆਰਾ robots.txt 'ਤੇ ਇਸ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਦੇ ਬਾਅਦ ਬੰਦ ਕਰ ਦਿਤਾ," ਵੀਂਸ ਦਾ ਕਹਿਣਾ ਸੀ। ਇੱਕ ਐਂਥਰਾਪਿਕ ਦੇ ਪ੍ਰਵਕ ਨੇ ਇਸ ਪਾਲਣਾ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ, ਕਹਿੰਦਾ, "ਅਸੀਂ robots.txt ਦਾ ਆਦਰ ਕਰਦੇ ਹਾਂ ਅਤੇ ਸਾਡੇ ਕ੍ਰਾਲਰ ਨੇ iFixit ਦੁਆਰਾ ਇਸ ਨੂੰ ਲਾਗੂ ਕਰਨ 'ਤੇ ਵਾਹਿਗੁਰੂ ਜਿੰਦੇ ਦਿਗਗਜ ਮੰਨਿਆ।" ਇਹ ਵਿਕਾਸ iFixit ਅਤੇ ਐਂਥਰਾਪਿਕ ਦੇ ਵਿਚਕਾਰ ਮਸਲੇ ਨੂੰ ਇਕ ਅਸਥਾਈ ਸਾਡੀ ਉਪਾਲੀ ਸਕਦਾ ਹੈ।

ਅਧਿਕਾਰਤ ਮੁੱਦਾ: ਹੋਰ ਵੈਬਸਾਈਟਾਂ ਦੇ ਅਨੁਭਵ

ਇਹ ਘਟਨਾ ਇੱਕ ਇਕੱਲੀ ਕੇਸ ਨਹੀਂ ਹੈ, ਜਿਵੇਂ ਕਿ ਹੋਰ ਵੈਬਸਾਈਟ ਦੇ ਓਪਰੇਟਰਾਂ, ਜਿਵੇਂ ਕਿ ਰੀਡ ਦੋ ਡੋਕੇਸ ਦੇ ਸਹਿ-ਸਥਾਪਕ ਐਰਿਕ ਹੋਲਸ਼ਰ ਅਤੇ ਫ੍ਰੀਲੈਂਸਰ.ਕਾਮ ਦੇ ਸੀਈਓ ਮੈਟ ਬੈਰੀ, ਨੇ ਐਂਥਰਾਪਿਕ ਦੇ ਵੈਬ ਕ੍ਰਾਲਰ ਨਾਲ ਸਮਾਨ ਮੁੱਦਿਆਂ ਦੀ ਰਿਪੋਰਟ ਕੀਤੀ ਹੈ। Reddit ਦੇ ਵਰਤੋਂਕਾਰਾਂ ਨੇ ਵੀ ਆਪਣੀਆਂ ਚਿੰਤਾਵਾਂ ਉਠਾਈਆਂ ਲਗਾਤਾਰ ਸੁਧਰ ਖਤਰਿਆਂ ਵਿੱਚ ਵਾਧਾ ਕੋਲੋਂ ਕਲੌਡਬੌਟ ਦੀ ਚੌਰਾਹੀ ਨੂੰ ਜ਼ਿਕਰ ਕੀਤਾ। ਲਿਨਕਸ ਮਿੰਟ ਵੈਬ ਫੋਰਮ ਨੇ ਉਦਾਹਰਨ ਲਈ ਦੱਸਿਆ ਕਿ ਇਸ ਦੀ ਸਾਈਟ ਨੇ ਕਲੌਡਬੌਟ ਤੋਂ ਹੋਰਥੋਂ ਦੇ ਸਮਾਨ ਦੇ ਵਾਵੀ ਚਾਰਜ ਕਾਰਨ ਢਲਕੀ ਕੀਤੀ।

ਵੈਬ ਸਕ੍ਰੇਪਿੰਗ ਕੰਟਰੋਲ ਲਈ robots.txt ਦੀ ਸੀਮਾਵਾਂ

ਵੈਬ ਕ੍ਰਾਲਰ ਦੇ ਵਿਹਾਰ ਨੂੰ ਨਿਯੰਤ੍ਰਿਤ ਕਰਨ ਲਈ robots.txt ਫਾਈਲਾਂ 'ਤੇ ਨਿਰਭਰ ਹੋਣਾ ਉਦਯੋਗ ਦੇ ਅੰਦਰ ਇਕ ਵਿਆਖਿਆਟਮਕ ਵਿਸ਼ਾ ਹੈ। ਜਿਥੇ ਬਹੁਤ ਸਾਰੇ ਏਆਈ ਕੰਪਨੀਆਂ, ਜਿਵੇਂ ਕਿ OpenAI, ਇਸ ਤਰੀਕੇ ਨੂੰ ਵਰਤੀਆਂ ਹਨ, ਇਹ ਵੱਖ ਵੱਖ ਸਕ੍ਰੇਪਿੰਗ ਦੀਆਂ ਸਥਿਤੀਆਂ ਨੂੰ ਬਿਆਨ ਕਰਨ ਲਈ ਘੱਟ ਲਚਕੀਲਾਪਣ ਦਿੰਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕੁਝ ਕੰਪਨੀਆਂ, ਜਿਵੇਂ ਕਿ ਪੇਰਪਲੇਕਸੀ ਨੇ ਹੋਰਥੋਂ ਦੀਆਂ ਛੋਟਾਂ ਨੂੰ ਸਿਰਪ ਸੁਚਿੱਤ ਕੀਤਾ। ਇਹਨਾਂ ਚੁਣੋਤੀਆਂ ਦੇ ਬਾਵਜੂਦ, ਕੁਝ ਸੰਗਠਨਾਂ, ਜਿਵੇਂ ਕਿ Reddit, ਨੇ ਵੈਬ ਕ੍ਰਾਲਰਾਂ 'ਤੇ ਆਪਣੇ ਡਾਟਾ ਦੀ ਸਹੀਤਾ ਦੀ ਸੁਰੱਖਿਆ ਕਰਨ ਲਈ ਜ਼ਿਆਦਾ ਸਖ਼ਤ ਨਿਯੰਤ੍ਰਣ ਲਾਗੂ ਕਰਨ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ ਹੈ।

ਨਿਸ਼ਕਰਸ਼: ਐਂਥਰਾਪਿਕ ਦੇ ਕਲੌਡਬੌਟ ਦੇ iFixit ਨੂੰ ਸਕ੍ਰੇਪ ਕਰਨ ਨਾਲ ਜੁੜੀ ਕੋਠਰੀ ਸਿਧਾਂਤਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਏਆਈ ਪ੍ਰਸ਼ਿਖਣ ਦੀਆਂ ਪ੍ਰਬੰਧਾਂ ਅਤੇ ਵੈਬਸਾਈਟ ਦੇ ਮਾਲਕਾਂ ਦੇ ਅਧਿਕਾਰਾਂ ਬਾਰੇ ਸਚੇਤਤਾ ਜਾਰੀ ਹੈ। ਇਹ ਸਥਿਤੀ ਡਾਟਾ ਦੇ ਵਰਤੋਂ ਅਤੇ ਨੈਤਿਕ ਏਆਈ ਪ੍ਰਸ਼ਿਖਣ ਲਈ ਚੰਗੀਆਂ ਰੀਤੀ ਦੀਆਂ ਗੱਲਬਾਤਾਂ ਦੀ ਮੰਗ ਕਰਦੀ ਹੈ।