विश्लेषण: ट्विटर के क्राउडसोर्स्ड फैक्ट-चेकिंग प्रयोग से समस्याओं का पता चलता है

एक पॉयन्टर विश्लेषण में पाया गया कि आधे से भी कम बर्डवॉच उपयोगकर्ताओं में स्रोत शामिल हैं और कई तथ्य-जांच नोटों में पक्षपातपूर्ण बयानबाजी होती है।

ट्विटर के बर्डवॉच एल्गोरिथम के 14 फरवरी के संस्करण ने भ्रामक सूचनाओं के साथ कुछ नोटों को बढ़ाया।

5 फरवरी को, ट्विटर ने हरी झंडी दिखाई विवादास्पद YouTuber टिम पूल की एक पोस्ट जिसमें कहा गया है कि 2020 के अमेरिकी राष्ट्रपति चुनाव में धांधली हुई थी। मंच ने उल्लेख किया कि दावा विवादित था और 'हिंसा के जोखिम के कारण' सगाई को बंद कर दिया।

लेकिन, पर पक्षियों को निहारना , सोशल मीडिया प्लेटफॉर्म के क्राउडसोर्स्ड फैक्ट-चेकिंग में प्रयोग , ट्विटर डेटा के 14 फरवरी के विश्लेषण के अनुसार, उपयोगकर्ताओं ने भारी रूप से कहा कि ट्वीट भ्रामक नहीं था। और अधिकांश बर्डवॉच उपयोगकर्ताओं ने टूल में संकेत दिया कि उन्हें ये नोट मिले हैं जो डिबंक किए गए दावों का समर्थन करते हैं जो सहायक और सूचनात्मक हैं।

'टाइम के कार्यवाहक (एसआईसी) स्रोत के अनुसार एक छाया संगठन में गुप्त प्रतिभागियों का एक सुव्यवस्थित समूह था जो एक कैबल की तरह लगता है जिसने जो बिडेन के पक्ष में चुनाव को प्रभावित करने के लिए मिलकर काम किया,' एक नोट पढ़ता है। जबकि उपयोगकर्ता के लिए एक लिंक शामिल है एक टाइम पत्रिका लेख जो वास्तव में 'कैबल' और 'षड्यंत्र' जैसे शब्दों का उपयोग करता है, उस टुकड़े का संदर्भ - जो शक्तिशाली समूह चुनावी अखंडता की रक्षा के लिए पर्दे के पीछे काम कर रहे थे - खो गया है।

बर्डवॉच एल्गोरिथम , जिसका उद्देश्य सहायक नोटों को प्रदर्शित करना है, निर्दिष्ट किया गया है कि 'तथ्य-जांच' 0.68 का एक सहायकता स्कोर है - ट्वीट पर नोटों का उच्चतम, एल्गोरिथम द्वारा 'सहायक के रूप में रेट किए गए' नोटों के शीर्ष 10% के ठीक बाहर। फरवरी 14। इस विश्लेषण में 2,695 में से लगभग 7% सहायक-रेटेड नोट्स और उनमें से दो-तिहाई से कम में एक स्रोत लिंक होता है जो एक और ट्वीट नहीं है।

17 फरवरी को, ट्विटर इसके एल्गोरिदम को बदल दिया और पूल ट्वीट पर नोट्स को अब सहायक के रूप में मूल्यांकन नहीं किया जाता है, हालांकि वे अभी भी पोस्ट के नीचे सूचीबद्ध हैं . इस परिवर्तन से पहले, सहायक मानी जाने वाली निचली सीमा थी - नए 0.84 कटऑफ की तुलना में केवल 0.5 - और नोटों को केवल तीन रेटिंग की आवश्यकता होती है ताकि उन्हें सहायक माना जा सके, क्रम में प्राथमिकता दी जा सके और नीले नोट के साथ चिह्नित किया जा सके।

अब उस ट्वीट को आगे बढ़ाने के लिए एक नोट को पांच रेटिंग बढ़ानी होगी बर्डवॉच में नया 'सहायक रेटेड' टैब . और प्लेटफ़ॉर्म के डेटाबेस में लगभग 2,700 नोटों में से, 126 नई सीमा से मिले - जो कि 5% से कम है। तीन-चौथाई नए 'सहायक रेटेड' नोटों में ट्विटर के बाहर एक स्रोत था।

यह बर्डवॉच मॉडल के सामने आने वाली समस्याओं में से एक का समय पर चित्रण है: क्या लोगों के एक यादृच्छिक समूह द्वारा खिलाए गए एल्गोरिदम कभी भी सत्य को 'दर' कर सकते हैं?

बर्डवॉच, अपने प्रायोगिक चरण में 1,000 से अधिक उपयोगकर्ताओं के साथ, प्रतिभागियों को ट्वीट को भ्रामक के रूप में चिह्नित करने और एक नोट जोड़ने की अनुमति देता है जो एक स्रोत का हवाला देता है और/या यह बताता है कि यह भ्रामक क्यों हो सकता है। फिर, बर्डवॉच उपयोगकर्ता इन नोटों को सहायकता के आधार पर रैंक कर सकते हैं (उसके बाद, एल्गोरिथम लेता है)।

आखिरकार, सभी ट्विटर उपयोगकर्ता इन नोटों को ट्वीट के ठीक नीचे देख पाएंगे, लेकिन अभी के लिए, वे इन नोटों तक ही सीमित हैं साइट का एक विशिष्ट खंड . बर्डवॉच उपयोगकर्ता अंततः एक प्रतिष्ठा स्कोर भी बनाएंगे जो सहायकता एल्गोरिदम में फीड होगा।

'बर्डवॉच पायलट के साथ हमारा लक्ष्य एक ऐसी प्रणाली का निर्माण करना है जिसमें कोई भी योगदान दे सकता है, और यह स्वाभाविक रूप से उन सूचनाओं को बढ़ाता है जो लोगों को मददगार लगती हैं,' उत्पाद कीथ कोलमैन के ट्विटर उपाध्यक्ष ने एक ईमेल में कहा। 'हम मानते हैं कि कौन योगदान कर सकता है में खुलापन महत्वपूर्ण है, और यह कि विविध समूह से इनपुट के माध्यम से, सबसे उपयोगी नोट्स को ऊंचा किया जा सकता है।'

लेकिन, सिस्टम पर एक नज़र, क्योंकि यह अब उन चुनौतियों का खुलासा करता है जो तथ्य-जांचकर्ताओं ने बर्डवॉच के बारे में उठाई हैं: उपयोगकर्ताओं के बीच तथ्य-जांच विशेषज्ञता की कमी, एक एल्गोरिदम बनाने की कठिनाई जो किसी भी तरह से सबसे प्रतिष्ठित उपयोगकर्ताओं के सहायक नोटों को सामने रखेगी और उपयोगकर्ताओं की पक्षपातपूर्ण प्रेरणाओं के बारे में प्रश्न।

'मैं उन निष्कर्षों से आश्चर्यचकित नहीं हूं, जो सोशल मीडिया प्लेटफॉर्म की ध्रुवीकृत प्रकृति और मुख्यधारा के उपयोगकर्ताओं द्वारा प्लेटफॉर्म द्वारा पेश की जाने वाली ऐसी पूछताछ के लिए प्रतिक्रिया प्रदान करने में हिचकिचाते हैं, जबकि गलियारे के दोनों किनारों के प्रेरित उपयोगकर्ता प्लेटफार्मों को अपने कथाओं को बढ़ावा देने के लिए युद्ध के मैदान के रूप में देखते हैं। अन्य, ”इंटरनेशनल फैक्ट-चेकिंग नेटवर्क के निदेशक बेयबर्स rsek ने कहा।

सबसे विपुल बर्डवॉच उपयोगकर्ता के नोटों में से अधिकांश ट्वीट्स को 'भ्रामक' के रूप में और बाईं ओर की आलोचना करने वालों को 'भ्रामक नहीं' के रूप में चिह्नित करते हैं। (उदाहरण के लिए, उपयोगकर्ता ने एक ट्वीट को चिह्नित किया जो कहता है ' चीन पर नरम है टीम बिडेन ' सेन टेड क्रूज़ और पूल ने 'भ्रामक नहीं' के रूप में ट्वीट किया; जबकि एक न्यूज़वीक लेख दूर-दराज़ चरमपंथियों और GameStop गाथा और . के बारे में एक ट्वीट कैपिटल दंगे में राष्ट्रपति डोनाल्ड ट्रम्प को बांधने को 'भ्रामक' और 'हानिकारक' के रूप में चिह्नित किया गया था) और उपयोगकर्ता के 82 नोटों में से एक-पांचवें से भी कम में एक स्रोत शामिल है, जिनमें से कई अन्य ट्वीट हैं। (इस बर्डवॉच उपयोगकर्ता ने एक साक्षात्कार के अनुरोध का जवाब नहीं दिया।)

कोलमैन ने कहा कि बर्डवॉच को 'योगदानकर्ताओं के विविध सेट' से आने वाले नोटों पर विचार करने के लिए प्रोत्साहित किया जा सकता है। इसके अलावा, रेटिंग प्रणाली मंच के पीछे मुख्य चालक है

'हम मानते हैं कि ये उन योगदानों को पुरस्कृत और प्रोत्साहित करेंगे जो बहुत से लोगों को मूल्यवान लगते हैं, और बर्डवॉच पर एक विशिष्ट समूह या विचारधारा के जोखिम को संबोधित करते हैं,' कोलमैन ने कहा। 'यह कुछ ऐसा है जो हम पूरे पायलट में सक्रिय रूप से काम करेंगे।'

और वास्तव में, 17 फरवरी के परिवर्तनों के बाद एल्गोरिदम को सबसे अधिक सहायक के रूप में स्थान दिया गया नोट्स केवल एक दिन पहले पुनरावृत्ति की तुलना में अधिक ठोस सोर्सिंग और कम पक्षपातपूर्ण बयानबाजी दिखाते हैं। लेकिन, 1,000 उपयोगकर्ताओं और 2,700 से कम नोट वाले पायलट प्रोग्राम के लिए एल्गोरिदम बदलना एक बात है, सभी उपयोगकर्ताओं के लिए बर्डवॉच उपलब्ध होने के बाद एक एल्गोरिदम बदलना एक और है - और कौन जानता है कि एल्गोरिदम की प्रभावकारिता उपयोगकर्ताओं के शुरू होने पर जारी रहेगी या नहीं। मंच में, शायद सबसे विपुल पायलट प्रतिभागियों में से कुछ के व्यवहार की नकल करना।

'वर्तमान में हमारे पास स्केलिंग के लिए एक विशिष्ट समयरेखा नहीं है, क्योंकि हम जितना संभव हो उतना सीखने के लिए काम कर रहे हैं और पायलट के छोटे होने पर पुनरावृति करते हैं,' कोलमैन ने कहा। 'हम बड़े पैमाने पर योजना बना रहे हैं क्योंकि हम इसे सुरक्षित रूप से करने में सक्षम हैं, और जब यह सीखने में सुधार करने में मदद कर सकता है।'

फिर भी, पूल ट्वीट के तहत नोटों की तरह, वहाँ हैं पक्षपात के उदाहरण या गलत सूचना अभी भी नियमित नोट्स के रूप में दिखाई दे रहा है।

पांच सबसे सक्रिय उपयोगकर्ताओं में से चार, जिनके पास कुल नोटों का 10% से अधिक हिस्सा है, की गतिविधि सबसे विपुल उपयोगकर्ता के समान है। उनमें से एक का दावा है कि जेफरी एपस्टीन की मौत को कभी भी आत्महत्या नहीं माना गया। हालाँकि, दूसरा सबसे विपुल बर्डवॉचर प्रत्येक नोट के भीतर एक स्रोत का हवाला देता है, जिसमें विश्व स्वास्थ्य संगठन के लिंक शामिल हैं और FactCheck.org .

शीर्ष 10 उपयोगकर्ताओं में से कोई भी, उनके ट्विटर बायोस के अनुसार, पेशेवर तथ्य-जांचकर्ता या पत्रकार नहीं हैं।

'तथ्य-जांच वास्तव में कठिन काम है क्योंकि यह मानसिक रूप से मांग कर रहा है,' पोलीटीफ़ैक्ट के प्रधान संपादक एंजी होलन ने एक ईमेल में कहा। 'आपको वास्तव में दावों की पहचान करने के लिए मानसिक जड़ता के माध्यम से ध्यान केंद्रित करना और धक्का देना है और फिर उन्हें डिबंक करने या सत्यापित करने के साधनों पर मंथन करना है। फिर आपको खोज के साथ आगे बढ़ना होगा और फिर निष्कर्षों को लिखना होगा। यह समुद्र तट पर एक दिन नहीं है, इसे कुंद करने के लिए। और अगर किसी तथ्य-जांचकर्ता के पास पक्षपातपूर्ण प्रेरणा है, तो यह एक संपूर्ण और समान रूप से किए गए प्रयास को और भी कठिन बना देता है।'

अपने मुद्दों के बावजूद, बर्डवॉच गलत सूचनाओं को ध्वजांकित करता है, पारंपरिक तथ्य-जांचकर्ता चूक सकते हैं या नुकसान की संभावना के कारण जांच नहीं करना चुन सकते हैं - जो डिजिटल गलत सूचना में कुछ अंतराल को भरने में मदद कर सकता है। दौरान गेम स्टॉप सागा , उस कंपनी के स्टॉक के बारे में गलत सूचना प्लेटफॉर्म पर तेजी से फैल गई।

स्नोप्स तथा राजनीति तथ्य GameStop के बारे में दावों का मूल्यांकन नहीं किया, जबकि लीड स्टोरीज रेटेड एक रेडिट पोस्ट। लेकिन बर्डवॉच पर, उच्चतम-रेटेड नोट - 1.00 की सहायकता स्कोर ड्राइंग - ने रेडिट के बारे में एक भ्रामक ट्वीट को हरी झंडी दिखाई, जहां स्टॉक के बारे में बातचीत हो रही थी। रेडिट, गेमस्टॉप और रॉबिनहुड निवेश ऐप के बारे में लगभग 50 नोट थे, जिन पर इस महीने की शुरुआत में बड़ी मात्रा में व्यापार हुआ था।

और बर्डवॉच उपयोगकर्ताओं ने वर्जीनिया सेन से संबंधित होने का दावा करने वाले खाते को सही ढंग से फ़्लैग किया। अमांडा चेज़ इसके बाद नकली के रूप में ट्वीट किए , '... हमारे पास वर्जीनिया में नशीली दवाओं की समस्या है, और मारिजुआना को वैध बनाने से केवल अधिक मारिजुआना ओवरडोज़ और मौतें होंगी ...'

rsek ने कहा कि क्राउडसोर्सिंग गलत सूचनाओं का पता लगाकर पेशेवर तथ्य-जांचकर्ताओं के जीवन को आसान बना सकती है।

कोलमैन ने कहा कि ट्विटर पारदर्शिता बनाए रखने के लिए प्रतिबद्ध है - जिसने इस विश्लेषण को संभव बनाया - और मंच के भविष्य पर विशेषज्ञों से इनपुट शामिल करना।

'से एक एम्बेडेड टीम के सदस्य के साथ काम करने से आरआईएससी के लिए शिकागो विश्वविद्यालय केंद्र , पत्रकारों और शोधकर्ताओं के साथ फीडबैक सत्र आयोजित करने के लिए, हम ट्विटर से परे मौजूद विशेषज्ञता और ज्ञान की विशाल मात्रा में टैप करने के लिए काम कर रहे हैं, 'उन्होंने कहा।

Holan और rsek बर्डवॉच उपयोगकर्ताओं के लिए प्रोत्साहन और प्रशिक्षण की सलाह देते हैं, साथ ही उच्च श्रेणी के नोटों की जांच के लिए पेशेवर तथ्य-जांचकर्ताओं को नियुक्त करते हैं।

'लेकिन मैं तकनीकी कंपनियों के बारे में बहुत संदिग्ध हूं, जो मानते हैं कि उनके उपयोगकर्ता उनके लिए मुफ्त में सामग्री को मॉडरेट करेंगे,' होलन ने कहा। 'अधिकांश उपयोगकर्ता प्लेटफ़ॉर्म को अपना व्यवसाय चलाने में मदद करने के लिए इसे अपने काम के रूप में नहीं देखते हैं।'