W wywiadzie dla El País pan Deibert twierdził, że „100% niezawodności ataków, które zarejestrowaliśmy”; dziennikarze pytali go: „Czy mogą być fałszywie pozytywne wyniki?”. Odpowiedział: „Nie. Nasze metody są bardzo precyzyjne, rozwijane przez lata”.

Jednak literatura naukowa na temat kryminalistyki cyfrowej i wykrywania złośliwego oprogramowania stale zajmuje się problemem „fałszywie pozytywnych wyników” (np. Abela i in. 2013; Alherbawi i in. 2013; Pandey i in. 2018);70 pociąga to za sobą również ważne rozważania dotyczące etyki badań. W kontekście rosnącej presji na publikację, istnieje niewielka wola testowania wyników fałszywie pozytywnych, ponieważ im większa liczba infekcji, tym większy moc ma artykuł i tym łatwiej przyciągnąć uwagę mediów i dalsze finansowanie dla instytucji badawczej.

Istnieje kilka relacji pokazujących, że fałszywe alarmy są prawdopodobnym prawdopodobieństwem w wykrywaniu kryminalistycznym zarówno dla oprogramowania szpiegującego, o którym mowa w raporcie CatalanGate, Candiru i Pegasus.

Co więcej, narzędzie do wykrywania oprogramowania szpiegującego „MVT” firmy Amnesty Tech jest znane z tego, że łatwo wprowadza w błąd (fałszywy alarm), celowo. Nawet Amnesty Tech kilkakrotnie przyznało się do problemu fałszywych alarmów i odpowiednio zmodyfikowało swoje narzędzie do wykrywania oprogramowania szpiegującego: na przykład poprzez usunięcie wskaźników kompromitacji (IOC) i domen. Błędy w IOC zostały wykryte w próbkach, które Citizen Lab przesłało im w celu walidacji, co również potwierdza, że ​​metody Citizen Lab są dalekie od nieomylnych.

To nieortodoksyjne podejście do badań naukowych również stawia kilka pytań Uniwersytetowi w Toronto i Munk School of Global Affairs & Public Policy, którzy organizują i rzekomo nadzorują pracę Citizen Lab: czy Uniwersytet w Toronto często nadzoruje lub prowadzi badania naukowe z 100% niezawodnością i zerowym ryzykiem „fałszywych wyników pozytywnych”? Czy Uniwersytet w Toronto popiera „nieomylną” naturę pracy Citizen Lab? Czy Uniwersytet w Toronto ma jakieś systemy gwarantujące, że te nieweryfikowalne zewnętrznie publikacje nie zawierają ani nie powodują żadnych błędów?

Bardzo niewielu rygorystycznych naukowców społecznych lub ekspertów w dziedzinie kryminalistyki cyfrowej dałoby się przekonać o nieomylności metod Citizen Lab przypisywanej przez pana Deiberta. Jego pewność co do metod kryminalistycznych Citizen Lab jest sprzeczna z głównymi koncepcjami nauki, a w szczególności z poglądami ekspertów w dziedzinie kryminalistyki cyfrowej, które uznają problemy z niezawodnością i zalecają zewnętrzne walidacje w celu zmniejszenia możliwości wystąpienia błędów spowodowanych przez narzędzia kryminalistyki cyfrowej (algorytmy, implementację lub sprzęt), metodologię i interpretację wyników (np. Arshad i in. 2018; Horsman 2019; Hughes i Karabiyik 2020). Mimo że zarówno pan Deibert, jak i pan Scott-Railton mają wykształcenie dyscyplinarne w zakresie nauk politycznych, pracują w obszarze kryminalistyki cyfrowej od wielu lat i dlatego muszą mieć świadomość, że marginesy błędu i fałszywie pozytywne wyniki są powszechnym założeniem w tego typu dochodzeniu. Nie wydaje się rozsądne, aby udawać inaczej w ich dochodzeniu w sprawie CatalanGate, —w którym osoby o motywacjach politycznych, bez odpowiedniej wiedzy fachowej, zajmowały się dowodami i przeprowadzały wstępne analizy—.

22 grudnia 2022r. Citizen Lab przyznało, że błędnie założyli, że pan Antoni Comín był ofiarą spyware z powodu błędu w systemie etykietowania, którego używali podczas badań. Potwierdza to wyżej wymienione ryzyka związane z przyznaniem odpowiedzialności za zbieranie danych osobom bez doświadczenia w badaniach lub kryminalistyce cyfrowej.

W 2017r. sam pan Deibert opublikował artykuł kwestionujący raport DHS/FBI na temat rosyjskiego hakowania pod kątem szeregu poważnych naruszeń metodologicznych, które mogłyby być równie dobrze stosowane w badaniu CatalanGate. Na przykład w 2017r. Deibert słusznie kwestionuje tak zwany „Grizzled Steppe”, nazywając go „rozczarowującym i kontrproduktywnym”.

Jedną z jego uwag krytycznych jest to, że:

„apendyks zawiera arkusz kalkulacyjny, który ma na celu dostarczanie „wskaźników kompromisu”, długich list szczegółów technicznych, rzekomo związanych z kampanią szpiegowską. Obejmują one adresy IP, sygnatury złośliwego oprogramowania oraz infrastrukturę dowodzenia i kontroli, której obrońcy sieci mają powinni używać, aby odpierać szpiegostwo wspierane przez Rosję i która rzekomo byłaby używana do „oznaczania” Rosji jako winowajcy. Niestety, wiele z nich jest nieaktualnych lub nieistotnych, lub są używane przez wiele kampanii cybernetycznego szpiegostwa, a nie tych związanych wyłącznie z Rosją”.

W związku z tym pan Deibert zakwestionował zasadność wykorzystania pewnych śladów lub wskaźników kompromitacji (IOC) do oskarżenia Rosji, ponieważ mogą być one również wykorzystywane przez innych. Tymczasem raport CatalanGate zakłada, że ​​żaden cyberprzestępca nie pomyślałby o wykorzystaniu fałszywych hiszpańskich wiadomości instytucjonalnych, z wyjątkiem hiszpańskich służb specjalnych i że to, co uważają za Pegasus IOC, nie mogłoby być wykorzystywane przez innych producentów oprogramowania szpiegującego lub złośliwego. Jest to sprzeczne z logiką zastosowaną wcześniej przez pana Deiberta.

Podobnie, pan Deibert twierdził w tym samym artykule, że „To krzywda dla zarówno opinii publicznej, jak i ekspertów by nie wyjaśniać im stopnia zaufania związanego z każdym wskaźnikiem. Bez odpowiedniej kategoryzacji lub kontekstu wskaźniki nie spełniają żadnego celu pomocy obrońcom sieci ani nie udowodniają atrybucji”. Raport CatalanGate nie zawiera żadnej oceny stopnia zaufania wskaźników IOC używanych do wykrywania ataków i infekcji. W 2022r. raport CatalanGate wyraźnie odbiega od standardów, które jeden z autorów i dyrektor Citizen Lab utrzymywali w 2017r.

W tym samym artykule pan Deibert narzeka na „niewielkie lub żadne niezależne źródło weryfikacji” w odniesieniu do raportów dotyczących cyberbezpieczeństwa i sugeruje, że „musimy ich motywować, by byli bardziej przejrzyści w kwestii danych, którymi mogą się dzielić z opinią publiczną, i być bardziej rygorystyczni w kwestii tego, co prezentują, aby ich dane były przydatne dla innych”. Brak przejrzystości wykazany przez Citizen Lab w odniesieniu do ich dochodzenia w Katalonii koliduje z zasadami, których jego dyrektor bronił pięć lat wcześniej. W ramach podobnego dochodzenia w Indiach dotyczącego wniosku Sądu Najwyższego, niezależny Komitet Techniczny zbadał 29 telefonów, które według Citizen Lab zostały zaatakowane oprogramowaniem szpiegującym Pegasus. To badanie miało na celu zbadanie prawdziwości zarzutów wobec rządu Indii o wykorzystywanie oprogramowania szpiegującego Pegasus do atakowania aktywistów, dziennikarzy, polityków, sędziów i urzędników rządowych. Jednak wynik analizy wykazał, że z 29 telefonów zbadanych przez Komitet Techniczny tylko 5 zawierało złośliwe oprogramowanie i że nie było pewne, czy znalezione złośliwe oprogramowanie odpowiadało programowi Pegasus.

Ponadto, znany ekspert w dziedzinie analizy kryptograficznej i bezpieczeństwa komputerowego, pan Nadim Kobeissi, publicznie potępia również podejście Citizen Lab do zlecania „recenzji eksperckiej” osobistym przyjaciołom o poglądach politycznych, na podstawie falsyfikowalnych dowodów i bez grup kontrolnych”; twierdzi, że „istnienie złośliwego oprogramowania, które celowo przyjmuje wzorce zachowań Pegasusa, jest nie tylko łatwe, ale i wysoce opłacalne”. Krytykuje on Citizen Lab i Amnesty Tech za to, że tworzą oskarżenia przeciwko rządom i przypisują ataki Pegasusowi na podstawie małego podzbioru adresów URL w Internecie, których właściciel i zarządzanie nie są znane.

Pan Deibert ostrzegł również w 2017r., że „wnioski oparte na wierze oparte na częściowych dowodach i anonimowych przeciekach nie stanowią podstawy do tworzenia świadomej polityki publicznej”; jednak w wywiadzie dla El Confidencial, Ronald Deibert twierdził, że „Hiszpania jest klientem NSO, zobaczymy więcej przypadków szpiegowanych telefonów komórkowych” i opiera ten argument na informacjach z przecieków rozsiewanych (prawdopodobnie) przez byłych pracowników NSO do Motherboard.

Ponadto, jak wskazuje raport CatalanGate: „Chociaż obecnie nie przypisujemy tej operacji konkretnym podmiotom rządowym, dowody poszlakowe sugerują silne powiązania z rządem Hiszpanii, w tym charakter ofiar i celów, czas i fakt, że Hiszpania jest podobno rządowym klientem NSO Group”. Wydaje się, że w tym przypadku Citizen Lab popełnia wszystkie błędy, przed którymi ostrzegał w przeszłości jego dyrektor i współautor raportu.

Paradoksalnie, w 2017r. pan Deibert stwierdził, że „niedociągnięcia raportu (DHS/FBI) doprowadziły do ​​przewidywalnych rezultatów. Prezydent-elekt Donald Trump i jego zwolennicy „prawdomówności” mogą kontynuować rozpowszechnianie bzdur, takich jak to że „żaden komputer nie jest bezpieczny””. To jest zasadniczo to, co wydarzyło się w Hiszpanii po opublikowaniu raportu CatalanGate, gdzie dziesiątki polityków i dziennikarzy poszło za oskarżeniami Citizen Lab o „niepohamowane, niepotrzebne i nieproporcjonalne” szpiegostwo hiszpańskiego rządu na katalońskim społeczeństwie obywatelskim i rozpowszechniało podobne, politycznie obciążone alarmistyczne wiadomości. Na przykład strona internetowa utworzona przez organizację niepodległościową Òmnium w celu potępienia domniemanego szpiegostwa na katalońskim społeczeństwie obywatelskim Catalan-Gate.cat ma na swojej stronie głównej wiadomość „CatalanGate: ens estan vigilant” („Oni nas monitorują”) i „CatalanGate: Demokracja pod nadzorem” w wersji angielskiej strony internetowej. Organizacja secesjonistyczna Assemblea Nacional Catalana (ANC) utworzyła na swojej stronie internetowej sekcję z dramatycznym filmem, w którym między innymi napisano: „Oni wiedzą, co mówisz, gdzie chodzisz, kogo spotykasz […] Hiszpania, Węgry i Polska to jedyne państwa członkowskie UE, które szpiegowały za pomocą Pegasusa. Kraje, które wielokrotnie sprzeciwiały się praworządności UE […] potępiają brudną wojnę Hiszpanii z Katalonią”. Raport był wykorzystywany od czasu publikacji w celu promowania poczucia paniki moralnej w Katalonii i delegitymizacji rządu Hiszpanii na arenie międzynarodowej. Pan Deibert sam przyczynił się do tego, składając publiczne oświadczenia alarmistyczne, takie jak „to ma związek z agencją szpiegowską, która działa poza kontrolą”.