Wyniki Citizen Lab wywołały ogromne zainteresowanie mediów, biorąc pod uwagę powagę oskarżeń przeciwko rządowi Hiszpanii. Jak wyjaśni ta krytyczna recenzja, nie tylko prasa hiszpańska, ale także międzynarodowa, opublikowała tę historię, przyjmując za pewnik, wiarygodność dowodów ujawnionych przez Citizen Lab. Niestety, dane dotyczące domniemanych infekcji spyware i ataków na katalońskich polityków i aktywistów niepodległościowych nie zostały udostępnione zewnętrznym analitykom: musieli oni polegać na reputacji kanadyjskiego ośrodka badawczego jako podstawie, na której mogli ocenić zasadność oskarżeń przeciwko Hiszpanii. Brak publicznej odpowiedzialności wykazany przez bardzo wpływowego gracza w dziedzinie cyberbezpieczeństwa, którego praca jest wykorzystywana jako podstawa dowodowa w wielu dochodzeniach parlamentarnych i sądowych, jest bardzo problematyczny.

Raport „CatalanGate” nie został zrecenzowany ani zatwierdzony przez niezależnych ekspertów. Citizen Lab udostępniło cztery próbki Amnesty Tech. Nie ma jednak jasnego wyjaśnienia, dlaczego tylko cztery próbki (pan Jordi Sànchez, pani Sonia Urpí, pani Elisenda Paluzie i pani Meritxell Bonet) zostały przesłane do zewnętrznej walidacji lub dlaczego Citizen Lab nie wybrał niezależnej organizacji do takiej kontroli. Istnieje 27 domniemanych ofiar ataków, dla których Citizen Lab nie był w stanie ustalić żadnej daty (ani przedziału czasowego) zakażenia (lub nie zdecydował się o nich informować). Nie wydaje się logiczne, że żaden z tych „trudniejszych” przypadków nie został wybrany do przetestowania pod kątem potencjalnych fałszywie pozytywnych wyników.

Pan Ronald Deibert, dyrektor Citizen Lab i współautor raportu, twierdzi, że ustalenia raportu są teoretycznie powtarzalne, ale niezależni eksperci nie mogą powtórzyć tego konkretnego dochodzenia, ponieważ wymagałoby to zgody uczestników badań. Niechęć do udostępnienia próbek niezależnym ekspertom w przypadku, w którym ofiary dobrowolnie i publicznie zgłosiły się, aby ich urządzenia zostały zbadane, jest godna uwagi. W każdym razie musieli wcześniej uzyskać wyraźne pozwolenie od czterech domniemanych ofiar, pana Jordiego Sàncheza, pani Sonii Urpí, pani Elisendy Paluzie i pani Meritxell Bonet, których telefony zostały zbadane przez Amnesty Tech. Ponadto, jak sam pan Deibert wyjaśnia w tym samym liście, Citizen Lab wcześniej udostępniało próbki infekcji w innych dochodzeniach z Microsoftem, Apple, Lookout Security i Project Zero w Google.

Do tej pory sąd zażądał przedstawienia telefonów co najmniej  7 domniemanych ofiar, jako część formalnych skarg złożonych przeciwko producentowi Pegasus, NSO Group. Jednak żadna z nich nie przedstawiła telefonów, które rzekomo zostały zaatakowane, aby zweryfikować infekcje przez wyznaczonych przez sąd niezależnych ekspertów technicznych. Dlaczego tak niechętnie poddają swoje urządzenia ponownemu badaniu?

Innym nietypowym wyborem badawczym Citizen Lab jest poleganie na Amnesty Tech w celu „niezależnej walidacji”. Dwoma ekspertami Amnesty Tech w dziedzinie informatyki śledczej są pan Claudio Guarnieri i pan Etienne Maynier, którzy byli stypendystami Citizen Lab i twórcami Mobile Verification Toolkit (MVT) wykorzystywanego do przeprowadzania analiz kryminalistycznych urządzeń mobilnych w celu znalezienia oznak potencjalnego naruszenia. Przypadkowo Citizen Lab opublikował „niezależną recenzję ekspercką” tej metodologii (która jest wykorzystywana przez Amnesty International) i stwierdził, że obie grupy, Citizen Lab i Amnesty Tech, „opracowały zasadniczo podobne metody wykrywania infrastruktury NSO Group”. Czterech autorów raportu „CatalanGate” pracowało w przygotowaniu „Niezależnej recenzji eksperckiej metod kryminalistycznych Amnesty International w celu identyfikacji oprogramowania szpiegującego Pegasus”. Poleganie na byłych członkach zespołu w celu „recenzowania” pracy nie spełnia akademickich standardów zewnętrznej walidacji. Tym bardziej, gdy oba zespoły zaangażowane są we wzajemne potwierdzanie ważności swojej pracy.

Pan Maynier, znany również jako Tek, pracował w Citizen Lab od 2016r. do kwietnia 2021r. i brał udział w kilku raportach Citizen Lab dotyczących Pegasusa. Był podwójnie powiązany z Amnesty International i Citizen Lab. Śledztwo w sprawie Katalonii rozpoczęło się nie później niż w lipcu 2020r.; w związku z tym pan Maynier pracował dla Citizen Lab podczas śledztwa w sprawie CatalanGate, co czyniło go niewiarygodnym ekspertem do prowadzenia jakiegokolwiek zewnętrznego, niezależnego śledztwa. Pan Guarnieri, znany również jako Nek, starszy technolog w Amnesty International, był również podwójnie powiązany i pełnił funkcję starszego pracownika naukowego w Citizen Lab co najmniej do 2016r. Relacje między Citizen Lab a Amnesty International są głębsze, ponieważ pan Deibert przyznaje w oficjalnym oświadczeniu, że służył w grupach technicznych Amnesty International i że Citizen Lab regularnie współpracuje z Amnesty International.

Pan Deibert twierdzi, że Citizen Lab potrafi niezawodnie odróżnić próby infekcji Pegasus od innych ataków spyware i odwołuje się do sześciu lat opublikowanych badań, jak również niezależnych weryfikacji. Jednak na liście publikacji Citizen Lab nie znajdujemy ani jednego recenzowanego artykułu. „Zewnętrzna walidacja” analiz kryminalistycznych znajduje się w większości raportów przeprowadzonych przez Amnesty; na przykład w „Peace through Pegasus”, „Project Torogoz”, „Pegasus vs. Predator”, „Breaking the News” i „From Pearl to Pegasus”. Wiele innych raportów Citizen Lab — „FORCEDENTRY”, „Privacy and Security Analysis of the IATA Travel Pass Android App”, „Engrave Condition”, „Pandemic Privacy”,   „No Access” i „Hooking Candiru” — nie odnosi się nawet do żadnego procesu zewnętrznej walidacji.

Długotrwała współpraca między Citzen Lab i Amnesty International —oraz członków ich zespołów — powinna być uznana w raportach, które zostały „zrecenzowane”, aby czytelnicy byli świadomi potencjalnych ograniczeń takiego procesu walidacji. Współautorzy nie są proszeni o wzajemne recenzowanie prac jako kwestia dobrych praktyk akademickich; w zgłoszeniach do recenzowanych czasopism badacze często są proszeni o oświadczenie, że nie współpracowali wcześniej z osobami, które sugerują jako potencjalnych recenzentów. Stanowisko Citizen Lab w sprawie „recenzji eksperckiej” raportu CatalanGate wydaje się nie być rygorystyczne, ponieważ takie potwierdzenie bliskiej współpracy nie zostało wyraźnie przedstawione (nawiasem mówiąc, nie zostało to również uczynione w większości ich badanych wyników badań).

Nie wszystkie raporty są recenzowane w środowisku akademickim. Często autorzy dostarczają wystarczających informacji i danych, aby ich ustalenia mogły zostać powtórzone lub ocenione. Jednakże twierdzenie, że raport został niezależnie zweryfikowany, gdy tak nie jest — biorąc pod uwagę powiązania organizacyjne i ich wspólne interesy — jest niewłaściwe i sprzeczne z powszechnie uznawanymi dobrymi praktykami w środowisku akademickim. Uniwersytet w Toronto on Ethical Conduct in Research wymaga od członków przestrzegania „najwyższych standardów etycznego postępowania w każdym aspekcie badań, w tym wniosków, propozycji, samych badań, raportów i publikacji”.

Zapytany o brak powtarzalności i brak repozytorium lub próbek, które mogłyby zostać wykorzystane przez niezależnych ekspertów do weryfikacji ustaleń, pan Deibert nawiązuje do „wiarygodności zeznań” pana Billa Marczaka, który jest starszym badaczem w Citizen Lab i twórcą technicznej metodologii stosowanej przez Citizen Lab do identyfikacji infekcji Pegasus lub prób infekcji. Twierdzi on również, że Jednakże wydaje się niewłaściwe twierdzenie, że „żadna renomowana analiza techniczna” nie zaprzeczyła ich wynikom, biorąc pod uwagę, że analizy Citizen Lab nie są recenzowane przez niezależnych ekspertów.

Co więcej, wiarygodność naukowej pracy akademickiej nie może opierać się na osobistej lub zawodowej reputacji autorów (lub krytyków), ale na przestrzeganiu  przejrzystych i powtarzalnych procesów, które zwykle obejmują recenzję ekspercką lub przynajmniej możliwość zewnętrznej weryfikacji.

Jeśli raportu CatalanGate nie można sfałszować ani zweryfikować, w jaki sposób Citizen Lab zapewnia, że ​​nie zawiera on żadnych istotnych błędów? Dlaczego Citizen Lab nie dostarczyło żadnego zestawu danych, który umożliwiłby niezależną walidację ich ustaleń? Dlaczego próbki nie były dostępne dla zaufanych, niezależnych recenzentów? Biorąc pod uwagę, że Citizen Lab udostępniło próbkę 4 przypadków Amnesty Tech, czy inni niezależni recenzenci mogliby mieć dostęp do tych czterech próbek?

Pan Deibert twierdzi, że zewnętrzną walidację przeprowadziła Amnesty Tech w marcu-kwietniu 2022 r.28 Raport został uruchomiony 18 kwietnia 2022 r. w doskonale skoordynowanej kampanii komunikacyjnej z bardzo kosztownymi profesjonalnymi infografikami w 3 językach (angielskim, katalońskim i hiszpańskim), długo planowaną wyłącznością w The New Yorker autorstwa pana Ronana Farrowa, filmami, dedykowaną stroną internetową i kontem na Twitterze z 180 tysiącami obserwujących: @catalangate. Biorąc pod uwagę, że pierwsze przypadki zostały zidentyfikowane i ogłoszone publicznie w lipcu 2020 r., dlaczego Citizen Lab czekało do marca-kwietnia 2022 r., aby przeprowadzić zewnętrzną walidację przypadków? Zwykle wczesne wykrywanie błędów jest wykorzystywane do kalibracji przyrządów. Czy Citizen Lab zrewidowałoby swój raport i zawiesiłoby kampanię komunikacyjną, gdyby którakolwiek z próbek przetestowanych przez Amnesty Tech dała wynik negatywny lub wykazała jakiekolwiek problemy?

Raport CatalanGate potwierdza, że ​​„nasze metody mają ograniczony wgląd w infekcje Androida”; jednak wśród pierwszych ofiar, niektóre, takie jak pan Roger Torrent, posiadały urządzenie z Androidem. Biorąc pod uwagę tę uznaną słabość instrumentalną, zaskakujące jest, że nie poddali żadnego z rzekomo zainfekowanych telefonów z Androidem zewnętrznej walidacji.

Próbując rozwiać krytykę wielu naukowców na temat raportu CatalanGate, niektórzy obrońcy Citizen Lab argumentowali, że ich praca nie może być oceniana w oparciu o standardy akademickie, ponieważ ich raport nie jest pracą akademicką, ale raportem branżowym. Jednakże argumenty te są sprzeczne z ciągłymi publicznymi oświadczeniami pana Deiberta, który twierdzi, że Citizen Lab ma charakter akademicki, a także z częstymi odniesieniami do potrzeby procesów recenzji eksperckich, które wielokrotnie poczynił.