Fin dagli anni sessanta insinuò che numerosi ''leader'' occidentali fossero agenti del KGB. Le accuse più famose riguardarono il britannico [[Harold Wilson]], lo svedese [[Olof Palme]], i canadesi [[Lester Pearson]] e [[Pierre Trudeau]] e il tedesco [[Willy Brandt]]. A un certo punto sospettò anche il Segretario di Stato [[Henry Kissinger]].<ref>{{Cita web|url=https://web.archive.org/web/20160303195559/https://www.theglobeandmail.com/news/world/espionage-is-sublime-onscreen-but-hardly-ever-changes-history/article1635023/|titolo=Espionage is sublime onscreen, but hardly ever changes history - The Globe and Mail|sito=web.archive.org|data=2016-03-03|accesso=2024-01-02|dataarchivio=3 marzo 2016|urlarchivio=https://web.archive.org/web/20160303195559/https://www.theglobeandmail.com/news/world/espionage-is-sublime-onscreen-but-hardly-ever-changes-history/article1635023/|urlmorto=sì}}</ref> Questo stato di cose generò il caos nell'agenzia, paralizzandone le attività. Quando nel 1974 Angleton accusò anche dei collaboratori del Presidente [[Gerald Ford]], il direttore della CIA [[William Colby]] ricevette il via libera per mandare in pensione su due piedi l'onnipotente collega, unitamente a molti suoi collaboratori.<ref>{{Cita web|url=https://www.muckrock.com/news/archives/2017/oct/19/angleton-return/|titolo=The mystery of disgraced CIA spymaster James Angleton's "retirement"|sito=MuckRock|data=2017-10-19|lingua=en-US|accesso=2024-01-02}}</ref> Dopo la sua partenza, ci vollero anni per riorganizzare la compagnia, ricostruire la sezione URSS e trovare le vere talpe.<ref>William Colby, ''La mia vita nella CIA'', Mursia, 1979</ref> Angleton morì di cancro nel 1987.<ref>{{Cita news|lingua=en-US|url=https://www.nytimes.com/1987/05/12/obituaries/james-angleton-counterintelligence-figure-dies.html|titolo=JAMES ANGLETON, COUNTERINTELLIGENCE FIGURE, DIES|pubblicazione=The New York Times|data=1987-05-12|accesso=2024-01-02}}</ref>