Il gruppo è stato fondato da David Tibet dopo aver lasciato gli Psychic TV nel 1982.
David Tibet è sempre stato il solo componente fisso, sebbene molti musicisti abbiano partecipato ai vari album. I più importanti tra essi sono: Steven Stapleton (dei Nurse with Wound) che è apparso in quasi tutti i lavori del gruppo sin dagli inizi della carriera nel ruolo di produttore e curando la parte elettronica, il chitarrista Michael Cashmore il quale offrì il suo contributo a cominciare dagli album folk degli anni novanta come Thunder Perfect Mind. Un altro importante collaboratore fu: Douglas P. dei Death In June presente, generalmente nel ruolo di chitarrista nelle opere del gruppo di fine anni ottanta, Rose McDowall e John Balance dei Coil.
Inoltre troviamo come collaboratori ospiti: Nick Cave, Bjork, Hilmar Hilmarsson con il quale collaborò per la realizzazione dell’Ep Crowleymass e dell’album Island, Andrew W.K., Will Oldham, Ben Chasny, Tiny Tim, Tony Wakeford dei Sol Invictus, Steve Ignorant dei Crass (che usò l’appellativo Stephen Intelligent), Boyd Rice e la studiosa di rune Freya Aswynn.
Marc Almond, John Balance dei Coil e Ian Read dei Fire + Ice.