Butch Vig, productor de discos tan influyentes como Nevermind de Nirvana y Siamese Dream de Smashing Pumpkins decidió que quería formar un grupo, de modo que pidió a sus compañeros productores Marker y Erikson que se unieran a él. Después de que el grupo viera a Shirley Manson en MTV (Shirley participó en otros proyectos como Goodbye, Mr. MacKenzie y Angelfish), le pidieron que se uniera al grupo. Su nombre proviene, aparentemente, del "sonido basura" de sus canciones.
