The Music empezó a tocar en 1999 y en 2001 una canción Take the Long Road and Walk It que circuló como una demo, antes de ser lanzada por Fierce Panda. Por estos tiempos el NME y Steve Lamacq la describían como la mejor banda sin firmar en Gran Bretaña. La banda firmó rápidamente con Hut, y allí lanzaron su primer EP: Might as Well Try to Fuck Me. En 2002, siguiendo otro EP: The People, editaron su álbum debút, llamado simplemente The Music. Éste alcanzó a ser número 4 en el Reino Unido. Su single se reeditó para promover el álbum, pero sólo pudo ser número 14 en las posiciones.
