"B-Sides & Rarities" è una tripla compilation, uscita in origine nel marzo 2005, contenente le b-sides e le rarità di Nick Cave e dei suoi inseparabili Bad Seeds, raccolte negli anni dal 1984 al 2005. Da tempo non più disponibile, la raccolta torna sugli scaffali per la gioia dei fan dell'artista australiano, che in questo progetto si cimenta anche con "cover" di artisti che hanno profondamente influenzato il suo stile e il suo personaggio. Accanto a versioni acustiche di classici come "Deanna", "The Mercy Seat", "Jack The Ripper" infatti trova posto, ad esempio, il duetto Nick Cave/Shane MacGowan di "What A Wonderful World" o una "The Six Strings That Drew Blood" che arriva direttamente dal repertorio dei Birthday Party (prima formazione in cui l'artista si è fatto le ossa), una "Tower Of Song" incisa nel '91 per un disco tributo a Leonard Cohen, una "Helpless" realizzata per un album compilation in omaggio a Neil Young o una "Red Right Hand" riveduta e corretta per il film "Scream 3". Insomma, più che considerarlo una compilation, questo disco è un vero e proprio progetto dell'artista che rivela ancora una volta il suo eclettismo e la sua capacità di adattarsi a stili musicali differenti dai territori normalmente esplorati dalla sua arte.