Cavendish heiratete am 7. Juni 1864 Lucy Caroline Lyttelton , die zweite Tochter von George Lyttelton, 4. Baron Lyttelton , Enkelin von Sir Stephen Glynne und Nichte von William Ewart Gladstones Frau Catherine . Sie war Trauzeugin der Königin.

Eine Statue von Cavendish steht auf dem Platz hinter dem Rathaus von Barrow-in-Furness , wo sein Vater stark in die lokale Industrie investierte. Ein Fenster zum Gedenken an Cavendish wurde auf Kosten der Mitglieder des Unterhauses in der St. Margaret's Church in Westminster aufgestellt . Sein imposantes Grab aus weißem Carrara-Marmor kann in der Cartmel Priory , Cumbria, besichtigt werden . In der Bolton Abbey gibt es auch einen Gedenkbrunnen für ihn .