Yn 1918, fodd bynnag, y daeth ergyd chwerwaf ei yrfa wleidyddol i'w ran. Yn etholiad y flwyddyn honno gwrthodwyd ef gan ei sir ei hun. Etholwyd y diweddar Gadfridog Syr Owen Thomas, yntau yn ŵr o Fôn, yn aelod Llafur dros y sir. Teimlodd Ellis Griffith yr ergyd i'r byw, ac er iddo gael ei ddewis yn ymgeisydd Rhyddfrydol wedyn, ciliodd o'r maes ym Môn yn 1921. Ni chollodd ei gariad at Fôn ac ni chollodd Môn ei serch ato yntau. Bu golygfa i'w chofio yn eisteddfod y sir yn Aberffraw rai blynyddoedd ar ôl yr etholiad; yr oedd Ellis Griffith yn llywyddu, aeth i son yn ystod ei araith am yr hen amser gynt, ac yr oedd ef a'r gynulleidfa oll yn eu dagrau.
Yn 1923 dewiswyd ef yn aelod Rhyddfrydol dros Gaerfyrddin, ond, er syndod i lawer, ymneilltuodd yn 1924, gan wneud lle i'r diweddar Arglwydd Melchett—Syr Alfred Mond y pryd hynny. Bu llawer o ddyfalu ynghylch y peth a llawer ymgais i'w esbonio. Credaf mai'r gwir esboniad ydyw fod Ellis Griffith erbyn hynny wedi blino ac wedi torri ei galon cyn belled ag yr oedd gwleidyddiaeth yn myned.
Bu farw yn Abertawe, yn 1926. Daeth y diwedd yn sydyn iawn, yn ystod dyddiau'r frawdlys yn y dref honno. Clywais y diweddar Farnwr Syr Thomas Artemus-Jones yn dweud yr hanes. Yr oedd y bargyfreithwyr ar y gylchdaith yn aros gyda'i gilydd yn yr un gwesty yn ystod y frawdlys. Sylwyd gyda'r hwyr nad oedd Ellis Griffith yn edrych yn dda a pherswadiodd ei gyfeillion ef i fyned i'w wely yn gynnar i orffwys, Cytunodd yntau ac aeth. Cyn pen ychydig dywedodd Artemus-Jones ei fod yn teimlo yn anesmwyth yn ei gylch gan ei fod yn edrych mor wael, ac aeth ef ac un arall i'r llofft i weled a oedd popeth yn iawn. Erbyn cyrraedd yno cawsant ef ar ei liniau wrth erchwyn y gwely, wedi llewygu. Galwyd ar eraill a gwnaed popeth a oedd yn bosibl, ond bu farw heb ddadebru.
