Lee Chandler conduce una vita riservata e solitaria a Boston, dove lavora come portinaio e tuttofare. Un giorno riceve dal suo amico George la notizia che suo fratello Joe ha avuto un attacco cardiaco e si vede costretto a tornare nella sua città natale, Manchester-by-the-Sea, dove riesce però ad arrivare solo dopo la morte di Joe. Lee rimane a Manchester per organizzare il funerale e per stare accanto al nipote sedicenne Patrick, figlio di Joe, del quale scopre di essere stato nominato tutore. Lee accetta con riluttanza questo ruolo, e tenta di impedire la riconciliazione del ragazzo con sua madre, una ex alcolista che ha abbandonato da anni la famiglia; d’altra parte Patrick rifiuta di trasferirsi a Boston con lo zio, poiché la sua vita è fortemente radicata a Manchester.
Attraverso una serie di flashback, frattanto, viene ricostruito il passato di Lee: egli una volta viveva felicemente nella cittadina insieme a sua moglie Randi e ai loro tre bambini, finché un giorno, a causa di una sua disattenzione mentre era ubriaco, la sua casa era andata a fuoco uccidendo i figli. Pur non essendo stato giudicato colpevole del fatto dalla polizia, Lee aveva tentato il sucidio ma aveva fallito; Randi lo aveva lasciato, incolpandolo violentemente della morte dei loro figli, e lui aveva deciso di trasferirsi a Boston, vivendo una vita di depressione e solitudine.
Lee deve rimanere a Manchester fino alla primavera, poiché il corpo di Joe non può essere sepolto prima a causa del gelo e viene tenuto in un apposito congelatore. Pertanto lui e Patrick sono costretti a convivere e ristabilire un difficile rapporto: Patrick ha le sue problematiche adolescenziali rese più amare dalla morte del padre, e Lee, a causa della sua costante depressione, si trova incapace di gestirle. Così minimizza il disagio del ragazzo nel sapere il corpo di suo padre in un congelatore, finché questi non si trova ad avere un attacco di panico nel vedere dei cibi congelati; in un’occasione, i due litigano quando Lee non è in grado di distrarre la madre della fidanzata di Patrick mentre i due cercano di avere un rapporto sessuale, dal momento che non riesce ormai più a portare avanti una conversazione con altre persone. Patrick inizia dunque a pensare che allo zio non importi nulla di lui, anche perché sembra voler affrettare la loro partenza da Manchester.
La madre di Patrick si rifà viva affermando di essersi lasciata alle spalle l’alcolismo e di aver trovato stabilità nella religione; la donna propone al ragazzo di andare a vivere con lei e il suo nuovo compagno Jeffrey. Patrick è entusiasta perché ciò significherebbe non doversi trasferire da Manchester, e risponde con insofferenza alle perplessità di Lee; tuttavia il pranzo organizzato per riconciliarsi va molto male, in quanto i due non riescono a stabilire il minimo contatto, e ciò dà alla donna una carica emotiva negativa. In seguito, Jeffrey scriverà a Patrick di non rivolgersi più a sua madre se volesse ricontattarla, ma a lui, che valuterà se sia il caso o meno di dirglielo. Patrick ne resta deluso e affranto.
Lee frattanto cerca un lavoro per poter stare a Manchester durante l’estate, in attesa di espletare tutte le pratiche per il funerale e il trasferimento di Patrick, ma ciò è reso difficile a causa del suo atteggiamento e dal ricordo che gli abitanti del paese hanno del suo drammatico passato. Un giorno ritrova Randi, che si è risposata e ha appena avuto un bambino. La donna esprime forte rimorso per come ha trattato l’ex-marito, e chiede di poter riallacciare un rapporto, arrivando anche ad affermare di amarlo ancora. L’uomo rifiuta e scappa via da lei prima di poter a sua volta esprimere quello che si porta dentro; in seguito sfogherà rabbia e frustrazione scatenando una rissa in un bar, dalla quale viene salvato da George.
Tutte queste situazioni hanno l’effetto di sbloccare un po’ l’emotività di Lee, che riesce pian piano a riconciliarsi con Patrick e a capirne i veri bisogni. Così decide di rimanere amministratore delle sue finanze, ma di darlo in affido legale a George e alla sua famiglia, in modo che il ragazzo possa rimanere a Manchester mentre lui tornerà a Boston. Patrick gli chiede perché lui non voglia trasferirsi a Manchester, e Lee gli confessa di non poter sopportare la vita in quel paese; tuttavia cercherà un lavoro migliore e un appartamento con una stanza degli ospiti, in modo che il ragazzo possa andare a trovarlo se e quando ne avrà voglia. L’ultima scena mostra lo zio e il nipote pescare pacificamente sulla barca di Joe, che il ragazzo ha ereditato.
