All'inizio del 1970, Lou Reed aveva già un piede fuori dai Velvet Underground. A sua discolpa, va detto che la band si stava sciogliendo pezzo per pezzo da diversi anni. Il produttore/manager Andy Warhol venne licenziato da Reed dopo un solo album insieme, il loro debutto del 1967, “The Velvet Underground & Nico” (leggi qui la recensione). A sua volta, Nico lasciò la band, seguito dal co-fondatore John Cale nel 1968, dopo aver partecipato alla realizzazione del secondo album della band, “White Light/White Heat”. Nel 1970, i membri principali della band erano Reed, il chitarrista Sterling Morrison, la batterista Moe Tucker e il bassista/polistrumentista Doug Yule.
Questo andò bene per il terzo album della band, “Loaded”, la Tucker non contribuì molto: era in maternità, e lasciò che le sue parti fossero registrate da session man. Anche Morrison era impegnato, diviso tra lo studio e il completamento degli studi universitari a New York. Ma Reed era già stufo prima dell'uscita dell'album nel novembre del 1970. Il mixaggio finale venne infatti completato senza di lui.
Nel 2004 parlando con Classic Rock spiegò: "La goccia che fece traboccare il vaso accadde molto prima. Era solo una cosa terribile con il manager. Quando il manager si sente più importante dell'artista, o è in competizione con l'artista. È sempre una brutta situazione. Sai, il manager ha un appartamento e l'artista dorme sul pavimento vicino al camino come un cane da pastore."
Il riferimento era a Steve Sesnick, che secondo Reed aveva creato "una frattura" tra sé e Yule durante la realizzazione di “Loaded”. Ciononostante, l'etichetta discografica della band era entusiasta del nuovo album: pensavano che "Sweet Jane" avesse un buon potenziale per essere un successo radiofonico, Reed non era interessato a questa cosa. "Non ero adatto a quel posto. Non volevo far parte di un gruppo pop di successo nazionale con un seguito."
La situazione giunse al culmine nell'agosto del 1970. Dopo circa due mesi di residenza al Max's Kansas City di New York, Reed suonò il suo ultimo concerto con i Velvet Underground il 23 agosto. Ironia della sorte, il concerto venne registrato su nastro da un'amica di Warhol di nome Brigid Polk e trasformato in un album del 1972 intitolato “Live at Max's Kansas City” . Lou tornò a casa dei suoi genitori a Long Island, trovò lavoro come dattilografo nell'azienda del padre e iniziò a scrivere poesie invece di canzoni.
Al magazine statunitense Rolling Stone nel 1989 confidò: "Quando lasciai i Velvet Underground, feci le valigie. Ne avevo abbastanza. Così feci il dattilografo per due anni. Mia madre quando ero al liceo mi diceva sempre: 'Dovresti imparare la dattilografia. Ti dà un punto di riferimento'. Aveva ragione."
In una intervista del 2013 Lou Reed raccontò: "Dicevano che non avrei mai scritto niente di buono come 'Heroin'. Poi dissero che se avessi lasciato i Velvet Underground, non sarei mai stato bravo come lo ero stato nei Velvet Underground." Naturalmente, Reed dimostrò che si sbagliavano, in particolare con “Transformer” ( leggi qui la recensione ) del 1972, un album di grande influenza nel mondo del glam rock. Reed sarebbe tornato nei Velvet Underground con Tucker, Cale e Morrison all'inizio degli anni '90 per un tour che alla fine si concluse con un'altra rottura.
Dopo la sua ultima esibizione con i Velvet Underground nel 1970, Reed pensava al suo futuro nella musica. Disse a Rolling Stone: "Volevo farlo da solo? Volevo avere una band? Volevo solo scrivere canzoni, senza nemmeno salire sul palco? Sono l'ultima persona al mondo che avrei mai pensato dovesse salire su un palco. Ad alcuni piace molto essere sotto i riflettori. A me no. Quello che mi piace è la canzone e interpretarla. Farlo per le persone a cui piace."