Родился 3 января в поселке Емецк Архангельской области; сын погибшего в войну политработника, с 6 лет потерял мать, воспитывался в детских домах. Учился в лесотехническом техникуме  г. Тотьма. С 16 лет скитался по стране, был библиотекарем, кочегаром на рыболовном судне, нес срочную службу на Северном флоте, работал в Ленинграде на Кировском заводе (кочегаром, слесарем). В 1962-1969 учился в Литературном институте им. М.Горького.

Печатался с 1962. Опубликовал сборники Лирика (1965), Звезда полей (1967), Душа хранит (1969), Сосен шум (1970), Зеленые цветы (1971). Посмертно издан его последний сборник Подорожники (1976).

В критике справедливо отмечалось, что постоянная тема деревни у Рубцова — не самоцель, а форма поэтического мышления о мире в целом. Национальный характер творчества Рубцова проявляется не только в том, что в его стихах звучат мотивы русской природы и русской истории (стихотворения "Видение на холме", "О Московском Кремле" и др.), встают образы А.С.Пушкина и М.Ю.Лермонтова, Н.В.Гоголя и Ф.М.Достоевского, А.А.Фета и С.А.Есенина, современных отечественных поэтов (стихотворения "О Пушкине", "Последняя осень", "Последняя ночь" и др.). Национален сам лирический герой Рубцова, с его исповедальностью и мужественной самоиронией, удалью и нежностью, жизнелюбием и тоской, с всеохватностью приятия мира и катастрофическим ощущением непонятости и внутреннего одиночества, с неизменным при этом осознанием "корневой" связи своей судьбы с судьбой России.