Рођен је 1937. године у породици песника Сергеја Михалкова, дипломирао је на одсеку режије Руског државног института за кинематографију. Још на институту почео је да пише сценарије (краткометражни филм Андреја Тарковског „Клизалиште и виолина“), а већ 1965. године снима свој први филм „Први учитељ“.
Али други филм Кончаловског, „Прича о Асји Кљачиној, која је волела, али се није удала“, није изашао на велики екран и стајао је на полици 20 година. Ипак, њему није забрањено да се бави филмом. Он је снимао као режисер („Племићко гнездо“, „Ујка Вања“, „Сибиријада“), наставио да пише сценарије и не само са своје филмове (међу његовим радовима су „Андреј Рубљов“ и „Робиња љубави“).
Осамдесетих година Кончаловски је радио у Холивуду где је снимао „Помахнитали воз“, „Танго и Кеш“, „Хомер и Еди“ и још неколико филмова. Данас се у његовој режирској филмографији налази тридесетак филмова, од којих су два добила „Сребрног лава“ на Венецијанском фестивалу („Беле ноћи поштара Алексеја Трјапицина“ и „Рај“). Написао је неколико књига, поставио осам представа (укључујући рок-оперу „Злочин и казна“ у московском Позоришту мјузикла) и пет опера. Кончаловски тренутно ради у Италији на историјској драми о Микеланђелу, чија премијера је планирана за 2018. годину.