Nikolaï Arnoldovitch Petrov naît dans une famille de musiciens : son grand-père Vassili Petrov est chanteur (basse) au Théâtre Bolchoï, et son père joue du violoncelle. Nikolaï Petrov fait ses études à l’École centrale de musique de Moscou et en 1961 entre au Conservatoire de Moscou où son professeur est Iakov Zak. Un an après Petrov remporte la deuxième place au Concours international Van Cliburn à Fort Worth. En 1964 il est second au Concours musical international Reine-Élisabeth-de-Belgique. En 1968 Petrov termine son cycle de perfectionnement au Conservatoire et commence sa carrière de concertiste. Il se produit souvent comme soliste et joue avec des orchestres symphoniques dans le monde entier. Son répertoire comporte des œuvres classiques et romantiques mais aussi certaines compositions d’Aram Khatchatourian, Tikhon Khrennikov, Rodion Chtchedrine, Andreï Echpaï. En 1991 il est l’un des derniers à être nommé « Artiste du peuple de l’URSS ».
Depuis 1996 Petrov est membre du Conseil présidentiel de la culture. Il est aussi président d’une association caritative venant en aide aux jeunes musiciens. Il continue à donner des concerts et à être membre du jury de nombreux concours internationaux.