Er wuchs in Armenien als Sohn einer armen Familie auf und war schon früh von der armenischen, georgischen und aserbaidschanischen Musik seiner Umgebung fasziniert. Während seiner Schulzeit spielte er Tuba. Erst spät wurde ihm klar, daß er Musiker sein wollte, lernte Russisch und ging nach Moskau. Dort studierte er zuerst Cello am Musikpädagogischen Institut Gnessin. Schon nach drei Jahren schrieb er sich in der Kompositionsklasse ein und ein weiteres Jahr später ging bereits seine erste Komposition in Druck. Dann wechselte er ans Moskauer Konservatorium und lernte dort bei Nikolai Mjaskowsky und Michail Gnessin. 1933 beendete er sein Studium im Alter von 30 Jahren.

Sein erstes großes Werk war seine Erste Symphonie von 1934, die zu ihrer Zeit hoch gelobt wurde, aber im Verhältnis zu späteren Arbeiten noch recht unreif wirkt. Mit seinem Klavierkonzert von 1937 begann er international bekannt zu werden, was sich mit seinem Violinkonzert von 1940, das er für David Oistrach schrieb, noch steigerte.

Neben seiner Tätigkeit als Komponist dirigierte er ab 1950 im In- und Ausland Konzerte, unter anderem auch mit eigenen Werken. 1951 wurde er dann als Professor für Komposition beim Moskauer Konservatorium angestellt, nebenher auch noch am Musikpäddagogischen Institut Gnessin. Außerdem war er lange Jahre Mitglied des Organisationskomitees des sowjetischen Komponistenverbandes.

Weltruhm erlangte er mit seinem Klavierkonzert, dem Violinkonzert und dem Ballet "Gajaneh", das sein wahrscheinlich bekanntestes Werk beinhaltet, den Säbeltanz. Selbst Punkbands konnten sich der Macht seiner Musik nicht entziehen, wie die Coverversion der Toy Dolls eindrucksvoll beweist. Sehr bekannt ist auch sein Ballett Spartacus.