Armas Järnefelts karriär som kapellmästare kan sägas ha startat på hösten 1893 då han med sin fru fick anställning för vårsäsongen i Berlin. Mellan åren 1893-1898 ryms flera korta anställningar under höst- eller vårsäsongen eller bara för en månad i; Berlin, Bremen, Hamburg och Dresden. Anställning för hela säsongen fick de i Breslau 1895-1896, Magdeburg 1896-1897 och Düsseldorf 1897-1898. Maikki Järnefelt (f.Pakarinen) fick en solistroll och Armas Järnefelt arbete som repetitör eller repetitionskapellmästare. På hösten 1898 började Järnefelt som kapellmästare i hemlandet då han övertog ansvaret om Wiborgs Musikvänners orkester. Till Wiborg medförde Järnefelt finsk musik och satte på programmen verk av Sibelius, Kajanus, Mielck, Pacius, Ekman, Merikanto, Auer samt egna kompositioner. Glad uppmärksamhet väckte att programbladen från och med hans första säsong trycktes också på finska!

Det är inte lätt att beskriva Armas Järnefelts gärning som dirigent i annat än allmänna termer. Hans ledarstil som dirigent – såsom publiken uppfattade den – är förlorad för eftervärlden eftersom den aldrig tycks ha filmats.

Vad som återstår är Odeon-skivorna som han spelade in i Berlin 1928-30 och Stockholm 1929 och 1931 samt violinkonserten av Jean Sibelius med Anja Ignatius som solist, inspelad för Polydor i Berlin 1943. Fastän medlemmarna ur statsoperans orkester inte fått repetera tillräckligt, lyckas Järnefelt hålla ihop ensemblen och skapa atmosfär. Utöver skivorna finns det intressanta radioinspelningar. Mest beklagligt är att inget verk av Beethoven bevarats.

Enligt egen uppgift påverkades han mycket av Hans von Bülow, vars konserter med filharmonikerna han ofta hörde under sina år i Berlin 1890-93. Under dessa år gjorde Järnefelt närmare bekantskap med Wagners verk genom att se Tristan och Isolde 15 gånger efter varandra på ståplats!

Avgörande var hans samarbete med hovkapellmästaren Conrad Nordquist i Stockholm. Dennes små och distinkta rörelser blev hans förebild. I ett decennium delade han och Nordquist praktiskt taget hela bördan av över tvåhundra föreställningar om året. Säsongen 1907/08 hade han inte mindre än tjugo operor på sin repertoar samt merparten av Operans månatliga symfoni-konserter. I mars 1908 ledde han hela Wagners Nibelungenring inom en och samma vecka: Rhenguldet på tisdagen, Valkyrian på onsdagen, Siegfried på lördagen och Ragnarök på måndagen. 1911 dirigerade han återigen hela ringen och 1924 åtog han sig även regiuppgiften. Som operakapellmästare och fr.o.m. 1911 hovkapellmästare och fr.o.m. 1923 Förste Hovkapellmästare ansågs Järnefelt vara expert på allt.  

Han uruppförde också Kurt Atterbergs, Natanael Bergs, Wilhelm Peterson-Bergers och Ture Rangströms operor och på Operans konserter framförde han så pass krävande verk som Honeggers Kung David, Mahlers åttonde symfoni och Schönbergs Gurrelieder. Men Mozarts symfonier och Wagner - särskilt Tannhäuser-ouvertyren - återkommer ständigt på hans program.

Hans repertoarkunskap var enorm.