Pedagógus, művelődéspolitikus, Kármán Tódor apja. 1862-től a bécsi egyetemen filozófiai és filológiai tanulmányokat folytatott. 1866-ban a budapesti egyetemen bölcsészdoktori oklevelet szerzett. 1869–71-ben Lipcsében Tuiscon Ziller mellett tökéletesítette pedagógiai ismereteit. 1872-ben a pesti egyetemen magántanár lett. 1872-től 1897-ig az elgondolásai alapján szervezett gyakorló főgimnázium vezető pedagógiatanára, az egyetemi tanárképző intézet filozófia- és pedagógiatanára. 1909-től az egyetemen a neveléstan, lélektan, etika nyilvános rendes tanára. 1873-tól 1883-ig az Országos Közoktatási Tanács titkára, a Magyar Tanügy című folyóirat szerkesztője. Széles körű elméleti és gyakorlati működést fejtett ki a magyar pedagógia korszerű szintre emelése, az oktató-nevelőmunka hatékonyabbá tétele, a polgári köznevelés alapjainak megteremtése érdekében. A pedagógia első haladó szellemű polgári elmélkedője Magyarországon, bár az általa elfogadott és részben korszerűsített herbarti elméletnek negatívumai is voltak (formalizmus, a régi nemesi latinos-retorikus műveltség továbbéltetése stb.). – Gimnáziumi tanterve (1879) és módszertani munkái több évtizeden át meghatározták a magyarországi középfokú iskolák munkáját.