В молодости служил на Путиловском заводе конторщиком, в это время играл в любительских спектаклях. В 1901 году начал деятельность как полупрофессиональный актёр, играя на сцене Василеостровского театра. Играл в антрепризе С. А. Трефилова в Двинске (ныне Даугавпилс), работал в Одесском русском театре. Первоначально имел амплуа героя-любовника, однако вскоре перешёл на характерные роли. В 1904 году был приглашён в Театр Корша в Москве, где состоялся его дебют уже на профессиональной сцене: исполнил роль Глумова в пьесе «Бешеные деньги» А. Н. Островского.

С 1909 года становится актёром Малого театра (с перерывами в 1918—1919 и в 1925—1927 когда служил в театре Корша).

Именно в Малом театре раскрылось его актёрское дарование. Созданные им образы отличались жизненной правдой, мягкостью и простотой. Был замечательным актёром реалистической школы. В сатирических образах актёра не было нарочитости, гиперболизации. Пользовался полутонами, играл мягко, легко, изящно, свободно.

Михаил Михайлович Климов скончался 9 июля 1942 года в Тбилиси. Похоронен там же на Верийском кладбище.