Gimė 1904 m. gegužės 5 d. Pagirių kaime, Leliūnų valsčiuje. Utenos apskrityje, valstiečių šeimoje. Be jo šeimoje dar augo 4 broliai ir 2 seserys. Jo tėvelis Matas mirė 1905 m., ir visi vaikai liko be tėvo, tik su motina Cecilija. Juozas labai vargingai siekė mokslo. 1923 m. eksternu išlaikė penkių gimnazijos klasių egzaminus. Mokytis jam materialiai padėjo vyresnysis brolis Povilas, kuris dirbo felčeriu. 1927 m. baigė Utenos mokytojų seminariją, o 1929 m. karo mokyklą ir išėjo į atsargą leitenanto laipsniu. Vėliau dirbo pradžios mokyklos mokytoju įvairiose Aukštaitijos kaimo mokyklose: 1932-1935 m. - Juknėnų pradžios mokykloje, 1935 1940 m. kartu su žmona Sofija Narbutaite-Marcinkevičiene Baibių km., Zarasų apskr., 1940-1944 m. Vyžuonų pradžios mokyklos vedėju, o žmona - mokytoja. Jiems gimė 3 vaikai: dukra Milda, sūnūs Rimantas ir Vidmantas.
Dar 1941 m., traukiantis Raudonajai armijai iš Vyžuonų apylinkių, Juozas Marcinkevičius, kaip tuometinis šaulių kuopos vadas subūrė kovinį aktyvistų būrį. Vyžuonose, kaip rodo to meto dokumentai, sukilėlių būryje buvo 40 vyrų, o kaimuose irgi būta grupių, tai visus vyrus sujungė į galingą kuopą ir jiems vadovavo. Štabe dirbo patyrę policininkai Antanas Eimutis ir Petras Kazickas. Sukilėliai budėjo keliuose, saugojo tiltus per Šventąją ir Vyžuoną, nuginkluodavo pakrikusias raudonarmiečių grupes ir pavienius karius, taip pat sunkvežimius su rusų kareiviais. Lietuvos partizanais pasivadinę sukilėliai pasauliui parodė, kad mūsų tauta niekada nesusitaikys su okupacija, kad mūsų šalies įjungimas į Sovietų Sąjungą buvo padarytas prievarta, prieš tautos valią. Apie vyr. Itn. Juozo Marcinkevičiaus kuopą ir kovas su okupantais aprašyta Bostone išleistoje „Lietuvių enciklopedijoje", skyrelyje „Vyžuonos". 1944 m. antrą kartą mūsų tėvynę užgriuvęs raudonasis slibinas be gailesčio draskė Lietuvą. Juozas Marcinkevičius vėl telkė vyrus partizaninei kovai. Vyžuonų patriotai turėjo paslėpę daug kovinių ginklų, atimtų iš raudonarmiečių, ir rengėsi kovoti už tėvynės laisvę. Tačiau Juozas tapo pirmąja antrosios bolševikinės okupacijos auka Vyžuonų krašte. Jį suėmė, išdavikui įskundus, 1944 m. liepą raudonųjų pasieniečių būrys, smarkiai sumušė ir išvežė į Uteną. Ten tardė, o vėliau pervežė į Vilniaus Lukiškių kalėjimą, kur vėl tardė ir kankino. Po ilgų tardymų nuosprendis pasirašytas tik 1945 05 08 NKVD karinio tribunolo Lukiškėse ir Juozas Marcinkevičius nuteistas 10 metų lagerio bei 5 metus be teisės atvykti į Lietuvą pagal RTFSR 88-la ir 58-11 str. Kalėjo Vorkutos lageriuose, iš kur 1960 m. rudenį be sveikatos grįžo Lietuvon. Mirė 1961 m. Viekšnių ligoninėje, tesulaukęs 56 metų amžiaus. Po mirties 2003 04 09 vyr. Itn. Juozas Marcinkevičius pripažintas kariu savanoriu. Vorkutos politinių kalinių atsiminimai. LGRTC, Vilnius. 1998, p. 145-151. Lietuvos kariuomenės karininkai 1918-1953. T. 5 Vilnius, 2005. p. 145-146. Lietuvių enciklopedija. 34 t. JAV, Boston, 1966. „Vyžuonos. Kraštas ir žmonės", p. 422-423