7 Safer 128 (8 Kasım 745) tarihinde Medine yakınındaki Ebvâ’da doğdu. Annesi Hamîde bint Sâid el-Berberiyye’dir. Hayatının ilk devresini Medine’de babası Ca‘fer es-Sâdık’ın yanında geçirdi. Babasından ve Abdülmelik b. Kudâme el-Cumahî’den eğitim aldığı bilinmektedir. En-Nefsüzzekiyye diye bilinen Muhammed b. Abdullah el-Mehdî’nin 145 (762) yılında Abbâsî Halifesi Mansûr’a karşı başlattığı isyan hareketine kardeşi Abdullah el-Eftah’la birlikte katıldığı rivayet edilir. İmam Cafer’in 148’de (765) vefat etmesi üzerine İmam olmuştur. İsmâiliyye’yi teşkil eden grupların dışında kalanlar hariç tutulursa Mûsâ el-Kâzım’ın imâmeti konusunda herkes müttefiktir.
Abbâsîler’e karşı barışçı bir politika izleyip daha çok ibadet ve takvâya yönelen Mûsâ el-Kâzım’ın düşüncelerini benimseyenlerin çoğalması ve ihsanlarda bulunması Halife Mehdî-Billâh’ın ondan şüphe etmesine yol açtı. Medine’den Bağdat’a getirilerek bir süre hapsedildi. Ancak halife 169 (785) yılında onu hapisten çıkarıp gönlünü aldı, kendisine ve evlâtlarına karşı isyan etmeyeceğinden emin olunca Medine’ye geri gönderdi. Aynı yıl içinde Abbâsî idaresine karşı isyan eden Hüseyin b. Ali Sâhibüfah olayında yeni halife Hâdî-İlelhakk’ın da Mûsâ el-Kâzım’dan şüphelendiği, onu isyanı kışkırtmakla suçladığı ve kendisini öldürmeyi planladığı nakledilir. Halbuki Mûsâ el-Kâzım, Hüseyin b. Ali’nin hareketine katılmadığı gibi onu uyarmış, bunu hayatıyla ödeyeceğini söyleyerek vazgeçmesini istemişti. Buna rağmen Mûsâ, Abbâsî halifelerinin gözünde şüpheli bir kimse olmaktan kurtulamadı.
Hârûnürreşîd’in hilâfetine kadar (170/786) Medine’de kalan Mûsâ el-Kâzım çeşitli bahaneler ileri sürülerek Bağdat’a celbedildi ve hayatının son dört yılını hapishanede geçirdi. Bazı rivayetlere göre halife, Mûsâ el-Kâzım’ın mensuplarından Hişâm b. Hakem’in düşüncelerine önce ilgi duymuş, ardından bunları tehlikeli bularak imamın hapsedilmesini emretmiştir. Diğer bir rivayete göre ise Vezir Yahyâ b. Hâlid el-Bermekî ile birlikte bazı ileri gelenler, Mûsâ el-Kâzım’ın sahip olduğu itibarın ileride kendilerine zarar vereceğinden endişe edip onu halife nezdinde tehlikeli bir şahsiyet olarak göstermişlerdir.
179 yılı Receb yahut Ramazan ayında (Ekim veya Aralık 795) umre için veya aynı yılın zilhicce ayında (Şubat-Mart 796) hac maksadıyla yola çıkan Hârûnürreşîd, Medine’ye ulaştığında başta Mûsâ el-Kâzım olmak üzere şehrin ileri gelenleri tarafından karşılandı. Mescid-i Nebevî’ye giden ve Hz. Peygamber’in kabrini ziyaret eden halife, kabrin başında, ümmet içinde karışıklığa ve kan dökülmesine sebep olduğundan İmam Mûsâ’yı hapsedeceğini, bu sebeple kendisinden özür dilediğini söyledi. Ardından İmam Mûsâ yakalanıp bir rivayete göre doğrudan Bağdat’a gönderilmiş, diğer bir rivayete göre ise halkın tepkisini hafifletmek amacıyla Mûsâ el-Kâzım iki katır üzerine konulan mahmillerden birine bindirilmiş, Basra ve Kûfe yol ayırımına gelindiğinde kafile ikiye ayrılarak biri Basra’ya, diğeri Kûfe’ye sevkedilmiştir. Basra’ya ulaşan Mûsâ, Vali Îsâ b. Ca‘fer b. Mansûr’a teslim edildi ve burada bir yıl kadar hapiste kaldı. Mûsâ’nın ibadet ve takvâsından etkilenen vali halifenin öldürme isteğini yerine getirmedi ve yazdığı mektupta Mûsâ aleyhinde bir delil bulamadığını, onu başkasına teslim etmesini, aksi takdirde kendisini salıvereceğini bildirdi. Ardından Bağdat’a getirilerek hâcib Fazl b. Rebî‘in gözetiminde ev hapsinde tutuldu; halifenin gördüğü bir rüya üzerine serbest bırakıldıysa da kısa bir süre sonra tekrar hapsedildi. Bu defa Fazl b. Yahyâ el-Bermekî’nin nezaretinde ev hapsinde tutulan Mûsâ’ya karşı Fazl’ın iyi davrandığı belirtilmektedir. Bu sırada Mûsâ’nın çevredeki mensuplarıyla ilişki kurduğu şeklindeki haber, Rakka’da bulunan halifeye ulaşınca halife onun öldürülmesi için Fazl’a yazılı emir gönderdi. Fakat onun da emri yerine getirmeyip Mûsâ el-Kâzım’ı 100 kamçı vurdurmak suretiyle cezalandırdığı nakledilir. Daha sonra Mûsâ el-Kâzım, Bağdat emniyet görevlisi Sindî b. Şâhek’e teslim edildi. Fazl ile halife arasında geçen olayları öğrenen Fazl’ın babası Yahyâ b. Hâlid halifeyi ziyaret ederek oğlunun yaptığı hatadan dolayı affedilmesini ve ona verilen görevin kendisine verilmesini istedi. Halifeden öldürme emrini alan Yahyâ Bağdat’a dönerek Sindî b. Şâhek’le irtibat kurdu ve Mûsâ’yı öldürttü (Receb 183 / Ağustos 799). Taberî ve diğer Sünni tarihçiler Mûsâ el-Kâzım’ın Receb 183’te öldüğünü kaydetmişlerdir. Cenazesi, Arap ileri gelenlerinin defnedildiği Bağdat’ın kuzeybatısındaki Mekābirukureyş’in (Mekābiruşûnîzî) sonraları Kâzımiyye (Kâzımeyn) diye anılacak olan Bâbüttibn mahallinde defnedildi ve ardından üzerine bir türbe yaptırıldı. Torunu Muhammed et-Takī’nin de gömüldüğü bu türbe Şah İsmâil tarafından genişletilerek tamir ettirilmiştir.
İmam Musa el Kazım’ın vefatının ardından imâmet oğlu Ali er-Rızâ’ya geçtmiştir. Mûsâ el-Kâzım tasavvufta da önemli şahsiyetler arasında zikredilmektedir. Şakīk-ı Belhî kendisini 149 (766) yılında Kādisiye’de gördüğünü ve onun Allah’ın velîlerinden biri olduğunu söylerken, Ma‘rûf-i Kerhî ve Bişr el-Hâfî de onunla buluştuklarını belirtmektedir.