درباره حبس امام موسي (ع) به دست هارون الرشيد، شيخ مفيد در ارشاد روايت مي كند كه علت گرفتاري و زنداني شدن امام، يحيي بن خالد بن برمك بوده است.
زيرا هارون فرزند خود امين را به يكي از مقربان خود به نام جعفر بن محمد بن اشعث كه مدتي هم والي خراسان بوده است سپرده بود و يحيي بن خالد بيم آن را داشت كه اگر خلافت به امين برسد، جعفر بن محمد بن اشعث را همه كاره دستگاه خلافت سازد و يحيي و برمكيان از مقام خود بيفتند.
جعفر بن محمد بن اشعث شيعه بود و قائل به امامت امام موسي (ع)، و يحيي اين معني را به هارون اعلام مي داشت. سرانجام يحيي بن خالد، پسر برادر امام را به نام علي بن اسماعيل بن جعفر از مدينه خواست تا به وسيله او از امام و جعفر نزد هارون بدگويي كند.
مي گويند امام هنگام حركت علي بن اسماعيل از مدينه او را احضار كرد و از او خواست كه از اين سفر منصرف شود و اگر ناچار مي خواهد برود از او سعايت نكند. علي قبول نكرد و نزد يحيي رفت و بوسيله او پيش هارون بار يافت و گفت از شرق و غرب ممالك اسلامي مال به او مي دهند تا آنجا كه ملكي را توانست به سي هزار دينار بخرد.
هارون در آن سال به حج رفت و در مدينه امام و جمعي از اشراف به استقبال او رفتند. اما هارون در كنار قبر حضرت رسول (ص) گفت يا رسول اللّه از تو پوزش مي خواهم كه موسي بن جعفر را به زندان مي افكنم زيرا او مي خواهد امت تو را بر هم زند و خونشان را بريزد.
آنگاه دستور داد تا امام را از مسجد بيرون بردند و او را پوشيده به بصره نزد والي آن عيسي بن جعفر بن منصور فرستادند. عيسي پس از مدتي نامه اي به هارون نوشت و گفت كه موسي بن جعفر در زندان جز عبادت و نماز كاري ندارد يا كسي بفرست كه او را تحويل بگيرد و يا من او را آزاد خواهم كرد.
هارون امام را به بغداد آورد و به فضل بن ربيع سپرد و پس از مدتي از او خواست كه امام را آزاري برساند اما فضل نپذيرفت و هارون او را به فضل بن يحيي بن خالد برمكي سپرد.
چون امام در خانه فضل نيز به نماز و روزه و قرائت قرآن اشتغال داشت فضل بر او تنگ نگرفت و هارون از شنيدن اين خبر در خشم شد.