هارون پس از وصول نامه ي عيسي، مأموري فرستاد تا موسي بن جعفر (ع) را از عيسي تحويل گرفته و به بغداد نزد (يكي از وزراي خود) فضل بن ربيع ببرد.

آن مأمور، دستور هارون را اجرا كرد، و امام كاظم (ع) مدت طولاني در نزد فضل بن ربيع (تحت نظر او و در زندان او) باقي ماند.

هارون از فضل خواست تا آن حضرت را بكشد، او از انجام اين كار خودداري كرد، آن گاه هارون براي فضل بن ربيع نامه نوشت كه امام كاظم (ع) را به فضل بن يحيي برمكي بسپرد.