يجوز ذلك، لكن لا يلزمك، لأنك عاجز، والله يقول: مَنِ اسْتَطَاعَ إِلَيْهِ سَبِيلاً[آل عمران: 97]، لكن إذا اتفقت مع الزوجة وحججت بما سمحت به لك، أو حججتما جميعاً كل هذا طيب والحمد لله ونسأل الله أن يوفي عنك.