ظاهراً آن حضرت در سن بیست سالگی با خانم لبابه ازدواج کردند. حاصل این ازدواج دو پسر به نامهای «عبیدالله و فضل» بود و البته در برخی تواریخ از دو فرزند دیگر به نامهای «محمد و قاسم» نیز نام بردهاند. و اسنادی دال بر شهادت محمد در کربلا وجود دارد. و برخی اقوال دیگر تأکید دارند که فرزندان ایشان هیچ کدام در کربلا حضور نداشتند. هیچ سندی دال بر این که همسر ایشان در کربلا حضور داشته باشد نیز وجود ندارد، مضافاً بر این که نام ایشان جزء اسرای کربلا نیز ثبت نگردیده است.
بنا بر اسناد تاریخی، لبابه سالها پس از شهادت همسرش، به عقد فرزند امام حسن علیهالسلام به نام «زید» درآمد و از این ازدواج فرزند دختری به نام «نفیسه» به دنیا آمد و برخی اقوال فرزندی به نام «حسن» را حاصل دیگر این ازدواج میدانند و معتقدند «حسن بن زید» فرزند حضرت عباس (ع) نیست، بلکه نوهی امام حسن علیه السلام است.