In alcuni i browser, i margini verticali del paragrafo vengono resi all'esterno del div che lo contiene.

Basta un un bordo verticale di 1px (o un padding verticale) sul div per contenerli.