Être dans le pétrin signifie se trouver dans une situation très délicate.
Le pétrin (image ci-dessous) est le coffre dans lequel le boulanger pétrissait la pâte.

Maintenant, imaginez-vous au fond d’un pétrin rempli de pâte à pain. Vous aurez sûrement du mal à vous en sortir, à vous en dépatouiller. Et vous comprenez mieux maintenant le sens de cette expression que l’on continue à utiliser même si le pétrin a peu à peu disparu de nos boulangeries.

Pour conclure, je ne résiste pas à l’envie de vous donner deux expressions synonymes appartenant à un registre familier: être dans de beaux draps / être dans la panade (la panade est une soupe au pain).