罰金を返してもらう方法

彼氏とのお金の問題で相談させて下さい。
彼氏は怒るたびに、ペナルティー(罰金)としてお金による謝罪を求めてきます。怒る理由も些細なことで、私に非がないことまで責任転嫁します。別れたくなければペナルティーを払え、と言われ続け、喧嘩の際にメールを送るだけでもその度に金額が加算され、一回の金額が数万円になることもあります。怒ったら最後、私が何か言うと、言い訳は聞きたくないとか、反論するなと、取り付く島がありません。
納得はできないけれど、彼と別れたくないばかりに払い続けてきました。
合計数十万円になり、もうお金のペナルティーはやめてほしいと伝えましたが、一向に聞き入れてくれません。
彼に渡したお金を返してもらうことはできないでしょうか?このようなケースの罰金も法律的には贈与になるのでしょうか。。返してもらえる方法があれば教えてください。

あなたの自由意思が損なわれていたかどうか。
脅迫と言えるかどうか。そこまではない可能性が
高いですね。
ペナルティの合意が、公序良俗に反しないか。
反する可能性がありますね。
その場合は請求可能ですね。

回答いただきありがとうございます。
請求する場合、具体的にどうすればよろしいでしょうか。
払わない限り会ってもくれませんし、そもそも話し合いに応じるような相手ではありません。意見や反論は一切受け付けてもらえず。。

弁護士と対面相談して書面を出してもらうのがいいでしょう。