離婚における遺産からの頭金返済についての相談

先日不貞が原因で離婚すると主人から弁護士を通じて連絡がありました。
元々こちらはずっと離婚の話し合いをしたいと伝えていたのですがそれはずっと相手にされず、自分が有利に離婚できるようにしていたようです。
離婚に関しては現在お互いの弁護士同士で話をしているのですが、2年ほど前に家を購入する際に私が両親の遺産から300万円を頭金として出しました。

今回の離婚で向こうは返す必要がないと言っているのですが返してもらうことは出来ないのでしょうか。

向こうは慰謝料と相殺と言ったりするのですが仮にそうだとする場合協議書に書いておいたほうが良いですか

弁護士に依頼しているのであれば、このような場で回答する者より詳しい事情を知っているのですから、まず依頼された弁護士に尋ねるのが一番です。

遺産から不動産購入時に頭金を出した場合、それが購入額に占める割合をまず計算し(たとえば3000万円中300万円なら1割)、それを現在価格に掛けてその評価を計算します(たとえば現在2000万円なら200万円)。それが、特有財産となります。
その意味では300万円そのものを返してもらうことはできませんが、その特有財産は財産分与の対象とはなりません。
任意の交渉の中では、慰謝料と差引計算することも、解決の方法の一案としてはありえます。