根据《中华人民共和国民法典》的规定，夫妻双方对共同财产享有平等的处理权。如果一方擅自将共同财产赠与第三者，这种行为侵犯了另一方的财产权益。因此，从法律角度来看，配偶有权要求返还这部分财产。

实际操作中要回这些钱并非易事。法院在审理此类案件时会考虑多种因素，如证据的充分性、赠与行为的合法性等。因此，如果您发现自己的配偶有外遇且给予了第三者大量财物，第一步应该是收集相关证据。这包括但不限于转账记录、聊天记录、证人证言等能够证明资金流向和用途的材料。

接下来，您可以选择通过协商的方式尝试解决问题。与配偶进行沟通，表达您的立场和要求，看是否能够达成一致意见。如果协商无果，那么可以考虑寻求法律援助，咨询专业律师或向法院提起诉讼。在这个过程中，保持冷静和理智非常重要，避免情绪化的行为影响到问题的解决。

虽然法律规定了夫妻共同财产的权利，但在一些特殊情况下，比如赠与行为已经发生很长时间，或者第三者能够证明自己在接受财物时并不知情等情况，要回钱财的难度可能会增加。因此，及时采取行动、妥善保管证据显得尤为关键。