遇到道德問題是最難的，不過你有證據，應該會對你的損失有補償的。

我先假設你說的需要確權的農村土地是指“宅基地使用權”，且你跟對方屬于同一集體經濟組織，所謂同一集體經濟組織即你們雙方均屬于同一行政村的成員，那么你們雙方訂立的名為《土地互換協議書》實為《宅基地使用權互換協議書》的話，我認為，你們雙方訂立的該協議應屬有效。

理由如下：

1、本案發生時及截至目前的法律、行政法規并未規定集體經濟組織的成員不能互換宅基地使用權，按照法無明文規定即可為的民事原則來說，你們雙方在真實、自愿、平等的基礎上就宅基地使用權互換進行協商并達成一致就已經發生相應的法律效力；

2、宅基地使用權的轉移不以登記為生效要件。首先，物權法第一百五十三條規定，宅基地使用權的取得、行使、轉讓等適用土地管理法和國家有關規定，第一百五十五條規定，已經登記的宅基地使用權轉讓或者消滅的，應當及時辦理變更登記或者注銷登記。根據該條的釋義，“本條考慮到我國光大農村的實際情況以及登記制度的現狀，雖然沒明確要求所有宅基地使用權一旦發生變更一律登記”，該條即實際上承認了，宅基地使用權的轉讓不一定需要經過登記方為有效。當然在以后我國登記制度完善的情況下是應當進行登記的。另外物權法頒布于2006年，本案案件事實發生在20年前，此時物權法的規定尚不適用于本案。

3、《土地登記規則》第三十七條規定，依法轉讓土地使用權的，應在轉讓合同簽訂后三十日內，申請辦理變更登記。第六十九條規定，對凡不按規定如期申請變更土地登記的，除按違法占地處理外，視情況嚴重報縣級以上人民政府批準，注銷土地登記，注銷土地證書。

但由于土地登記規則在效力層級上僅屬于部門規章，尚不構成行政法規，因此，你們雙方簽訂的宅基地使用權互換協議也好還是你們未履行登記義務的行為也好，均不會因土地登記規則而無效。

綜上，我認為，你完全可以依據你們雙方簽訂的協議以及現有的錄音等證據主張你們的權利。

農村土地承包法：

第九條、第十條規定了土地是國家所有，農民享有經營權和經營權的流轉。農戶可以耕種農作物以及將耕種的權利流轉給其他農戶。

第二十條規定耕地的承包期為三十年。

第三十二條規定通過家庭承包取得的土地承包經營權可以依法采取轉包、出租、互換、轉讓或者其他方式流轉。

第三十三條第三款規定了流轉的期限不得超過承包期的剩余期限。

題主說是二十多年前雙方調換的土地，屬于第三十二條土地經營權流轉內的互換。生產隊分產到戶是在八二、八三年，那時候就已經把土地承包給個人經營了，土地承包期限是三十年，而土地流轉期限不得超過三十年。如果合同沒有規定流轉日期的話，合同到期時間應該以國家規定的土地承包期限為起止。第二輪土地承包應該是在1993年開始，到2023年截止。按照你說的你們互換土地的年限大概是在九幾年，應該是在二輪承包期限之內，你們草簽的協議不知道有沒有標明流轉期限，如果沒有的話，也應該在2023年前截止。

土地確權只是重新確定土地的經營權、面積、四至等，你們的協議不受影響。

現在的關鍵是你們草簽的協議是否生效，如果在你們的協議生效的情況下，你的勝率較大。農村糊涂賬太多，鄰里之間以和為貴。

以上為個人意見，僅供參考。