买房协议书违约金的约定是：

1、对卖方而言，对于买方逾期支付房款的，违约金可约定自逾期之日起，每日按逾期应付款的万分之五支付违约金，超过一定期限还未支付的，可视为构成根本违约，需按房屋总价款的20%支付违约金，合同解除；

2、对买方而言，卖方逾期履行合同义务的情况下，按买方已支付房款的万分之五要求卖方支付违约金。

【法律依据】

根据《合同法》第一百一十四条，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。