1、根据《城乡规划法》的规定，未取得建设工程规划许可证件或者违反建设工程规划许可证件的规定进行建设的建设者，且只有当违法建设达到“严重影响城市规划”的程度时，才能作出限期拆除的处罚决定。因此，只有未取得规划许可，且严重影响城市的规划时，违法建筑才必须要拆除。
2、在《城乡规划法》没有出台之前，建造相关建筑就没有规划的要求。根据法不溯及既往的原则，在该法之前没有规划手续的，也是合法建筑。
3、由于一些历史遗留问题导致的房屋没有相关的手续，不能想当然地就认定是违章建筑。即便是违法建筑的话，也不一定非要采用拆除的方式。可以采用罚款、补办手续、限期改正等措施，最小限度地减少当事人的损失，这也符合行政法上的“比例原则”。
综上，农权拆迁律师认为，违法建筑不一定都要拆除。要综合考虑各种因素，是否可以补办手续、罚款等其他措施来治理违章建筑，而不是非得拆除建筑，这也能最大程度地维护当事人的利益。
法律依据：
《城乡规划法》
第四十条 在城市、镇规划区内进行建筑物、构筑物、道路、管线和其他工程建设的，建设单位或者个人应当向城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府申请办理建设工程规划许可证。
申请办理建设工程规划许可证，应当提交使用土地的有关证明文件、建设工程设计方案等材料。需要建设单位编制修建性详细规划的建设项目，还应当提交修建性详细规划。对符合控制性详细规划和规划条件的，由城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府核发建设工程规划许可证。
城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府应当依法将经审定的修建性详细规划、建设工程设计方案的总平面图予以公布。
第六十四条 未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
第六十五条 在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
