违章建筑的认定通常由 县级以上地方人民政府城乡规划主管部门或土地行政主管部门进行。具体分工如下：
城乡规划主管部门
负责城市范围内的违法建筑认定。
职权范围包括调查违法建筑形成的时间、原因和用途，测量违法建筑的结构和面积，并下达《限期拆除违法建筑的通知》。
土地行政主管部门
负责农村范围内的违法用地类违建认定。
依据《土地管理法》，自然资源部门有权作出责令限期拆除的行政处罚决定，但不具备实施行政强拆的职权。
乡、镇人民政府
负责乡、村庄规划区范围内的违法建筑认定。
城管部门
参与违章建筑的认定和拆除工作。
综上所述，违章建筑的认定主体包括城乡规划主管部门、土地行政主管部门、乡（镇）人民政府和城管部门。具体由哪个部门负责，需根据违法建筑的具体情况和地理位置来判断。