非法违建通常由县级以上地方人民政府行政主管部门负责处理。具体来说，根据《中华人民共和国城乡规划法》及相关法规，以下部门可能涉及非法违建的管理：
1. 县级以上地方人民政府土地行政主管部门：负责查处违法占地建设行为。
2. 县级以上地方人民政府城乡规划主管部门：负责查处违反规划建设行为和非法临时建筑。
3. 乡、镇人民政府：在乡、村庄规划区内，对于未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为，有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。
4. 住房和城乡建设局：负责查处未依法办理施工许可手续进行建设的违法行为，并有权作出责令改正、停止施工及罚款等处罚决定。
5. 农业农村局：负责集体土地上的违法建设（如房屋宅基地）。
若您发现非法违建，建议向当地相关部门进行举报。您还需要注意，违建拆除可能需要通过法定程序，并且在某些情况下，违建可以被强拆，但必须给予适当补偿