ที่ทำการปกครองอำเภอเขาสวนกวาง แบ่งโครงสร้างภายในออกเป็น 2 กลุ่มงาน 2 ฝ่าย 1 สำนักงาน/1 ศูนย์ ได้แก่ 1. กลุ่มงานบริหารงานปกครอง ประกอบด้วย 1.1 ฝ่ายบริหารงานปกครอง 1.2 ฝ่ายการอนุญาตทางปกครอง 1 1.3 ฝ่ายการอนุญาตทางปกครอง 2 1.4 ฝ่ายการเงินและบัญชี 2. ฝ่ายทะเบียนและบัตร แบ่งงานภายในออกเป็น 4 งาน คือ 2.1 งานทะเบียนทั่วไป 2.2 งานบัตรประจำตังประชาชน 2.3 งานทะเบียนราษฎร 3. ฝ่ายความมั่นคง แบ่งงานภายในออกเป็น 4 งาน คือ 3.1 งานการรักษาความสงบเรียบร้อย 3.2 งานรักษาความมั่นคงภายใน 3.3 งานการสื่อสาร 4. กลุ่มงานอำนวยความเป็นธรรม แบ่งงานภายในออกเป็น 2 ฝ่าย 4.1 ฝ่ายดำธรรม 2 ฝ่ายอำนวยความเเป็นธรรม 5. สำนักงานอำเภอ แบ่งงานภายในอำเภอเป็น 1 งาน 2 ฝ่่าย 5.1 งานบริหารทั่วไป 5.2 ฝ่ายกิจการพิเศษ 5.3 ฝ่ายแผนยุทธศาสตร์พัฒนาอำเภอ 6. ศูนย์ดำรงธรรมอำเภอ 1.) สำนักงานศูนย์ดำรงธรรมอำเภอ 2.) ชุดปฏิบัติการเคลื่อนที่เร็วเพื่อแก้ไขปัญหาในพื้นที่