สำนักคอมพิวเตอร์ ได้มีการเริ่มจัดตั้งจากโครงการบริการคอมพิวเตอร์เพื่อการบริหาร สังกัดฝ่ายวิชาการ มหาวิทยาลัยศรีนครินทรวิโรฒ วิทยาเขตมหาสารคาม โดยมีสำนักงานชั่วคราวอยู่ที่ฝ่ายวิชาการ เพื่อให้บริการเครื่องคอมพิวเตอร์สำหรับการเรียนการสอน และการอบรมคอมพิวเตอร์ มหาวิทยาลัยมหาสารคามได้ดำริให้บรรจุงานบริการคอมพิวเตอร์เพื่อการบริหาร ไว้ในแผนการพัฒนาการศึกษาระยะที่ 7 (พ.ศ.2535-2539) โดยมีชื่อหน่วยงาน คือ งานบริการคอมพิวเตอร์ เพื่อการบริหาร แผนงานบริหารการศึกษาระดับอุดมศึกษา สังกัดกองธุรการ มหาวิทยาลัยศรีนครินทรวิโรฒ วิทยาเขตมหาสารคาม เป็ฯผลให้ได้รับจัดสรรงบประมาณแผ่นดินในเวลาต่อมา

บริเวณหน้าป้ายมหาวิทยาลัยมหาสารคาม วิทยาเขตพื้นที่ในเมือง

          อาคารสำนักคอมพิวเตอร์ 1 ซึ่งเป็นที่ทำการเดิมของสำนักคอมพิวเตอร์ ณ มหาวิทยาลัยมหาสารคาม วิทยาเขตในเมือง สำนักคอมพิวเตอร์ได้รับการจัดสรรงบประมาณแผ่นดินเพื่อใช้ในการดำเนินการก่อสร้างอาคารสำนักคอมพิวเตอร์ 1 หลัง ณ ,มหาวิทยาลัยมหาสารคาม วิทยาเขตในเมือง เพื่อเป็นใช้เป็นที่ทำการของสำนักคอมพิวเตอร์แห่งใหม่ และเข้าใช้พื้นที่อาคารในเดือนตุลาคม พ.ศ. 2537 เป็นต้นมา

ป้ายมหาวิทยาลัยมหาสารคาม เขตพื้นที่ขามเรียง

          ต่อมาหลังจากมหาวิทยาลัยมหาสารคาม ได้แยกเป็นเอกเทศจากมหาวิทยาลัยศรีนครินทรวิโรฒ ตามพระราชบัญญัติมหาวิทยาลัยมหาสารคาม พ.ศ. 2537 ตามประกาศในพระราชกิจจานุเบกษา ฉบับกฤษฎีกา เล่มที่ 111 ตอนที่ 54 ลงวันที่ 8 ธันวาคม พ.ศ. 2537และได้มีพระราชกฤษฎีการจัดตั้งส่วนราชการในมหาวิทยาลัยมหาสารคาม โดยให้สำนักคอมพิวเตอร์ เป็นส่วนราชการหนึ่งในมหาวิทยาลัยมหาสารคาม และให้มีสำนักงานเลขานุการในสำนักคอมพิวเตอร์ ตามประกาศทบวงมหาวิทยาลัยเรื่องการแบ่งส่วนราชการ ในมหาวิทยาลัยมหาสารคาม พ.ศ. 2538

          อาคารวิทยบริการ B ซึ่งเป็นที่ตั้งใหม่ ณ มหาวิทยาลัยมหาสารคาม เขตพี้นที่ขามเรียงมหาวิทยาลัยมหาสารคามได้ขยายพื้นที่ของมหาวิทยาลัยมายังเขตพื้นที่ขามเรียง รวมถึงการย้ายคณะและหน่วยงานส่วนใหญ่มายังพื้นที่ตำบลขามเรียง อำเภอกันทรวิชัย จังหวัดมหาสารคามในเดือนพฤศจิกายน พ.ศ. 2545 ทั้งนี้รวมถึงสำนักคอมพิวเตอร์ด้วย ซึ่งต้องย้ายจากพื้นที่ในเมือง มายังอาคารวิทยบริการ B ตำบลขามเรียง อำเภอกันทรวิชัย จังหวัดมหาสารคาม

บริเวณหน้าอาคารวิทยบริการ B ในปัจจุบัน

          สำนักคอมพิวเตอร์ได้ย้ายที่ทำการจาก ชั้น 1 อาคารวิทยบริการ B ขึ้นมายังชั้น 3 และชั้น 4 อาคารวิทยบริการ B โดยรวมศูนย์การให้บริการของสำนักคอมพิวเตอร์ และดำเนินการจัดตั้งศูนย์ฝึกอบรม และศูนย์ทดสอบทักษะด้านเทคโนโลยีสารสนเทศขึ้นเพื่อให้มีความทันสมัยและสอดคล้องกับบริบทของการพัฒนาด้านเทคโนโลยีที่เป็นไปอย่างรวดเร็ว และมีความซับซ้อนมากขึ้นในปัจจุบัน