臺北市立大學教育行政與評鑑研究所教授何希慧:透過校務研究 建立以數據/事證為本的決策模式
【采访撰稿.许嘉宝、俞子翔】
为协助大学提升校务专业管理能力,并善用教育资源提高学生学习成效,教育部于2014年规划办理「教育部补助大学提升校务专业管理能力计划」,补助各大专校院设置校务研究(Institutional Research, IR)中心或办公室。随着补助计划的结束,各大学校务研究任务则进一步整合至「高等教育深耕计划」。经过十年的推广,台湾高等教育的校务研究发展现况与面临的挑战为何?校务研究又如何帮助大学进行品保与评鉴?本期评鉴双月刊邀请台北市立大学教育行政与评鉴研究所何希慧教授分享其对于台湾高等教育校务研究的观察与看法。
问:请问您认为台湾高等教育校务研究的发展现况跟挑战为何?
答:过去因担任台湾校务研究专业协会的秘书长及顾问,长期观察着台湾校务研究领域的发展。因此,在探论高等教育校务研究部分,不止于教育部过往如何透过「补助大学提升校务专业管理能力计划」鼓励学校设立校务研究中心,近年来更是借由「奖励大学教学卓越计划」、「奖励私立大学校院校务发展计划」、「高等教育深耕计划」等,以及校务评鉴、系所评鉴、师资培育评鉴等扣紧校务研究相关议题。回顾台湾校务研究的发展途径,应该了解为什么大学要做校务研究?以及在校务治理上,校务研究所扮演的角色为何?
校务研究的本质是希望学校能透过校内外资料库的整合,型塑一个属于学校进行校务治理议题分析的数据库。因此,先进国家政府或大学皆规划建立自己的教育资料库,透过长期资讯的搜集来了解学校各种校务议题的发展情形与影响因素,尤其是透过互动关系人的意见回馈与文本资料探勘,以分析他们对该些议题的看法。多年前曾赴美参加美国校务研究协会(The Association for Institutional Research, AIR)办理的年会暨研讨会中,该年度专题演讲即倡议校务研究资讯来源已不仅是数据的收集,亦强调文本资料进行探勘分析的重要性。
整体而言,透过校务研究能让数据/文本成为决策者问题探究和解决问题的资讯来源与佐证,再链结到校务发展、内控管理及自我课责,引导学校依自身定位与条件提出最适合的校务中长程发展计划,和争取竞争型计划事前现况评估的重要依据。
以教育部校库所需填报的资料为基础 逐步扩增搜集与校务发展有关的资讯
基本上,校务研究可分为四个任务面向(表一),首先是「资料管理与技术支援」,即建立资料库,这部分需要一群专业人员协助建置,从而搜集、清理、串流各处室单位的数据资料;有了数据库才能进行「数据挖掘与分析」,即在完备资料后,由具统计专业分析能力的人进行资料探勘(data mining)或文字挖掘(text mining);也因为有了数据/文本的资料分析,才能进行「研究与发展」,亦即于数据与文字探勘后,由了解学校校务运作与发展的专业人员从所得之数据/文本分析结果进而发现问题、找出原因,并根据探究议题寻求解决方案与相应策略,建立以数据/事证为本的战略计划(strategic planning);最后任务是「外部与内部报告」,除持续检视解决方案的执行成效外,学校亦透过资讯公开,让关心办学绩效的内外部互动关系人了解办学品质与成果。
从事校务研究工作最先面对的挑战就是建立资料库,且多数大学处室单位都各自建置专属单位使用的资料库,故当学校要进行资料串联或资料库整并时,即发现各处室所开发的系统因厂商不同而不易连结,导致所谓资料库整合只是一堆数据资讯的堆叠,或甚至由于资料库项目不完整而不能进行分析。据了解,多数大学的资料库仍持续在进行资料搜集、汇整、清理等工作。以美国加州大学(University of California, UC)系统为例,都花了数十年始能将所有分校的资料清理整合至总办公室资料库。所以,若明知学校的资料库不够完整、项目不够周全,甚至缺乏一致的操作型定义,却还期待校务研究办公室能从中了解现况、厘清问题、甚至提出解决策略实在有些困难,毕竟分析出来的资讯是较无法反映真实状况的。
因此,面对建立学校资料库的问题,如果学校不知如何着手,建议可从教育部的「大学校院校务资料库」与「全国技专校院校务基本资料库」着手,因为它们的定义明确,且校务资料库的资讯亦会于校务评鉴、系所评鉴,甚至竞争型计划申请时倒入检核项目中,故以此为基础,应对学校是一件较容易上手的开始。
提供未来学术发展规划培育IR人才 推动专业社群增能
校务研究面临的另一个挑战是专业人员的培育与留任不易。许多大学校务研究办公室多以博士后研究员身分聘任其担任校务研究工作,但又常纠结在到底要聘请哪个领域的博士后研究员,是资讯背景、统计背景,还是高教/评鉴领域?其实在校务研究上,没有人是全方位精通或四大任务皆能熟悉掌握的。尤其是各校条件、资源与氛围均不相同,即便我们找到一位博士后研究员,但他不懂校内文化与历史脉络,即使他知道招生的问题在哪,但他所提出的策略方案多半是「理论性策略」,较无法实际应用在学校问题和解决问题上。因此,以校务研究四个任务来说,学校实不宜期待由一位博士后研究员来完成工作,适时邀请校内师长参与校务研究数据分析和脑力激荡策略发想,应是解决人力不足或所提方案更接地气的方法之一。
由于校务研究人员的编制多透过计划来聘用高阶人才,一方面升迁不易,再加上博士多期待能朝向学术路径发展,故博士后研究员一职常成为进入大学任教前的过渡位置。因此,很早前即有大学疾呼要留住高阶知识人才,就必须帮他们规划好生涯发展;目前已有不少大学,即以助理研究员一职聘任来进行校务研究的工作,助理研究员与博士后研究员的差别在于,助理研究员是可以申请国科会专题研究计划,有自己兴趣的研究议题与经费,应能让这些高阶人力留任意愿和投入动机高些。当然,建议各大学都应培养校内人才走进校务研究体系,那样才能永续发展,而人员编制的经费来源不宜都靠高教深耕计划补助或研究费用来支应,毕竟校务研究人才养成不易,人员流失对学校而言都是损失。
在校务研究专业人才培育增能部分,过往台湾校务研究协会有针对IR人员办理系列性研习工作坊,尤其是校际间组成校务研究专业社群,各校成员透过社群的连结与资讯分享,相互讨论解决学校面对资料搜集、议题发想、分析时的资料引用及工作伦理等专业对话,让不少大学校务研究办公室的伙伴因专业增能、经验分享和同侪支持,使这项工作的执行因有陪伴和咨询而能稳定进行。
运用IR资料 建立以数据/事证为本的决策模式
问:请问大学校务研究的应用方式为何?
答:即使学校拥有校务资料库,并不意味着校务研究能通盘说明校内发生的每件事情,多数大学的校务研究分析提供的是基础型的现况报告,当回应竞争型计划提出的方案与策略时,我发现还是会回到单位处室主管或承办人员的过去作法或经验。换言之,学校拟订要解决的校务研究议题,IR办公室所提出的分析结果,与后续规划的改善措施,其关联性或因果连结似较不高。此外,校务研究议题也会因各校关注焦点、定位功能而有所不同,以研究型大学为例,如果学校认为国际排名是带动学校声望提升的一个重要策略,那校务研究就会针对教师学术发表、产学合作、国际化等项目,甚至国际排名评比的规准、执行程度及历年发展等情形进行数据调查与分析,从而规划精进方案与执行策略。以目前观察学校应用校务研究制度而言,校内专责单位的设立、人员的编制、IR运用的普及性仍有待加强外,IR功能的彰显取决于学校对于校务研究的重视程度。
此外,部分大学将校务资料库置放于图书馆或计算机中心,学校资料皆受到个资法保护,这是优点,但也常听到校内声音,例如欲取得资料分析时,个资的定义时有不同解读,导致部分讯息不准使用。以美国加州大学系统校务研究总办公室为例,他们也重视这个问题,因此办公室内部会检视删除能辨识出的资讯项目,并在一定的规范与保护个人资料的情况下进行研究。一些大学目前已有标准化程序的规定,校内研究人员或教师如需什么资料,就要提出申请,并经内部小组/委员会审核通过和签订保密条款后,始得下载使用。甚至也有大学将资料开放至特定程度,鼓励教师或学生使用数据/文本资料进行研究,除可帮学校除错外,亦能从资料分析中找到学校校务治理的问题;亦即借由有限的资料公开,让关心校务发展的人有机会和管道来认识学校,找出其永续经营的议题进行探究。换言之,在经过资料库项目清理和维系个资保护的情况下,在校内营造更多人利用资料库来发掘问题、解决问题的校园文化,甚至开授大数据等微学分学程或IR专业课程,让教师和学生拥有校务研究的概念与应用知能,一同参与加入以数据/事证为本的校务决策模式。
「以终为始」 透过评鉴引导学校进行校务研究
问:请问校务研究如何帮助大学进行品保与评鉴?
答:不管是4年一轮还是5年一次的评鉴,评鉴目的之一就是想了解学校这些年来在各评鉴项目的办学表现、绩效成果和自主管理检核情形。基本上,校务研究提供给评鉴报告的数据多为长期性发展的描述性统计资料,和数据变化推论的可能原因/理由。准此,校务研究对学校进行品保稽核或评鉴成果检视,有一定程度的功能与助益。除学校如何借由校务研究的数据或佐证来证明其办学特色外,评鉴单位想知道学校有哪些办学成果,可在指标后拟出可供佐证的资讯要求,以协助评鉴委员了解校务发展情形及其办理成果。近年来,教育部在尊重各校的定位功能与教育目标下,积极简化评鉴项目和指标,保留区块让学校填写自己的优势特色。此时,校务研究正能发挥功能,透过数据或文本的分析结果,协助学校了解自己的学术强项与发展优势,让各大学不再以同一套标准检核办学,而是在共同基础的办学要求/条件下,各校应走出自我特色和自主管理的文化气氛。
校务研究对学校现况分析、问题厘清、策略评估和绩效检视有一定程度的助益。针对尚未周全校务研究制度或资料库建置的学校,建议可先结合大学校院校务资料库,依照已提供的校务资料库资讯进行分析,从中看见自己学校项目内容在历年来的数据消长与发展趋势。另一方面,透过品保机构建议学校于各类评鉴应提供的佐证资料,以引导方式让从事校务研究的同仁有数据分析和议题研发的方向。根据观察,许多学校已以这种「以终为始」的概念在引领校内进行校务研究资料搜集与分析工作,逐步建立自己的校务资料库。
问:您认为校务研究的未来发展为何?
答:从事高等教育研究或与其他国家合作进行跨国比较研究时,最不利资料分析之处在我国资料库的公开程度与使用限制。以办学资讯公开为例,虽然教育部规定大学需将办学绩效相关资讯上传至校务资料库或于各校网站进行讯息公开,但以目前各校官网呈现的内容,并非所有学校说明完整。因此,校务研究的未来发展,建议还是回到原点,先完备学校资料库的建置与应用知能的培训,最后才能依循学校的能量与资源挹注,务实地进行资料分析、问题发掘和策略规划。总之,资料库的内容盘点与串联工作永远不嫌晚,因为从事校务研究需要时间,凡指资料搜集、人员培训、方案提出、策略建议,到定期完成内外部稽核报告等,都是建立在一个较完整且数据正确的资料库上。