COMET職業(yè)能力測評國際聯(lián)盟 德國不來梅大學(xué) Felix Rauner 教授為首的,由中國、南非、瑞士、挪威等國科研人員組成的研究團隊,開發(fā)建立了 COMET 職業(yè)能力模型(見圖 1-1),并在我國北京、四川和廣州等地進行了測評技術(shù)的驗證。并在金磚國家和國內(nèi)競賽中多次應(yīng)用。
COMET 職業(yè)能力模型由三個維度構(gòu)成,分別是職業(yè)的“內(nèi)容維度”、“要求維度”和 “行動維度”:
?內(nèi)容維度:包括“職業(yè)定向性的任務(wù)”、“程序化的任務(wù)”、“蘊含問題的特殊任務(wù)” 和“不可預(yù)見的未知任務(wù)”四個職業(yè)工作范圍,對應(yīng)四個學(xué)習(xí)范圍,即“定向和 概括性知識”、“關(guān)聯(lián)性知識”、“具體與功能性知識”和“學(xué)科系統(tǒng)化的深入知識”。
?能力要求維度:包括 4 個能力級別,即名義能力、功能性能力、過程性能力和整 體化的設(shè)計能力。
?行動維度:包括獲取信息、制定計劃、做出決策、實施計劃、控制和評價六個階段。
COMET 職業(yè)能力模型建立在一系列現(xiàn)代職業(yè)教育的理論基礎(chǔ)之上,如情境學(xué)習(xí)和行動導(dǎo)向的學(xué)習(xí)理論、多元智能和發(fā)展性任務(wù)的心理學(xué)理論、設(shè)計導(dǎo)向的職業(yè)教育指導(dǎo) 思想、從“初學(xué)者到專家”(from novice to expert)職業(yè)成長邏輯規(guī)律的專家智能理論以 及工作過程知識的工業(yè)社會學(xué)理論等(詳見本手冊所列參考文獻):
? 設(shè)計導(dǎo)向(Gestaltungsorientierung)思想:上世紀 80 年代由勞耐爾(F. Rauner) 提出并在德國發(fā)展起來的人文主義職業(yè)教育思想,其核心理念是:人不僅要有適 應(yīng)能力,更重要的是有能力本著對社會、經(jīng)濟和環(huán)境負責(zé)人的態(tài)度,參與設(shè)計未 來工作世界的發(fā)展。
行動導(dǎo)向教學(xué)(Handlungsorientierung):指師生共同確定行動產(chǎn)品來引導(dǎo)的教學(xué)組 織過程,學(xué)生通過主動和全面的學(xué)習(xí),達到腦力勞動和體力勞動相統(tǒng)一的學(xué)習(xí)形 式。這里的行動不僅僅是日常生活中的行動、活動或勞動,而且還是為了達到學(xué) 習(xí)目標而進行的有意識的行為。
職業(yè)能力發(fā)展的邏輯規(guī)律(Development logic):心理學(xué)家德萊福斯兄弟(H. L. Dreyfus 和 S. E. Dreyfus)在人工智能研究中提出,專業(yè)人員在“從初學(xué)者到專家” 的職業(yè)能力發(fā)展過程中分為初學(xué)者、高級初學(xué)者、有能力者、熟練者和專家五個 階段,每一個階段的知識都有特殊的形態(tài),從一個階段到另一個階段需要完成特 定的發(fā)展性任務(wù)(Developmental task)。
工作過程知識:由社會學(xué)者克魯瑟(W. Kruse)提出、由勞耐爾(F. Rauner)和費 舍爾(M. Fisher)等發(fā)展起來的職業(yè)教育理論,工作過程知識指有豐富經(jīng)驗的技術(shù) 工人所特有的、與生產(chǎn)勞動過程相關(guān)的知識。它不僅是在工作過程中直接需要的。
區(qū)別于學(xué)科系統(tǒng)化的知識),而且是需要在工作過程中自我獲得的,特別需要 通過經(jīng)驗性學(xué)習(xí)后,在工作經(jīng)驗與理論反思間的特定關(guān)系中產(chǎn)生。
職業(yè)能力測評按照專業(yè)類別,以筆試形式進行,目的是評價被試的職業(yè)(認知)能力,即“完成和處理一組任務(wù)時所需要的主觀能力的潛力”。測試中,每位被試共 完成 3 項任務(wù):測試任務(wù)卷、背景情況調(diào)查問卷和測試動機問卷。監(jiān)考老師需完成教師 關(guān)于學(xué)生測試動機的問卷,即考場情況問卷。
測試任務(wù)卷是 COMET 測評的主要測試工具,為一道開放性的測試題目。測試題目 因職業(yè)的不同而異,具體案例見附錄 1。它的基礎(chǔ)是職業(yè)的典型工作任務(wù),通過一個職業(yè) 及其職業(yè)描述而定,且符合職業(yè)教育培養(yǎng)目標的要求。測試題目具有足夠的復(fù)雜性和綜 合性,能體現(xiàn)以典型工作任務(wù)的職業(yè)工作和學(xué)習(xí)內(nèi)容。能力測評考查的是“冰凍三尺非一日之寒”的能力,考生無需準備。每個專業(yè)的測試任務(wù)卷分為 A 卷、B 卷、C 卷和 D 卷,由監(jiān)考教師隨機選擇發(fā)給考生,被試需要提出完成任務(wù)的解決方案,并用易于理解 的方式解釋采取該方案的理由。在解決方案中,可以利用草圖、文字描述、表格和清單 等技術(shù)語言說明,并向客戶詳細闡述其理由。測試任務(wù)是開放性的,允許學(xué)生給出不同 的答案。
參加測評的被試需填寫一份背景情況調(diào)查問卷,用于搜集和確定職業(yè)能力發(fā)展的背景條件,包括被試的背景特征、職業(yè)學(xué)校和實習(xí)實訓(xùn)企業(yè)狀況(見表 1-1 所示)。背景問 卷還包括用于測量職業(yè)認同感的題項,對職業(yè)認同感的發(fā)展以及在此基礎(chǔ)上建立的職業(yè) 承諾進行評價。
測試動機問卷用于了解被測的測試動機,涉及完成測評任務(wù)的時間、對測試任務(wù)的興趣和認識,以及付出努力的程度。
測試監(jiān)考教師也要填寫一份考場情況問卷,用于了解該班級被試的測試動機和測試氛圍。
為了解釋和評價被試提供的任務(wù)解決方案,我們建立了針對 4 個能力級別的由 8 個 力指標(見圖 1-2)組成的指標體系,這 8 個指標分別是:“直觀性/展示”、“功能性”、“使 用價值導(dǎo)向”、“經(jīng)濟性”、“企業(yè)生產(chǎn)流程和工作過程導(dǎo)向”、”社會接受度”、”環(huán)保性”和 “創(chuàng)造性”。
?
為了使上面的 8 項指標具有可操作性,我們?yōu)槊宽椫笜嗽O(shè)置了 5 個觀測評分點,共40 個,這些指標都是經(jīng)過心理測評技術(shù)的信度和效度驗證。如:對“直觀性展示”設(shè)置的觀測評分點為:
1)、對委托方來說,解決方案的表述是否容易理解?
2)、對專業(yè)人員來說,是否恰當?shù)孛枋隽私鉀Q方案?
3)、是否直觀形象地說明了任務(wù)的解決方案?(如:用圖表/用圖畫)?
4)、解決方案的層次結(jié)構(gòu)是否分明? 描述解決方案的條理是否清晰?
5)、解決方案是否與專業(yè)規(guī)范或技術(shù)標準相符合?(從理論、實踐、制圖、 數(shù)學(xué)和語言)
評分者按照觀測評分點給學(xué)生的測評解決方案打分。每個觀測評分點設(shè)有“完全不符合”、“基本不符合”、“基本符合”和“完全符合”四個檔次,對應(yīng)的得分為 0、1、2、 3 分。一般來說,如果解決方案里沒有提及該評分點的相關(guān)內(nèi)容,則判定為“完全不符合”(即 0 分),簡單提及但沒有說明的判定為“基本不符合”(即 1 分),提及并說明怎么做的判定為“基本符合”(即 2 分),明確提及且解釋理由的則評定為“完全符合”(即 3 分)。
問題解決空間:為了確保評分能夠達到足夠高的評分者信度,評分者常常希望得到一份試題的“標 準答案”幫助其進行評分。但是由于 COMET 測評采用的是開放性題目,不可能存在這 樣一份唯一的“標準答案”,于是項目為每道試題設(shè)計了一個“問題解決空間”。 問題解決空間描述了開放性測試題目可能出現(xiàn)的各種解決方案,它可以提示評分者,在 按照 8 個能力指標進行評分時應(yīng)重點考慮哪些方面。
呈現(xiàn)給每位被試的測評結(jié)果:測試完成后,每位被試不但可以得到一個能力總分和自己所處的能力級別,而且還 可以得到一份描述其職業(yè)能力特點的輪廓圖(見圖 1-3)。輪廓圖不僅展示了三個能力級 別,而且還包含了八項能力指標,顯示了能力模型的多維特征。這可以使被試清楚地了 解自己的優(yōu)點和缺陷,從而明確未來的努力方向。
呈現(xiàn)給學(xué)校的測評結(jié)果:通過測評,學(xué)校可以了解到自己在所有參加測評的職業(yè)院校中的人才培養(yǎng)水平(見 圖 1-4),了解自己學(xué)生的職業(yè)能力總體狀況(見圖 1-5),了解不同班級學(xué)生職業(yè)能力水 平的差異和課程改革的效果(見圖 1-6)。