WikiTeamWork
第208行: 第208行:
   
 
===三、閱卷方式===
 
===三、閱卷方式===
閱卷方式難以採用電腦閱卷的方式來進行,尤其有太多的同義字詞、倒裝句法,為了在評分上的公平性,採用人工閱卷的方式。在閱卷教師從資料庫中取出售事者的答案時,可以看到關鍵字詞的部份經過了反白的處理,能夠比較快地了解受試者的答案是否有抓住重點,在閱卷上會比較方便與快速
+
寫作或申論題的閱卷方式難以採用電腦閱卷的方式來進行,尤其文章中有太多的同義字詞、倒裝句法,電腦仍難以處理,為了在評分上的公平性,採用人工閱卷的方式。
  +
A
 
  +
在閱卷教師從資料庫中取出受測者的答案時,可以看到關鍵字詞的部份經過了反白的處理,能夠比較快地了解受試者的答案是否有抓住重點,在閱卷上會比較方便與快速。
   
 
==陸、電腦測驗的限制(王俋晴)==
 
==陸、電腦測驗的限制(王俋晴)==

於 2013年1月8日 (二) 04:30 的修訂

==壹、 定義起源== 李佳儀

ㄧ、電腦測驗的定義

測驗是利用試題來考量學生成就的一種工具,也是評量學習成果的有效方法。傳統紙筆測驗,從出題、考試、閱卷、到成績統計等,都是由人工作業,並且受試者必須在同一時間及同一地點進行考試。如此一來,不但測驗的效率不高,且人工作業出錯的機會亦相對較大。此外,若受試者眾多,且分佈於不同的地理位置,則受試時間勢必難以配合,所須付出的成本亦相對增加(何榮桂,民79;周倩、孫春在,民85;周文正,民87)。電腦輔助測驗(Computer-Based Testing,CBT)使得測驗的效率提高、試題呈現更加豐富、減少測量的誤差、減少測驗時間、以及能夠獲得測驗的其他資訊(何榮桂,民79)。

以下就測驗的定義來解說:

測驗
測驗是將學生的表現或行為,加以數化或量化的過程之中,資料或數據的蒐集工具。
電腦輔助測驗電腦輔助測驗(Computer-Based Testing,CBT)
是將傳統的考試工具及考題轉移到電腦之中,讓學生藉由電腦螢幕閱讀考題、利用鍵盤或滑鼠來移動游標並點選答案。答題的過程之中,電腦輔助測驗在程式的設計之上,通常允許學生重複複查、修正答案。
網路測驗
當電腦輔助測驗,與現有的全球資訊網進行結合,就成了網路測驗,它不但具備有(CBT)的優點,更能兼具網際網路的各項特色,亦稱為全球資訊網電腦輔助測驗(WWW computer-assisted testing,W3CAT)。

顧名思義,W3CAT即是在全球資訊網(WWW)的環境中,進行電腦輔助測驗。測驗是評量學生成就的一種工具,也是評量學習成果的有效方法。利用電腦來進行測驗,可以藉電腦強大的計算能力,讓出題、施測、及閱卷更具有效率。隨著網路的蓬勃發展,以及網路教學的快速成長,網路測驗更顯其重要。

二、 電腦輔助試題的起源

電腦在教學活動之中的應用日益廣泛,藉由電腦進行測驗乃是一個無法避免的趨勢,因為電腦具有速度快、計算精確、以及龐大資料庫的管理能力,即使複雜的計分方式,或是龐大的成績系統,也可以在很短的時間內完成。

美國心理學會(American Psychological Associate,APA)在1986年,發表了以電腦為基礎的測驗在發展、使用以及解釋上的指導原則,以使電腦測驗能夠與傳統紙筆測驗具有同樣的效力。其中包括在解釋在電腦測驗之成績時,任何因為電腦造成的影響效果必須清除或重新計算、個人在電腦測驗與紙筆測驗上的成績等級順序必須近乎相同、平均數散佈情形也必須近似相等。(Bugbee,1996)。

而電腦化測驗隨著電腦與網路科技的發展,由單機施測演變至區域網路的施測環境,而有更進一步發展出以網際網路為骨幹的遠距測驗的必要,其目的是希望結合網際網路的優點,提供超越時空、隨選隨測、更彈性的施測環境。網路線上測驗可以實施團體測驗或在單機上實施個別測驗,讓考試環境標準化,學生的評分更具客觀性、公正性、也能迅速的收集到學生答題的訊息,使教學評量在空間與時間等方面,更具彈性。

目前大部份的網路測驗系統,在設計上往往受到傳統紙筆測驗以及電腦輔助測驗的影響,其方式仍然以文字測驗為主。其設計的理念在於結合題目與電腦的資料庫,利用電腦題庫的建立及學習歷程的記錄,並予以統計及保存。除了突破 時空限制及個別化測驗的實現之外,網際網路的其他特性,如超媒體、互動性、合作學習、開放學習、全球資訊擷取等功能,並沒有善加利用。在此同時,雖有部份學者(吳信義,民86;許瑛玿,民88)利用網際網路的其他特性,進行各 類型網路測驗的試題開發工作,但是目前並沒有對於網際網路測驗題型,進行統整與分析之研究,讓出題教師瞭解網路測驗的各種題型,及其在網際網路特性的運用上之適切性。

三、電腦應用在測驗的特性

近年來資訊科技有很大的提升與突破,電腦的速度、容量、穩定性與其它功能也都有很大的進步,配合電腦來發展與運用測驗,是不可抗拒也是不可避免的趨勢。透過電腦具有速度快,計算精確以及管理龐大資料的能力,如果將測驗電腦化,將可以簡化測驗的程序,提高測驗的可信度,也能夠降低施測成本,提供更精確的測量結果。

Alessi和Trollip(1991)指出,電腦輔助測驗在應用之上,具有下列幾項主要的特性:

  1. 選擇組合試題:因為電腦本身具有蒐集以及資料保存的功能,並且能夠以隨機的方式來進行試題的存取、排序。
  2. 易於產生試題:利用電腦能夠將試題的格式、樣版、或程序等,儲存在電腦的資料庫中。出題時只須更改題目的數字或是關鍵字,即可發展出不同的考題,讓試題的產生過程更具有效率。
  3. 共享試題題庫:在發達的電腦技術之下,我們可以將相同學科的題庫進行資料庫的串連,已達成題庫共享的目的。

Khan(1997)指出,利用各種網路的功能,在電腦測驗及教學上進行實際操作時,我們可以發現網路能夠提供以下幾種特色:

  1. 互動性:網路上可與其他人進行及時或非即時的互動。
  2. 方便性:學習者可在線上學習;教學者可在線上修改教學內容。
  3. 全球一致性:全球化的通訊協定,只要輸入網址就可以到達要去的網站。
  4. 全球化資訊:只要能夠連上網路,就可以在任何地點獲得全球各地資訊。
  5. 合作學習:在網路環境之中,學習者可以和其他學習者進行合作學習。
  6. 多媒體特性:網路可以傳送文字、圖片、動畫、聲音、影像等多媒體。
  7. 使用容易:使用者介面可以滿足學習者的需求、以及其探索和好奇心。
  8. 容易發展與維護:網頁製作軟體的高度發展,讓教學網頁更容易發展與維護。
  9. 超越時空:網路不受時間與空間的限制,且課種作業系統都可以上網。
  10. 開放性系統:網路是個開放性系統,使用者必須能自我控制。
  11. 經濟效益:學習者可以節省交通、停車、教科書的經費。
  12. 線上支援:學習者可以尋求線上支援,如使用電子郵件、FAQ等。
  13. 線上評鑑:線上評鑑有形成性評量、總結性評量等方式來進行。
  14. 線上搜尋:能夠利用搜尋引擎尋找各種相關的資訊。
  15. 線上資源:網路能夠提供即時與無限的全球資源。

McCormack 及Jones(1997)認為網路測驗能夠改善評量的程序和方法,因為網路測驗具備以下幾個特點:

  1. 節省時間:評量能夠利用輔助軟體工具來建構,可以重複使用,並且能夠以網路的方式來傳送考題及答案,以節省時間。
  2. 即時回饋:網路測驗能夠依照學生作答的情形,即時地給予適當的回饋。
  3. 減少資源:可以減少人力、紙張、印刷、以及時間資源的浪費。
  4. 保存記錄:能夠將學生測驗時的所有情形進行記錄,並完整地保留,以提供教師和學生作為將來教育及學習的參考。
  5. 更加便利:由於測驗的資料是以資料庫的方式進行儲存,可以立即將所需的資料由網路之中取出,並可進行資料或成績的分析工作。

以下分別介紹電腦測驗類別之定義與優缺點:包括適性與非適性電腦測驗、互動式答題電腦測驗、寫作式題電腦測驗。

貳、非適性的電腦測驗(張麗君)

一、定義

電腦化測驗係指以電腦來輔助編輯試題、施測、計分、分析、報告結果與解釋的測驗方式。隨著網際網路的興起,測
驗不但與電腦相結合,更與網路科技結合,透過網路的雙向傳輸的功能進行線上測驗,達到能隨時施測功能。

電腦化測驗依其背後根據測驗理論的不同可分類成適性與非適性電腦測驗兩類。

非適性電腦化測驗(Computer-Based Testing,CBT),又名電腦輔助測驗、傳統測驗電腦化。係指主要以古典測驗理論為依據的傳統測驗,將其考試的方式、工具及考題由紙筆轉移到電腦之中,讓學生藉由電腦螢幕或網路當呈現介面,用以閱讀考題、利用鍵盤或滑鼠來移動游標並點選答案。答題的過程之中,電腦輔助測驗在程式的設計之上,通常允許學生重複檢查、修正答案。作答完畢後受測者即可立即知道自己的得分或作答情形。

二、國內非適性的電腦測驗介紹

  1. 國中生活科技線上測驗(http://test.scjh.kh.edu.tw)
  2. 網路考題銀行(http://testbank.csie.isu.edu.tw)
  3. 線上測驗服務中心(http://www.onlinetest.org)
  • 特性
  1. 試題內容多以文字呈現
  2. 作答時間有限制
  3. 可隨時施測
  4. 可同時出現多題試題
  5. 可更改答案
  6. 受測者可立即得知自己作答之情形

三、非適性電腦測驗的優缺點

優點

測驗的效率提高
由於電腦強大的計算能力,它能夠在瞬間計算出每一題所得的分數,快速處理相關的資料,減少人力與時間的浪費,提高測驗的效率。
易於抽選試題
因為電腦本身具有蒐集以及資料保存的功能,並且能夠以隨機的方式來進行試題的選取、排序。此外,利用電腦能夠將試題的格式、樣版、或程序等,儲存在電腦的資料庫之中。出題時只須更改題目的數字或是關鍵字,即可發展出不同的考題,讓試題的抽選過程更具有效率。
減少測量的誤差
利用電腦施測可以減少傳統測驗時,答案紙與試題分開測驗時可能發生的誤填,而且亦可避免人為計分上的疏失。電腦測驗可以讓受試者專注在一個題目之上,除了比較不會分心之外,對於閱讀能力較差、注意廣度較低的受試者,更能夠準確的加以測量,減少誤差。
減少測驗時間
根據Olsen、Maynes 和Slawson(1986)等人的研究指出,以電腦來實施同一版本的紙筆測驗,以電腦實施的測驗時間只有紙筆測驗的57%。
受試時間彈性大
傳統紙筆測驗大多必須在同一時間、場地施測;若以電腦進行線上測驗即可隨時進行測驗。
其他測驗資訊的獲得
電腦可以記錄受試者閱讀題目所需的時間、是否更改過答案、答題所需的時間、作答的順序等,讓教師瞭解學生的解題技巧以及困難所在,可幫助改進測驗或瞭解學生的障礙。

缺點

題目的呈現方式
電腦螢幕的大小是固定的,因此能夠呈現出清楚文字的數量就會受到限制,如果題目(如閱讀測驗)過長或太多,受試者就必須移動捲動軸來繼續閱讀。否則就必須將題目的文字敘述大幅縮水,但是縮水之後的議題或文章將會影響原來測驗的效度。
不符合個別差異
非適性電腦測驗只是將紙筆式書面呈現的測驗改成以電腦螢幕呈現和鍵盤和滑鼠作答的測驗方式而已,測驗無法顧及受者的能力提供是當難度的題目,亦即測驗本身不具因才施測的適性測驗。
受試者必須具備有電腦素養。
電腦測驗對於家中沒有自己電腦,以至於電腦操作不熟練的弱勢家庭學生,不是很公平。
需要有電腦設備配合。
堧電腦是被日趨普遍,價格也日漸便宜,但與傳統紙筆測驗相比,仍是一筆負擔,對於偏遠平窮的學校,還是有困難。
其他
測驗電腦化必須注意人機介面的設計、考慮對電腦具有焦慮的受試者、測驗資料之保密性、測驗的濫用等等問題。

參、 電腦適性測驗簡介(王俋晴)

ㄧ、 相關新聞

學術性向測驗進入電腦時代 82.11.15‧紐約時報

教育測驗中心(ETS)宣布,將於一九九六/九七學年度起,學術性向測驗(Graduate RecordExamination)一律以電腦方式應考。屆時,學生可以在一週中有數天或一年中超過一百五十天的時間到電腦中心考該測驗。而非如傳統方式一年五天,每個教室擠滿上百人的測驗方式。而且學生只要在考試之後按一個電腦鍵,就可立刻知道考試結果,而不是等待四到六個星期。惟測驗費將從四十八美元提高到九十三美元。

測驗時學生將首先回答中等難度的問題,如果答對,電腦會提供較難的問題,答錯則提供較簡易的題目。學生能答對愈困難的題目,得分愈高。研究顯示,受測者使用電腦的經驗並不致影響考試的結果,而且在真正的測驗之前,將有指導學生如何使用電腦的簡介,並依學生意願延長指導的時間。再過幾年,這種個別指導的教材也將更普及,以供學生試前練習。這種考試方式將予縮短考試的時間從三個半小時到兩小時十五分。但是未來幾年考試內容將由原來三種測驗單元,增加實驗項目而維持同樣三個半小時的測驗時間,以進一步全盤評估學生的能力。在測驗結束之後,受測者如果覺得成績不甚理想,在看到成績之前,仍可選擇取消。

二、 定義

所謂電腦適性化測驗,就是在測驗進行中,電腦螢幕上,一次只出現一題從電腦題庫出現的考題,考生必須回答電腦所給予的該項問題,而電腦則會根據考生回答問題的表現來決定後面出題的難易度。對考生而言,電腦適性化測驗與傳統測驗最大的差別在於:電腦測驗中,考生一旦作答確定後便無法再回頭更改已作答過的問題。但是適性測驗能依應試者的能力值決定題目,可以精確測出其能力,不須作完所有題目,可以縮短應試時間。因此,考生必需具備基本的電腦操作常識,比如說使用鍵盤、滑鼠來操作電腦。

為了要達到適性測驗的目的,均依不同的使用者動態產生題目,使用的方式是將題目事先建檔於資料庫中,經由動態的方式隨機產生選取題目。這樣的處理方式雖然能夠達到動態配題的效果,題型卻侷限在選擇題,而且題目做完之後,不能回顧重新檢視並修正答案;而其他的網路測驗系統,少部份提供了是非及填充等題型,但也是單一標準答案的給分方式。若能發展出結合網路小組評量暨完整回饋訊息能力的系統,對於在電腦上實施多元化評量,勢必有很大的助益。

目前的電腦化測驗系統,無論是電腦適性測驗或是電腦輔助測驗,都有受試者無法任意選擇答題的順序,答錯了無法更改,題型侷限在選擇題或填充題,無法嘗試一次以上等情形;而在電腦適性測驗方面,缺乏足夠的回饋訊息,其測驗結果對一般人而言並不易加以解釋。電腦化適性測驗(computerized adaptive testing,CAT)是以試題反應理論(item response theory, IRT)為基礎的電腦測試。試題反應理論與古典測驗理論的最大差異在於;後者依據各個試題的實分數,前者依據各個試題的參數。先實施大量預試,算出各各試題的難易度、鑑別度、猜測度等參數,建立題庫,然後自題庫中挑選試題以組成測驗。考試完後,處理預先算出好的參數推測考生的能力。因為題庫裡的試題的參數都算出在同一個量尺上,一旦建立試庫我們就可以編製好幾種“同一個量尺、不一樣內容”的測驗。

用項目反應理論(item response theory )的原理,藉電腦來施測的一種個別化測驗的實施策略(何榮桂,民88)。適性測驗的實施過程,就是要從一組題目或題庫中找符合受試者能力水準的題目來施測,“找的方法”就是適性測驗的選題策略(item select strategies)及判斷某題目是否符合某受試者能力水準的方法(何榮桂、陳麗如,民87)。

目前國內以師大資訊教育研究所何榮桂教授所主持的『電腦輔助測驗實驗室』(CAT Lab)為主。CAT Lab的研究,旨在運用項目反應理論、電腦化適性測驗原理與網路技術,建置一個在Internet 上之虛擬測驗服務中心(virtual testing service center ),提供題庫管理、線上測驗、線上練習等功能,以期開創一個新的遠距測驗實施模式。

三、優、缺點

優點:
  1. 根據受試者作答之選項來決定下一題試題,可達到適性化之效果。
  2. 由受試者作答之選項來推論迷思概念,如果題目多,將可精確診斷出每一位受試者之迷思概念,達到個別化之需求。
  3. 實施效率高,經濟效率,結合網路發展,可以實施遠距施測
缺點:
  1. 每條適性測驗路徑皆須精心設計以避免重複並精確診斷出相對應之迷失概念。
  2. 出題時需考慮選項及迷失概念間關係,困難度高。
  3. 當試題具有可猜測性時,不易達完成精確診斷。
  4. 無法回頭檢閱答案或修改答案。
  5. 電腦測驗題目較少,難度變化較小。
  6. 當時間壓力大時,測驗結果易受影響。

肆、 互動式作題電腦測驗(陳筱萍)

一、定義

而以電腦測驗的作答方式來分類,互動式作題是以電腦測驗的預定目標與使用者測驗後的感受結合,透過簡單的介面,幫助使用者了解測驗方式、作答正確與否等。互動式系統的開發,從一開始的問題定義及實用性設計就需要使用者的參與;設計者亦可先描繪出標的使用者的輪廓(profile)以住後續設計決策的考量依據。

Norman提出設計者與系統開發的互動模式,其中目標達成與否的評估則是將預定目標與系統執行後的使用者感受做比較,因此設定目標為該互動模式中最重要的基礎步驟。Newman & Lamming強調以包含活動內容、解決型式、使用者以及支援程度的問題定義方式來設定目標,其中『支援程度』即所謂的實用性的目標。

二、互動式設計概念

互動式系統的概念性設計的步驟依序為:確認適當使用者的操作思考模式(mental model)、隱藏該認知模式(mental model)而透過簡單的人機介面幫助使用者了解其複雜的架構與內涵、應用認知模擬(cognitive walkthrough)自我反省設計之不足、以及應用啟發式檢視(heuristic inspection)自我檢驗違反設計原則的地方。Norman也指出促使使用者建立正確的mental model,往往藉助於外在的系統形象(介面)而非複雜難懂的mental model內部知識與架構(系統)。介面則是指介於人與機器間所包含的物件、工具或語言等顯示,介面設計主要目的是便於使用該系統。資訊處理理論對於資訊系統的目的在於三個階段:感覺、注意與認知,而互動式系統的功能實用性即在於達到讓使用者『認知』的階段。

三、互動式設計改良方式:

(一)以狹義的設計原則,選用一致性或使用者的語言或避免錯誤等,一般的人機介面書籍。

(二)以廣義網頁設計原則的範圍除了包括傳統的人機介面及WWW介面設計原則外,另外還有包含教學方式與設計、多煤體應用、交談式系統的概念設計、實用性評估、企業為何建網站、如何針對標的族群設計等等項目來進行改良與設計:

  1. Jones從企業組織介入網際網路的角度,建議了七個高層次的WWW原則: 包括定義成功的條件、決定欲取悅的對象、讓資訊引導網頁的設計、讓使用者容易看到網頁內的資訊及如何找到資訊、不要期望WWW網頁就跟平面印刷一樣、謹慎使用圖形、及保持使用者的興趣。
  2. 楊欣哲與王超弘從減輕使用者的操作認的知限制角度,整理並驗證11項網頁設計原則,如:強調你的網站為使用者提供什麼價值?你的服務和主要競爭者有什麼區別?等等網頁設計原則進行設計。讓使用者的感受與電腦測驗的目標更加融合,達到電腦測驗的目的。
  3. Bayer從教學者的角度建議九大電腦輔助教學設計原則:訂定明確的教學目標(Instruction Objectives) 、確定教學對象(Specify Targeted Audience) 、創造交談式(Interactive)學習環境 、強調個別化教學 、吸引學習者的注意 、提供適當的回饋 、評估學習成效 、良好CAI重視畫面設計 、以教學設計原則為依據來改良互動式電腦測驗。
  4. 朱文禎與張紹勳介紹的七種學習的方式可視學習者輪廓有效地增加互動的效果。
  5. Denning et al.指出微軟公司的實用性實驗室,是如何利用think-aloud protocol等相關使用者研究方式,提高其產品的實用性。
  6. 許銀雄與詹榮昌則綜合實用性評估的認知模擬及啟發式檢視兩種方法成為Heuristic Walkthrough來幫助網頁設計者評估改良其設計。

四、優缺點

(一)測驗系統
互動式系統的設計應用是複雜的,但基本的問題定義一定要訓練初學者深入簡出的訂定。一旦瞭解問題定義中的『使用者』及『系統支援的程度』,後面的設計製作過程就能專注於明確目標的達成。
  • 優點:
  1. 互動式教學系統中,可以依據使用者的能力選用不同程度的互動模式,達到適性化測驗。如:選用『輕鬆地』、『操作簡便地』、『快速地』、『簡單地』、『無壓力地』與『易懂地』的支援程度讓初學者選擇。
  2. 提供適當使用者的操作思考模式(mental model),讓使用者方便、了解電腦測驗的進行方式。
  3. 隱藏該電腦測驗的心智模式(mental mode)l而透過簡單的人機介面幫助使用者了解其複雜的架構與內涵。
  • 限制:
  1. 當不瞭解概念性設計時,互動式系統的設計往往就流於一般性的經驗法則或自行歸納出的原則。
  2. 因概念性設計不明,其概念間可能為互補、相互牴觸或者是重疊的可能。
(二)操作介面
互動式系統設計的成功與否,應以使用者的滿意接受程度為最終評量之依據。因此,除了程式技術能力及系統內容外,系統介面的實用性(usability)設計成為系統開發的競爭優勢因素,能發揮相當程度的實用性成效為操作介面的設計原則:
  • 優點:
  1. 實用性的操作介面,可以幫助使用者了解教學重點方向。
  2. 讓使用者方便使用,即了解測驗進行方式,達到測驗目的。
  3. 給予回饋式的操作介面,立即提供受測者回饋,協助受測者的思考運作。
  4. 設計美觀、大方的優良介面,可提高使用者的測驗興趣。
  • 限制:
  1. 系統介面的實用性,受限於開發者相關知識與長期經驗的累積。
  2. 設計者對互動系統如沒有正確觀念,易流於形式上的互動,缺乏引導之功能設計。
  3. 當操作介面過於繁複,會呈現不顯著的邊際化效果,模糊測驗本質。
(三)測驗內容
根據不同的教學內容及教學內容重點,交互式作題在支援程度項目、設計原則與使用者研究方法的選擇上就有些差異。
  • 優點:
  1. 互動式系統設計強調測驗目標的定義,提高測驗內容效度。
  2. 依據不同的測驗內容、教學重點提供不同的測驗作答、回饋、記分方式等。
  3. 真實的呈現題目,可以圖片、聲音、影像、動畫相結合的方式呈現於受測者眼前,將試題表現在一個較為真實的情境中。
  • 限制:
  1. 強調測驗內容與系統操作介面的結合,設計者需具備設計程式或是軟體操作的能力。
  2. 設計者未確立電腦測驗目標或是經驗不足,造成測驗效度不高的現象。

伍、 寫作式測驗題電腦測驗(李佳儀)

一、定義

讓受試者用打字的方式來完成句子修改,句子重組,或甚至於完成一篇文章。其優點是可以避免在閱卷時受到字跡美醜所影響,甚至可以電腦來進行批改。缺點是每個人的打字速度不同,對打字速度較慢者不利。(陳柏熹,2005)

二、設計概念

當預測試受事者複雜的學習成果,與組織和提出觀念等高層次的能力時,宜採用寫作式測驗題來測驗。

作答的介面是以多行文字方塊,讓受試者在其中以文字輸入的方式進行作答。作答結束之後,點選下壓式按鈕以送出答案到資料庫之中,在受試者的答案進入資料庫之前,會先進行關鍵字詞的比對,找出已經建立好的關鍵字,將之反白處理之後,在存至資料庫之中。

三、閱卷方式

寫作或申論題的閱卷方式難以採用電腦閱卷的方式來進行,尤其文章中有太多的同義字詞、倒裝句法,電腦仍難以處理,為了在評分上的公平性,採用人工閱卷的方式。

在閱卷教師從資料庫中取出受測者的答案時,可以看到關鍵字詞的部份經過了反白的處理,能夠比較快地了解受試者的答案是否有抓住重點,在閱卷上會比較方便與快速。

陸、電腦測驗的限制(王俋晴)

McCormack及Jones (1997)認為網路測驗能夠改善評量的程序和方法,因為網路測驗具備有節省時間、即時回饋、減少資源、保存記錄、更加便利等特性。

周倩與簡榮宏(1997)的研究則指出,大部份的學生較信任網路測驗的結果,而且認為網路測驗具備效率上的優點,而且也不會影響考試的實力。但是網路測驗也有容易作弊、線上閱讀題目容易疲倦、面對螢幕有礙思考、打字速度影響答題表現等缺點。

Mark(1997)及Bennett et al.(1999)則認為,利用多媒體的方式來呈現更多元的測驗問題,以及利用人工智慧使電腦自動判斷如何去測驗及進行評量,是影響未來網路測驗的二個重要運用技術。

題庫的建立:

對教學者或出題者而言,題目的數量是愈多愈好,題目所提供的試題參數或指標;如難度、鑑別度等,愈詳細愈好。但是要建立一個數量足夠且品質兼顧的題庫,則需花費的時間、人力成本是相當龐大的。而且不足量的題庫拿來使用是相當危險的,受測者容易有背誦、猜題的舉動。還有除了足量且高品質的題庫之外,還要能不斷充實題庫,才能確保題庫的實用性。

測驗實施:

施測者必須準備足夠的電腦供受試者使用,且必須考慮電腦當機等問題(李連順,2000)。考生必需具備基本的電腦操作常識,比如說使用鍵盤、滑鼠來操作電腦。而考試地點也須備有電腦設備,或者嚴苛點,如GMAT電腦適性化測驗GMAT-CAT, 將在個別獨立的空間進行。電腦考場可供考試人數不多,外借考場又有安全疑慮,以目前國家考場中的電腦化測驗試場規模來看,只能容納140人。大量建置電腦化試場需要一大筆經費,而且電腦設備與軟硬體的汰舊換新率相當高,若非經常性的執行電腦化測驗,則大量建置電腦化試場並不符合效益。外借試場是另一項可以考慮的作法,但外借試場的試題安全性與環境設備的一致性,是否會造成應考人的質疑,又是項待解決的問題。

公正性的考驗:

在Internet 上施測,其過程無法控制,只能憑受測者的自由心証,故這種施行方式可當作是線上練習或自我評量用,若要考慮公正性仍然要集中受測者在同一教室或班級,故可依施測的目的來調整施測的方法。電腦化適性測驗有題庫建立不易、估計能力的方法未有定論與計分方式不一致的問題(陳志信,1993)。實施網路考試時,由於遠端冒用替身問題仍無法解決,因此考試作弊無法任意選擇答題的順序。

某些測驗具有爭議性:

雖然電腦化適性測驗建立在同一個量尺上,測驗結果可以相互比較,但是在某些與前途攸關的測驗上,仍難被眾人接受,如:高中聯考、大學聯考、高普考等重大考試,因此個人認為其較適合用在典型表現,如:人格、態度、興趣等量表測驗,而其他部份,如:學科測驗、智力測驗,只要不涉及爭議性仍可適用。

網路塞車問題:

由於人口日益膨脹,上網塞車已成家常便飯,是否會因題目、回饋等的延遲呈現,而影響受試者情緒的不良反應,造成測驗結果的不準確,仍是一個問題。

題型受限:

目前電腦測驗的設計,仍受到傳統紙筆測驗觀念影響,因此考試題目的類型普遍仍以選擇題及文字測驗為主。雖然目前亦有少數系統提供填充題型的測驗,但卻只能做到答案樣式(pattern)比對,而未對答案的詞彙語意進行分析。在填充題測驗中的答案常有許多相同語意的詞彙可互換,因此容易造成電腦測驗評分結果與老師親自評分結果不同,並導致嚴重的測驗評分效力問題。

電腦測驗較不適合呈現必須閱讀文字章節的題型,因為螢幕的解析度可能增加閱讀的困難性(Mazze、Harvey, 1988)。類似數學、理化等必須計算的試題,學生因為必須在草稿紙上抄下題目再計算,而可能影響答題的速度(Ager, 1993)。

柒、未來電腦測驗的發展性(陳筱萍)

電腦與網路應用在建構測驗方面有幾項主要的作用:

1試題的選擇與組合:
因為電腦具有收集、保存資料的基本功能,加上隨機選取和排序的機制,可以針對不同的學生給予不同的試題,達到個別化的測驗方式。
2試題的產生:
可以利用電腦儲存一般化的試題格式或樣版程序,再依需要代入不同的內容。
3題庫的共享:
透過電腦與網路可以將相同科主題的題庫串連,達到資源共享的目的。使得運用電腦來發展測驗與應用測驗是不可抗拒的趨勢。吳裕益(2000)亦曾提及未來教學評量的新趨勢,包括越來越強調使用測驗來提昇教學水準、更重視多元評量及電腦在測驗之應用扮演更重要的角色。

電腦化測驗隨著電腦與網路科技的發展,由單機施測演變至區域網路的施測環境,而有更進一步發展出以網際網路為骨幹的遠距測驗的必要,其目的是希望結合網際網路的優點,提供超越時空、隨選隨測、更彈性的施測環境(何榮桂,1997)。

線上測驗可提供開放性、自主性、自發性的自評工具,其出發點在於輔助學習者找出自己的學習盲點,並提供學習建議。

如果能建立一個完整的評量系統,則將為改進傳統的學習注入一個新的契機,如此一來,教師也可將多餘時間投注在形成性的評量上,並採用歷程記錄、觀察、實驗記錄等多元化的評量方式來實施,以改進教學和學習。並且也可為網路學習帶來更多的優勢,透過線上測驗,讓學生在不受時空的限制之下作自我的評量,不僅能立即得到回饋,還可幫助學生了解學習的盲點,強化學生所學的知識,使印象更為深刻。

若能著眼於克服線上測驗目前所遭遇的一些問題,相信未來以線上測驗取代傳統測驗將是指日可待。而因現行的線上測驗多以選擇題型為主,故未來的研究方向可思考關於填充式題型及開放式題型評量的建構,將可使試題類型更加的多元化,選擇性更多。

另外,由侯妤青(2001)的研究中,我們發現自動造題機制建立的重要性,因此將自動造題機制結合網路的應用,也將是未來重要的研究方向,如若能提供試題編輯的功能,則可讓線上測驗系統提供給更多人參與使用,具有遠距編輯試題的方便性。而試題的評鑑也將是線上測驗系統須加以重視之處,現在的線上測驗系統多缺乏此類的機制或者是以人工方式進行處理,費時費力且影響成效,因此,未來若能在試題的評鑑上導入人工智慧的技術,使得試題的評鑑皆可系統控制完成,以提高試題評鑑的效率,確保題庫中試題的品質,這亦是未來線上測驗系統繼續發展的重點。

再者,對於線上作答者身份確認的問題,也是建構完整線上測驗系統亟需思考的問題,如何杜絕作弊現象的出現,這將考驗著專業人員的智慧。

還有,關於線上多元化評量系統的建構更應是刻不容緩,否則線上測驗將流於只是將傳統紙筆測驗電腦化、網路化而已,而非真正將評量的意義—gather information 呈現,如此的測驗將只是分數的計算機而已。

而對於學生的認知錯誤也應建立相關系統平台,期能給予立即性的分析、回饋。就技術方面而言,則應考慮以專業團隊(包含專業的軟硬體建構人員、課程及試題編輯人員、美工人員、環境架構人員等)的方式進行線上測驗系統的研發,並配合網路頻寬技術及相關軟硬體設施的改進,以達到系統平穩、完整、便於廣泛利用的目的。

捌、參考資料(張麗君)

  1. Newman, W. M. and Lamming, M. G. (1995), Interactive System Design, published by Addision-
    Wesley.
  2. Norman, D. A. (1986), Cognitive engineering. In User Center System Design (Norman, D. A. and Draper, S. W., eds.), pp. 31-65. Hillsdale, NU: Lawrence Erlbaum Associates.
  3. 陶幼慧(89)。互動式系統設計原則應用之研究。研究論文:2000
  4. 朱文禎、張紹勳,1998,「虛擬教室使用者界面之結構模式分析」,國際資訊管理研究暨實務研討會,輔仁大學, 58-65頁。
  5. 網路題庫的建置與應用,JENY's OnLine Book Net
  6. http://203.68.102.46/online_book/content.php?chapter_sn=90(2007/5/24 Online)
  7. 魏春旺,遠距適性測驗之評析,資管人電子書第三期
  8. 楊亨利、應鳴雄,線上測驗系統的評分機制及回饋方式對測驗成績、評分效力、測驗系統滿意度之影響研究
  9. 林敏芳,線上評量應用於教學上的現狀與發展,生活科技教育月刊 二○○五年 三十八卷 第一期,http://www.ite.ntnu.edu.tw/06/jj/book/doc/3801%B1%D01.pdf
  10. Computerized Adaptive Testing(CAT)方式的網路中文口語測驗的開發,村上公一* 砂岡和子 劉松,日本早稻田大學
  11. 陳柏熹,國家考試電腦化測驗相關問題探討,國家精英季刊 二OO六年 六月 第二卷 第二期,http://wwwc.moex.gov.tw/public/Data/681614431771.pdf
  12. 林璟豐(89)。全球資訊網測驗題型之研究。研究論文:2000