0612體育測驗編製工作坊

一、計畫緣由

體育運動的人文社會領域中經常使用問卷調查作為研究的工具，姚漢禱 (1998) 分析「體育學報」第20至23輯(1996和1997年)使用測驗總加評分量表的論文數量，共有28篇、佔22﹪，單就人文社會科學計算則高達33﹪。林本源 (2008) 再針對2004至2006年「體育學報」和「大專體育學刊」等兩份體育學術界代表性刊物進行相關調查發現，在人文社會科學領域的論文中使用問卷或是量表作為研究工具的論文數中，大專體育學刊（6卷1期到8卷3期）占60.8％；體育學報（36輯到39卷3期）占50％。因此在體育運動的人文社會科學領域而言，問卷調查工具的使用是日益頻繁而且重要的。

二、教案設計

工作坊名稱: 體育測驗編製工作坊
目的：理論和實際同步，研習測驗編製並進行操作分析。
時間：課程內容的安排以一天為限，盡量排在週五或週六。
地點：國立台灣體育大學。
師資：聘請校內外對測驗編製有研究的學者。
對象：大學教師或研究所的研究生。
名額：35人(歡迎各系所踴躍參加，開放校外名額5人)。
計畫連絡人：運動技術研究所(03-3283201#2502、2504)。

多層面的線性模式與分數效果

二層面概化理論設計

當測驗除受試者 (p) 外，還有試題 (i) 和評分者 (r) 層面。
1.p × i × r 設計
2.p × (i : r) 設計
3. ( i:p ) × r 設計
4. i : (p × r) 設計
5. ( i × r) :p 設計
6.i : r : p 設計

二層面設計效果

受試者 (p) 、試題 (i) 和評分者 (r) 層面。

0515多層面概化理論與應用工作坊

概化理論在體育運動方面的可應用的地方： (1)改善運動競技中主觀評審的制度：例如競技體操的評分誤差變異來源有裁判、試做次數，概化研究有助於檢討目前制度的缺失。 (2)建立良好的運動技能測驗品質：例如測驗應試做次數、成功標準、分界分數、試做時間如何訂定﹖ (3)多變項概化理論的應用：對量表或問卷具有多個向度時，信度的問題、權重和多重變異來源的認識等很有用。
體育測驗研究發展中心在舉辦「概化理論入門與簡單應用研習會」之後，進一步推出「多層面概化理論與應用工作坊」，滿足研究者更多的需求，能夠更全面的應用在估計多種測量誤差來源，提供各種層面的概化信度係數，利於研究者對於研究條件做最適當的決斷。再度歡迎各位來參加體育測驗研究發展中心的「多層面概化理論與應用工作坊」，擴大上次研習的效果，更熟悉概化理論與實例應用，不再為測驗的信度、實驗的誤差、評分者人數和試做次數等問題煩惱。

概化理論入門與簡單應用研習會-4

(四) GENOVA的操作說明
1、GENOVA 是一個概化變異數分析系統，Crick 和 Brennan 1983年為美國大學測驗服務中心所寫的程式，主要分為兩部份，第一部份描述如何使用 GENOVA 進行概化研究並解釋輸出的結果，第二部份描述如何使用 GENOVA 進行決斷研究和如何解釋結果。
2、執行時在DOS 下鍵入 GENOVA 和控制卡檔名，當檔案載入RAM 後，它會要求輸入結果的輸出檔名，確定後便開始執行。結果檔首先是GENOVA封面，接著第一頁是控制卡程式，第二頁是推估主要和交互作用效果分析表，第三頁是列出輸入的前、後十筆記錄和平均數，第四頁是變異數分析摘要表，第五頁是概化研究的結果，第六頁是期望均方值計算公式，第七頁是估計變異成份的變異數─共變數矩陣；如果有決斷研究，第八頁是決斷研究控制卡程式，第九頁起是每一個設定的決斷研究結果，最後一頁是全部決斷研究結果的摘要表。
3、GENOVA 程式有幾項特色：(1) 程式所佔的空間小(僅250656 位元)，很容易在個人電腦上執行。(2)有能力處理很大的資料集(3500個觀察體)且速度快效率高。(3)程式的控制卡操作簡便，使用者參考手冊就能達成。(4)概化研究和決斷研究一次完成，有許多輸出(變異成份、標準誤....等)。(5)輸入期望均方值或變異成份也能運算。

概化理論入門與簡單應用研習會-3

(三) 決斷研究(D-Study) 和實例
1、決斷研究(D-Study)：決斷研究則運用概化研究的結果，擇取最小誤差和最大信度 (概化係數) 的設計。所以概化研究是一些估計的過程，而決斷研究是屬應用的程序。
2、相對和絕對的決斷：相對的決斷是指基於「相對的標準」或「個人的排名」時的決斷，絕對的決斷則是說明測驗分數的絕對水準。不同的用途使用不同的概化係數，相對決斷使用概化係數，絕對決斷時稱為可靠性指標或φ係數。
3、決斷研究實例：Yau, H.D. (1995). Applications of generalizability theory to decide the goodness of fit trials for fixed length tests in the psychomotor test. Paper presented in The FISU/CESU Congress, The 18th Universiade 1995 Fukuoka.

概化理論入門與簡單應用研習會-2

(二) 概化研究(G-Study) 和實例
1、期望均方值(Expected Mean Squares) ：它是假設變異數的平均值，為計算類似的觀察體群；即從樣本資料算出推估母群的均方值。概化理論中期望均方值為估計變異成份之用。
2、變異成份和總變異的百分比：變異成份表示隨機因素中每一效果對依變項之總變異的貢獻，如果換算為總變異的百分比更清楚各變異來源的權重。
3、概化研究(G-Study)：概化理論可區分為概化研究和決斷研究兩大部份，概化研究是估計測量各種可能誤差的變異來源，包括期望均方值、變異成份和總變異等項。實例：姚漢禱 (1995) 應用概化理論判斷運動技能測驗固定試做的適宜次數。

概化理論入門與簡單應用研習會

(一) 概化理論的基本認識
1、層面(facet) ：因為概化理論是估計多種測量誤差來源，這些誤差來源稱為層面；相當於變異數分析時的因子(factor)。概化理論須先確定測驗的層面，並依測驗的需要找出測量的目標，這個目標的變異數即真實變異數部份，剩下的就是誤差變異數部份，在決斷研究時目標的變異量都不改變，每一個測驗條件的改變只針對誤差的變異量調整。
2、隨機和固定模式：概化理論主要的希望推估母群的情形，所以至少有一個層面的水準假設是抽自母群的隨機樣本，才能做概化的研究，這就是隨機模式。在古典測驗理論中各層面的水準就是母群的全部，稱為固定模式，即測驗的標準化，所以不能進行概化研究。
3、交叉(crossed) 、巢串(nested)和混合(mixed) 設計：概化理論估計變異來源是利用變異數分析法，所以需先了解實驗設計是屬於那一種﹖概化理論的交叉和巢串設計，即變異數分析法的重複和獨立設計(或稱受試者內和受試者間)，而混合設計是包含交叉和巢串兩種。