正手快帶技術測驗

研究目的是編製桌球甲組選手快帶技術測驗，研究對象桌球甲組選手106名。研究初步丈量受試者快帶右半區落點，依據Rasch模式合理類別的比率，設定類別的距離範圍，將球檯分成三個區域。測驗方法用多球單練方式，測試者發下旋短球到受試者反手區，搓回測試者正手區拉前衝弧圈球至受試者正手區快帶，試做20個球，採Winsteps軟體估計，得到結果： (1) 模式測量估計得到試做和受試者都適合模式，兩者的平均估計標準誤0.03，顯示估計很精確。 (2) 受試者資料校準適合 Rasch測量模式。 (3) 試做測量都適合模式，證明正手快帶技術測驗具有效度。 (4) 類別的校準有效，也證明測驗效度。 (5) 建立正手快帶技術測驗常模。由結果得到結論：能夠編製適合 Rasch測量模式的桌球甲組選手快帶技術測驗。

競技太極裁判評分研究

目的：分析太極拳和太極劍比賽的裁判評分。對象：2009年亞運選拔賽，太極拳、太極劍各6人 (p)，裁判有八位和一位裁判長，規則分為動作質量、演練水平、難度分數等三項(I) 評分，每項各有三位裁判 (R) 評分。方法：採概化理論的 p × (R:I) 混合設計，線性模式為： 。結果：全域分數太極拳0.00619 (佔0.177%) 較太極劍0.00068 (佔0.012%) 高。太極拳和太極劍的項目變異成份分別占78%、86% 是最重要的，表示規則規定的項目良好。裁判巢串在評分項目(R:I) 的變異成份分別占21%、14% 是次要的，它導致可靠性指數 (Φ係數) 極低。太極拳和太極劍的概化係數 (G係數)，當太極拳裁判2人時，達到0.9以上；太極劍則須裁判7人才有0.9以上。結論：太極拳比賽有良好的信度，太極劍須增加裁判人數才有良好的信度。

測驗架構和評價測量模式

心理計量學(Psychometric)

發展試題

選擇試題

依反應如何計算原始分數

如何估計真正的潛能

潛在能力如何解釋

如何確定估計的能力沒有偏差

運動計量學（Sportsmetric）

運用統計和測驗理論探討體育和運動科學的現象，進而估計潛能，驗證各種體育和運動的理論和模式。

運動計量學

認知測驗？

情意測驗？

體能測驗：重複測量單一項目

「二項試作模式」(Binomial trials model)

波松模式(Poisson counts model)

達到標準(trials-to-criterion)或負二項模式(inverse binomial model)

運動成績表現：羽球效標參照組和測驗

運動能力測驗：原住民學生基本體能測驗

發展趨勢

運動計量測驗與心理計量測驗共同的發展

趨勢為：

測驗電腦化

依循理論架構

CTT

GT

IRT

測驗的基本概念

測驗與統計

測驗的類型

最大能力與典型表現

常模參照與標準參照

測驗的理論

古典測驗理論 ：O = T + E

概化理論 ：估計誤差來源

試題反應理論

測驗的品質

信度(Reliability) ：重測、複本、內部一致性

效度(Validity) ：內容、效標、建構

客觀性(Objectivity)

鑑別性(Discrimination or discriminative function)

比較性(Comparative)

實施步驟

釐清架構 1

發展量表一定要有理論依據嗎？

沒有理論可以「獨創」嗎？

架構釐清的重要性

建立題庫 2

題庫的量

初步研究階段題目的數量

基於重複或是多餘的基礎上增加量表的內部一致性

題庫的質

英文：9個單字13個音節的句子、與19個單字22個音節的句子

中文：字頻表2733或3500以內；語句、文法與修辭

該不該有反向題？

設定量尺 3

何時決定量尺？

三種反應類別

「同意方式」（反應同意程度）

「評價方式」（價值評分，反應好壞）

「頻率方式」（數字分類或是口頭分類）

量尺的刻度何者為佳？

專家檢視 4

三種協助

確認研究者對問項的假設

問項的適當性進行評估

是否有研究者忽略的研究方法

專家檢視是萬靈丹？

加入效度評估問項 5

「效度評估問項」 ？

兩種類型的問項

國內測驗工具的使用狀況？

初步研究 6

初步研究的必要性？

初步研究的樣本數量？

第一階段樣本數量

第二階段樣本數量

初步研究的次數？

試題分析 7

試題分析關注的焦點？

問項間的相關程度應該高或低？

Cronbach的Alpha(α)值 與McDonald的Omega(ω)值

α係數的主要目的是計算測驗的信度？

α值其範圍應該定在多少？

試題統計部分的正確機率（難度）與鑑別指標（極端組法與點二系列法）

決斷量表長度 8

量表長度的取捨依據？主觀與客觀

mGT的運用

信度、效度、常模與標準 9

信度

效度：AERA、APA & NCME （1985）

效標關聯效度

區別和聚斂效度

因素效度：探索性與驗證性因素分析

常模與標準

結語

對於社會和行為科學的研究來說，測量是相當重要的，因此，研究者應小心謹慎的設計、評估與運用，使變項間的關係更為清楚，別讓粗糙的量表編製模糊了研究的焦點，或限制了推論的可能性。

0612體育測驗編製工作坊--編製測驗程序

1、整個編製測驗總加評分量表的程序共有五大步驟：界定架構、設計量尺、初步研究、施測和試題分析、分析效度和建立常模。目前有許多自編的測驗總加評分量表在第一和第五步驟沒做好，因為「界定架構」和「分析效度和建立常模」最難。

2、當你決定要編製測驗總加評分量表時，首先要清晰且明確的界定架構，然後就架構設計量尺，決定量尺的格式和類別後，接著編寫試題；完成的量表必須經過「初步研究」，目的在於修正不明確、混淆的試題，使評分量表符合實際的需求，才能進一步施測和試題分析，至少須要有一百至兩百個樣本，並計算α信度，淘汰不良的試題和再修改有問題試題。最後呈現效度和建立常模，效度包括效標相關效度、區別和聚殮效度、因素分析等三種，以呈現量尺企圖測量構念的特質，它是理論上假設的構念；常模則是描述母群在量尺分配的特質，用以說明個人在母群中的位置，所以須要大量的樣本，才能用以推估母群。

0612體育測驗編製工作坊

一、計畫緣由

體育運動的人文社會領域中經常使用問卷調查作為研究的工具，姚漢禱 (1998) 分析「體育學報」第20至23輯(1996和1997年)使用測驗總加評分量表的論文數量，共有28篇、佔22﹪，單就人文社會科學計算則高達33﹪。林本源 (2008) 再針對2004至2006年「體育學報」和「大專體育學刊」等兩份體育學術界代表性刊物進行相關調查發現，在人文社會科學領域的論文中使用問卷或是量表作為研究工具的論文數中，大專體育學刊（6卷1期到8卷3期）占60.8％；體育學報（36輯到39卷3期）占50％。因此在體育運動的人文社會科學領域而言，問卷調查工具的使用是日益頻繁而且重要的。

二、教案設計

工作坊名稱: 體育測驗編製工作坊
目的：理論和實際同步，研習測驗編製並進行操作分析。
時間：課程內容的安排以一天為限，盡量排在週五或週六。
地點：國立台灣體育大學。
師資：聘請校內外對測驗編製有研究的學者。
對象：大學教師或研究所的研究生。
名額：35人(歡迎各系所踴躍參加，開放校外名額5人)。
計畫連絡人：運動技術研究所(03-3283201#2502、2504)。

多層面的線性模式與分數效果

二層面概化理論設計

當測驗除受試者 (p) 外，還有試題 (i) 和評分者 (r) 層面。
1.p × i × r 設計
2.p × (i : r) 設計
3. ( i:p ) × r 設計
4. i : (p × r) 設計
5. ( i × r) :p 設計
6.i : r : p 設計

二層面設計效果

受試者 (p) 、試題 (i) 和評分者 (r) 層面。

0515多層面概化理論與應用工作坊

概化理論在體育運動方面的可應用的地方： (1)改善運動競技中主觀評審的制度：例如競技體操的評分誤差變異來源有裁判、試做次數，概化研究有助於檢討目前制度的缺失。 (2)建立良好的運動技能測驗品質：例如測驗應試做次數、成功標準、分界分數、試做時間如何訂定﹖ (3)多變項概化理論的應用：對量表或問卷具有多個向度時，信度的問題、權重和多重變異來源的認識等很有用。
體育測驗研究發展中心在舉辦「概化理論入門與簡單應用研習會」之後，進一步推出「多層面概化理論與應用工作坊」，滿足研究者更多的需求，能夠更全面的應用在估計多種測量誤差來源，提供各種層面的概化信度係數，利於研究者對於研究條件做最適當的決斷。再度歡迎各位來參加體育測驗研究發展中心的「多層面概化理論與應用工作坊」，擴大上次研習的效果，更熟悉概化理論與實例應用，不再為測驗的信度、實驗的誤差、評分者人數和試做次數等問題煩惱。

概化理論入門與簡單應用研習會-4

(四) GENOVA的操作說明
1、GENOVA 是一個概化變異數分析系統，Crick 和 Brennan 1983年為美國大學測驗服務中心所寫的程式，主要分為兩部份，第一部份描述如何使用 GENOVA 進行概化研究並解釋輸出的結果，第二部份描述如何使用 GENOVA 進行決斷研究和如何解釋結果。
2、執行時在DOS 下鍵入 GENOVA 和控制卡檔名，當檔案載入RAM 後，它會要求輸入結果的輸出檔名，確定後便開始執行。結果檔首先是GENOVA封面，接著第一頁是控制卡程式，第二頁是推估主要和交互作用效果分析表，第三頁是列出輸入的前、後十筆記錄和平均數，第四頁是變異數分析摘要表，第五頁是概化研究的結果，第六頁是期望均方值計算公式，第七頁是估計變異成份的變異數─共變數矩陣；如果有決斷研究，第八頁是決斷研究控制卡程式，第九頁起是每一個設定的決斷研究結果，最後一頁是全部決斷研究結果的摘要表。
3、GENOVA 程式有幾項特色：(1) 程式所佔的空間小(僅250656 位元)，很容易在個人電腦上執行。(2)有能力處理很大的資料集(3500個觀察體)且速度快效率高。(3)程式的控制卡操作簡便，使用者參考手冊就能達成。(4)概化研究和決斷研究一次完成，有許多輸出(變異成份、標準誤....等)。(5)輸入期望均方值或變異成份也能運算。

概化理論入門與簡單應用研習會-3

(三) 決斷研究(D-Study) 和實例
1、決斷研究(D-Study)：決斷研究則運用概化研究的結果，擇取最小誤差和最大信度 (概化係數) 的設計。所以概化研究是一些估計的過程，而決斷研究是屬應用的程序。
2、相對和絕對的決斷：相對的決斷是指基於「相對的標準」或「個人的排名」時的決斷，絕對的決斷則是說明測驗分數的絕對水準。不同的用途使用不同的概化係數，相對決斷使用概化係數，絕對決斷時稱為可靠性指標或φ係數。
3、決斷研究實例：Yau, H.D. (1995). Applications of generalizability theory to decide the goodness of fit trials for fixed length tests in the psychomotor test. Paper presented in The FISU/CESU Congress, The 18th Universiade 1995 Fukuoka.

概化理論入門與簡單應用研習會-2

(二) 概化研究(G-Study) 和實例
1、期望均方值(Expected Mean Squares) ：它是假設變異數的平均值，為計算類似的觀察體群；即從樣本資料算出推估母群的均方值。概化理論中期望均方值為估計變異成份之用。
2、變異成份和總變異的百分比：變異成份表示隨機因素中每一效果對依變項之總變異的貢獻，如果換算為總變異的百分比更清楚各變異來源的權重。
3、概化研究(G-Study)：概化理論可區分為概化研究和決斷研究兩大部份，概化研究是估計測量各種可能誤差的變異來源，包括期望均方值、變異成份和總變異等項。實例：姚漢禱 (1995) 應用概化理論判斷運動技能測驗固定試做的適宜次數。

概化理論入門與簡單應用研習會

(一) 概化理論的基本認識
1、層面(facet) ：因為概化理論是估計多種測量誤差來源，這些誤差來源稱為層面；相當於變異數分析時的因子(factor)。概化理論須先確定測驗的層面，並依測驗的需要找出測量的目標，這個目標的變異數即真實變異數部份，剩下的就是誤差變異數部份，在決斷研究時目標的變異量都不改變，每一個測驗條件的改變只針對誤差的變異量調整。
2、隨機和固定模式：概化理論主要的希望推估母群的情形，所以至少有一個層面的水準假設是抽自母群的隨機樣本，才能做概化的研究，這就是隨機模式。在古典測驗理論中各層面的水準就是母群的全部，稱為固定模式，即測驗的標準化，所以不能進行概化研究。
3、交叉(crossed) 、巢串(nested)和混合(mixed) 設計：概化理論估計變異來源是利用變異數分析法，所以需先了解實驗設計是屬於那一種﹖概化理論的交叉和巢串設計，即變異數分析法的重複和獨立設計(或稱受試者內和受試者間)，而混合設計是包含交叉和巢串兩種。