MiniJudgeJS Version 1.1.2 - Last updated on May 1, 2018
MiniJudge是什麼?
略過簡介
MiniJudgeJS是個小規模判斷實驗的工具。它能以最簡單的方式幫助您設計、執行、分析語言判斷實驗並得到最有效的結果。
簡潔性: 若您有現成的受試者,在幾天之內您就能將單純的直覺轉換為有統計結果支持的通則。這種實驗法所花費的時間遠少於一般心理語言學實驗,同時也僅稍慢於一般句法學家蒐集語料的速度。
權威性. MiniJudgeJS 能收集多位受試者對於相似語料的判斷 ,並使用精密的統計工具來分析這些資料以求找出其中的通則。如此一來你將能夠知道是否某些通則的確是受到句法因素的影響,抑或只是肇因於理論偏見、單一語 言使用者或句子的特殊表現、或是語言處理所造成的影響 。
軟體需求: MiniJudgeJS就是您正瀏覽的網頁:一個包含著Javascript的HTML文件。 MiniJudgeJS 已經完成在Firefox 1.5, WindowsXP Professional 5.1環境下的完整測試,並應能相容於其他版本的Firefox甚至不同平台上的各種瀏覽器。若你發現任何程式相容性、問題及程式本身功能的建議,我們極度歡迎你和我們聯絡。
為了要分析MiniJudgeJS所收集到的結果,你必須要安裝統計軟體 R。有關 R 的資訊你可以上(www.r-project.org)瀏覽。 R 是個免費軟體,若你想下載 R 來分析MiniJudge的結果,請按 這裡。
更多基本資訊:要是你是首次使用MiniJudgeJS,你可能必須要仔細閱讀以下資訊來瞭解MiniJudgeJS的運作。若有需要,你也可以將本網頁列印閱讀(大約20頁長)。
一次完整的使用MiniJudgeJS包含了許多階段。有時你只需一次按鍵便能跳到下一步,有時你則必須根據跳出的訊息指示來完成某些步驟。這 些步驟主要分為三部分:設計、執行以及分析。由於MiniJudgeJS目前尚未提供儲存的功能,最安全的作法是一次完成一個部分。同樣,使用 MiniJudge時請勿重新整理網頁,否則將會導致資料流失。若你需要備份資料,你可以在任何時候將網頁上的資料複製至其他文件檔儲存。
若你想在離線狀態下使用MiniJudgeJS,請將這個網頁儲存在電腦中。(若有需要也可以一併儲存有關MiniJudgeJS進一步資訊的網頁) 在離線狀態開啟MiniJudgeJS可能會造成Internet Explorer出現有關安全性訊息的警示,但請勿擔心,因為MiniJudge並不會存取任何硬碟中的資料,而只是藉由複製和貼上來達成輸入和輸出的功 能。 若離線狀態下執行MiniJudge出現任何有關安全性的警告,請選擇讓IE執行MiniJudge或使用其他更相容的瀏覽器來執行。
MiniJudgeJS的著作權受到GNU 通用公共授權保護。 基本上,你可以自由散佈這個軟體(如架設鏡像站)或根據自己的需求修改程式碼,甚至將它整合進商用軟體中。但是MiniJudgeJS的貢獻必須被提及, 而這部分的程式碼必須保持公開。有關這部分的資訊請參考網頁來源的部分。
MiniJudgeJS目前仍有許多需要改進的地方。若在使用中有不明問題發生或您有任何對軟體改善的建議,請聯絡MiniJudge的作者並附上相關訊息如:您使用的作業系統、瀏覽器及問題發生時的情況 。我們的目標是改善所有問題,但若有迫切需要,你也可以加入修改MiniJudgeJS的行列。
要是你的研究中使用了MiniJudgeJS,請將它列入你的參考資料中。MiniJudgeJS也已經被證明對於教學方面能有幫助。
若你需要更多有關判斷實驗、小規模實驗法、MiniJudge和 R的資訊,請按這裡。
步驟
完整的使用MiniJudgeJS包含了以下的步驟。若您想完成之前未完成的實驗,請略過之前已完成的部分繼續。
設計實驗
MiniJudge使用變因設計來獨立出想探討的句法變因並排除掉不相關的因素。為了盡量簡化設計過程,所有的句組都從一組原型句組衍生而來。
選擇實驗變因
選擇並命名一個或兩個二元變因。這些變因可以代表一個句法、詞彙或其他任何區分你原型句/詞組的變因。你可以 選擇一個預期會有語言能力上的影響的變因(例如"AdjunctExtract"代表原型句組和adjunct island的實驗相關),或是一個和語言表現有關的變因(例如"CenterEmbed"代表實驗和句中關係句有關)。
注意: 若是你有兩個變因,你必須使用兩個不同字母開頭的字串作為變因名稱,因為之後MiniJudgeJS將會取它們的字首作為變因的簡稱。此外,變因名稱不得包含空白,否則使用 R分析實驗結果時將會碰到問題。
若是選擇兩個變因進行實驗,MiniJudgeJS將不只會測試兩個變因單獨的影響,還會測試變因之間的互相關係。 舉例來說,你可能預期"AdjunctExtract"和"CenterEmbed"兩個變因都對受試者的判斷有顯著地影響,但這兩個變因之 間的互動則不具影響(因為這兩個變因可能分別屬於語言能力和語言表現兩個獨立的模組)。 但相反地,若實驗的變因是"Adjunct"和"WhMove",則可能這兩個變因本身不會有顯著的影響力(因為adjunct和wh-movement 兩者都是合語法的),但兩個變因的互動卻對受試者的判斷有顯著地影響(因為移出adjunct的wh-movement是不合語法的,但來自non- adjunct字串的wh-movement則相反)。
輸入您想要的變因名稱,並按下OK:
選擇原型語料
就像語言學文獻中的例句一樣,在選擇MiniJudge的原型語料時,請只對與變因相關的部分做出變動,盡量不要更動非相關的部分。
+A
+W
Who did you know because I saw?
-W
You knew because I saw him.
-A
Who did you know I saw?
You knew I saw him.
請在下面的空格根據變因值的填入相對應的原型句/詞,一個變因值填入一個對應的原型句/詞。而變因的值則以變因名稱的第一個字母作為縮寫加上正負號表示。
(例如+A+W就填入從adjunct中移出whe-element的句子)。
當你覺得已經填入正確的原型句後,請按OK。
選擇語料數量
一組句子/詞可能不足以得到可靠的統計結果。此外,單一句/詞組可能包含了未知的獨特性而不足以成為該類型語料的代表。理想的語料數量約為5到20組。
請在下方輸入語料數量並按下OK:Enter your chosen number in the box below, then click OK.
語料數量:
將原型句/詞組分斷 略過簡介 / 跳到實驗句列表
MiniJudgeJS能幫助你產生多組實驗需要的句/詞組,但由於它並不具備人類的語言能力,有時在產生句/詞組時會發生問題。若你想要自行產生實驗句/詞組,請按這裡。無論使用何種方法,參考詞典都可以幫助你加快想出結構相同的相似句/詞。(詞典資源可在網際網路上搜尋)若你需要更多資訊,請看這裡。
MiniJudgeJS以原型語料做範本產生其他實驗所需要的句組。若你已經完成上列的步驟,MiniJudgeJS將會替你將原型語料分成幾個字串。你可以用相同性質的字串來代替這些原型字串或維持原本用字而不影響語料的結構。
以下是將原型句組分段的範例:根據以下的句子,MiniJudgeJS將know和knew區分為兩個不同的字串,並自動忽略大小寫將You和you歸類為同樣的字串。此外,在原型句組中總是以一起出現的字如who did和I saw也會被MiniJudge視為同一個字串。(若你對MiniJudge分段的方式仍然不甚清楚,請參考接下來的兩個步驟)
who did you know because I saw knew him
Who did you know because I saw? You knew because I saw him. Who did you know I saw? You knew I saw him.
小秘訣: 你可以在原型句/詞組中加上特殊符號 "|" 來標示你不希望被分開的字串。 (例如有固定順序的特殊用字或中文的慣用語) 若你想現在編輯原型句組,請按這裡。
由MiniJudgeJS分段後的原型字串將出現在以下的視窗。你可以參考右邊視窗的原型句組來確認MiniJudge的分段符合實驗設計以及 實驗目的的要求。若有需要的話,你可以修改被分段的字串並確認這些字串是在其他句組中會被以相同結構的字串所取代的。注意:本版的MiniJudgeJS 最多只允許原型句組被區分十個字串,超過的字串則無法在其他句組中以結構類似的字串代替。為了減少字串總數,你可以將字串互相結合,或刪除不需要改變的字 串。(如that-trace effect實驗中的that)
當你確認原型句組的分段沒有問題後,請按OK。
將原型句/詞組以同類型語料代替
為了要產生與原型句組相似的實驗句,你必須輸入擁有與原型字串相似性質的字串。舉以下的例子來說,為了要產生兩個與原型句組相似的實驗句,你必須要輸入一些句法性質相同的字串(02和03為新產生的實驗句,原型句組將被編號為01):
01
who did
you
know
I saw
knew
him
02
03
請於以下的視窗,根據原型句組分段的結果以及編號的指示,輸入要代替原型字串的新字串(從02 開始,並請勿修改任何字串編號)。若箭頭出現在表格邊緣,請按它已確定所有空格都被填滿。若您想重複使用原型字串,請從標題列複製;若你想刪除任何一個原型字串,請輸入空白鍵;若你想重複使用原型字串,請從標題欄複製貼上。在本階段,你無法增加任何原型 字串。若你想修改你的原型句來刪除某些字串,請按 這裡。
若你已經輸入好所有新的字串,請按OK。
在此輸入同類型語料
認可並儲存語料列表
若你想要自己編輯語料,請在所有的語料前搭上正確的變因值並填入以下的表格。(請注意,變因值必須縮寫成一個英文字母)
若你選擇了使用MiniJudgeJS來產生語料,請仔細地檢查以下由MiniJudgeJS所產生的語料並視情況編輯它們。(注意:每行前面有兩組數字,第一組是以實驗句/詞為單位編號,第二個是以實驗句/詞組為單位編號。請不要修改編號或是在句首出現的變因值!)
當你確認過語料列表後,請按OK。
檢查/編輯語料列表
當你已經確認語料列表後,請複製、貼上並儲存在你電腦中的一個檔案做備份。你可以以任何名稱為檔案命名並存在電腦的任何位置,但請務必儲存此列表,因為你在下一步驟產生問卷時仍會需要它。若您必須中斷實驗設計,請在下次開始時由此開始。重新開始的步驟為:先在上面的視窗中輸入語料列表並重新認可它。
執行實驗
MiniJudgeJS本身並沒有執行實驗的功能,但它能產生問卷讓你發送給受試者。你可以將它產生的問卷複製到文字處理軟體上並加上編號印出成為紙本問卷,也可以分開複製每份問卷並經由電子郵件發送給受試者。
重要: 要是你先前曾中斷MiniJudge並從這裡重新開始,你必須先將實驗句列表貼到上面的視窗並重新認可它。
選擇受試者數目
單單一個受試者可能無法提供統計上有力的結果。除此之外,單一受試者可能有無法預測的個人特性而無法代表一般人的平均表現。因此,一個實驗的理想受試者人數大約是十到二十五人。
請在以下的空格輸入受試者數目,然後按OK。
受試者數目:
編輯實驗指導語
在目前的版本中,MiniJudgeJS只提供受試者兩種選項:是和否。 (有關受試者可使用的選項的說明,請看這裡) 若是受試者是藉由電子郵件的方式收到問卷的話,他們必須填上"1"來代表"是(可接受)"或"0"來代表"否(不可接受)"。而受試者必須在句/詞首的編號前面填上答案。這些使用上的規定必須要在實驗指導語中清楚說明。
底下視窗中的文字是一份指導語範例,你可以將它翻譯成和實驗內容相同的語言或是直接刪除並自行編寫指導語。
當您寫好指導語後,請按OK以產生問卷。
在此編輯實驗指導語
IMPORTANT: Your participation in this study is entirely voluntary. If you wish to participate, you must read and electronically sign the attached informed consent form. For each item below, decide whether or not it seems English-sounding, that is, whether it could be spoken by a native speaker of English. If you think it does, put "1" before the item (at the beginning of the line). If you don't think so, put "0". If you aren't sure, put "1" or "0" anyway -- just guess! Please give a judgment for EVERY item, in the order that they are shown. Some items are quite similar to each other, but please consider each one separately. When you are done, send back the whole email with your judgments. After I get enough surveys back, I will tell you and everybody else what this is all about. Thanks for your help!
儲存問卷資訊
若你已經完 成以上的步驟,代表藉由執行 MiniJudgeJS,你已經完成了語料及指導語編輯,並已經產生了一定份數的問卷。在每一份問卷 中,語料出現的順序都被MiniJudgeJS隨機打散。選擇讓實驗句以隨機順序出現的原因部分是 因為 要讓各種類型的語料平均的出現在問卷中(更多有關隨機順序出現的方法的資訊請按這裡。此外,隨機順序和平均分配還有另一個優點, 請按這裡參考說明。)
為了避免干擾,在給受試者作答的問卷上將不會有關於變因及語料分組編 號的資訊。但是MiniJudgeJS在 統計分析的階段將還是需要這部份的資訊。因此MiniJudgeJS將 會以下視窗中列出有關變因及實驗句分組編號的資訊。(但語料將不會出現在下面視窗)因此,雖然以下視窗中的資訊可能不好理解,但仍是MiniJudgeJS執 行時的必要資訊。
由此複製問卷資訊
若你對於問卷資訊中的編號感興趣,以下是它編排的方式:
複製問卷並列印或寄發
以下的視窗 包含了所有你將要讓受試者回答的問卷。請注意,問卷和問卷之間將會用線分隔,而每份問卷都各自 包含了實驗指導語、受試者編號(以##開頭)以及以數字標明順序的實驗句。
由此複製 問卷
分析實驗
MiniJudgeJS使用R作為分析實驗結果的統計工具。但 MiniJudgeJS將會幫你使用R來得到一份簡單明瞭的實驗結果報告。
下載並安裝R 略過這個步驟
藉由MiniJudgeJS所得到的資料是重複測量的二分類別資料(受試者針對各類型的數個實驗句做出是或否的判斷),而這類型了 資 料需要一種高度複雜的統計分析方式GLMM來分析。目前我們還無法將它以 JavaScript執行,因此這部分將留待之後完成。
由於MiniJudgeJS本身並不具備統計分析的功能,我們改用 R來 完成這部分的工作。 你 必須在進入下一步之前先下載並安裝 R。R是目前最好的免費統計軟體,若你想從事任何量化研究,我們認為 R是一套值得擁有的軟體。 有 關 R 的軟體資訊以及下載和安裝方法,請按這裡。
輸入問卷結果 略過簡介
MiniJudgeJS以兩種方法處理問卷結果:1.在每個實驗句句首以"1"或"0"作答的電 子問卷。2.一份由你根 據受試者完 成的紙本問卷上"1"或"0"的回答輸 入在電腦上的文字檔案。
無論你使用以上哪種方法,MiniJudgeJS都需要知道有關問卷編號及實驗句/詞出現順序的相關資訊。
##02 1 > (1) This experiment is boring. 0 > (2) I fun am having. > (3) Colorless green ideas sleep furiously. 1 > (4) When will this experiment be over? ... ##01 0 (1) p0 (2) ... ##03 (1) Bananas are yummy. 1 (2) Bananas yummy are. 0 ... ##04 (1) 1 Whatever. 0 1 (2) Yeah, sure. 0 ...
請注意,以上三份問卷的格式都是有問題的:二號受試者在回覆電子郵件時 並沒有刪除">"的 符號;實驗主試者不小心在 輸入一號受試者的資料 時 多打了一個"p";而三號 受試者沒有詳細閱讀實驗指導語而將答案輸入在句末而非句首的地方。雖然這三份資料都是有問題的,但MiniJudgeJS還是可以處理它們。MiniJudgeJS搜尋受試者判斷的方式是尋找每個句子編號之前的"1"或"0'並將它當 作受試者對這個句子的判斷。要是在編號前無法 找到"0"或"1",它將會 跳到句末的位置搜尋可能的答案。除此之外的資料都將被忽略,所以無論是不小心輸入的字或是指導語及句子本身在搜尋判斷時都會被 MiniJudgeJS忽略。
此外,二號受試者忘了對編號(3)的句子做出判斷,但這也是MiniJudgeJS可以處理的。GLMM並不像某些統計方法一樣會 因 為缺少某部分的資料而嚴重影響分析結果。因此除了缺少某些語料的判斷外,就算你無法找到預定數量的受試者也不會因此無法完 成實驗。但當然,缺少太多資料或是有某些資 料非隨機性的消失仍然會造成問題,因此請還是要求受試者儘其所 能完成問卷。
在此輸入實驗結果
產生資料檔案
為了要將你 收集到的實驗結果轉換成可以讓R可以分析的檔案,MiniJudgeJS必須將剛才輸入的實驗結果與實驗變因搭配。之前儲存 的問卷資訊將幫助你完成這個步驟。
在此貼上問卷資訊
加入鄰項密度 (非必須,僅適用於字詞判斷) 略過
受試者對於字詞大小的非字(例如:瓶巴)的可接受度判斷會強烈受到鄰項(相似)的字詞影響。為了能分離出這項效應,請使用MiniCorp 計算實驗語料的鄰項密度。(你將需要實驗的語料列表以及一個包含所有該語言詞彙的語料庫)若你覺得不需要或不適用,請按這裡略過這個步驟。
在下方的視窗貼上MiniCorp產生的鄰項密度檔案。然後按下OK來將鄰項密度加入資料檔案。
在此輸入鄰項密度
儲存資料檔案
若是一切順利的話,一個可以提 供 R分析的資料檔案的內容將會出現在下面的視窗(雖然檔 案內容可能看起來不整齊,但它實際上是對齊的)。 請複製並將內容存成一個純文字檔案
由此複製資料檔案
產生R程式碼
R必須要知道包含副檔名的完整資料檔案名稱(例如: *.txt)才能成功執行分析。然而在Windows的環境下的預設值無法看到副檔名,所以若你是Windows的使用者,就算在資料夾中沒有看到副檔名也請你在輸 入檔名時記得在檔名後加上".txt"。(若你使用的是 Mac的作業系統則不需要擔心這個問題)
你也必需決 定是否要讓 R測試使用者是否對實驗句產生句法饜足感。 句法饜足感是一種會讓受試者覺得對於可接受與不可接受的句子的 差異隨著時間減弱的心理語言學現象,這個現象被某些學者認為是一個可以用來探究語言能力、語 言 表現以及兩者之間的關係的新研究方向。然而在MiniJudgeJS中 測試這個現象可能會降低偵測其他變因的有效性的靈敏度。
最後,若您以字詞作為實驗的語料並已將鄰項密度加入資料檔案,則請在此決定是否讓R分離出鄰項密度的效應。
資料檔案名稱:
測試句法饜足感:
分離鄰項密度:
將R程式碼輸入R
目前為止,MiniJudgeJS已經產生了分析實驗結果所必須的R程式碼。當你將這個程式碼貼到R的視窗後,R將會自動開始測試實驗變因、變因之間的互動(若實驗 包含兩個變因)及實驗句出現順序的顯著性。若你決定測試句法饜足感,R也能一併測試實驗 變因跟實驗句出現順序之間的互動。在你的要求下,R也會將字詞判斷實驗中的鄰項密度效應分離。
注意: 與舊版的MiniJudgeJS不同,MiniJudgeJS 1.1.1使用"Item"而非"Sentence"作為語料分組的名稱。若你使用的是舊版MiniJudgeJS所產生的資料檔案,請在執行分析前先修改檔案中的標題名稱。
R本身會產生一份詳盡但較艱澀的結果報告,這份報告會自動被儲存於存放資料檔案的資料夾。同時,R也會將這份結果報告簡化為一份簡短且易讀的摘要。
*在Linux系統下將R程式碼貼入終端機視窗將無法產生正確的結果分析。因此在使用Linux系統執行R時,請先將R程式碼儲存成一個獨立的檔案 (例如: mjRcode),然後使用R內建的source 功能 (格式為: source("mjRcode"))。
由此複製 R 程式碼
在執行完上面的程式碼後,實驗結果的統計分析已經結束。
實 驗的顯著性可以分為顯著的正面影響與顯 著的負面影響。一個二分變因的正面影響代表這個變因的變因值為正的時候受試者 作出"1"的判斷的機率會增加,而變因值為負時則相反。例如當"順序"這個變因有正 面影響代 表隨著實驗的進行,受試者作出越來越多"可以接受"的判斷。相反的,若它有負面影響則代表隨著實驗的進行,"不能接受"的判斷越來越常出現。而若你設定的 實 驗變因和順序這個變因出現互動就表示受試者出現了句法饜足感:這代表受試者對於可接受與不可接受的句子之間差異的越來越低。而實際上如何解釋變因之間的 互 動或變因與順序之間的互動必須從最初對實驗變因的定義著手。(例如:屬於[+F]的句子是合於語法或不合於語法;或是包含[+F]的句子是否合於語法必須 取決於變因[G]的值)
版 本資訊 MiniJudgeJS 0.9 是作者初次嘗試用JavaScript寫出這個極度簡化句法實驗的軟體。最早的MiniJudge是以Excel VBA 寫出。
MiniJudgeJS 0.9.1 修正了一些MiniJudgeJS和IE相容性的問題。
MiniJudgeJS 0.9.5 所做的修正有: -- 修正大小寫、標點以及原型句分段的問題。 --要求使用者使用R可接受的變因名稱並檢查。 --修改R的程式碼,並增加對所有實驗句做出個別分析的功能。 --修改核可輸入的方式:用改變底色的方法取代出現對話 框。 --並在某些視窗增加鍵盤操控的功能。 *我要感謝我的學生提供的以上的一些建議。
MiniJudgeJS 0.9.9 和 MiniJudgeJS 0.9.5不同的地方有:
MiniJudgeJS 1.0和MiniJudgeJS 0.9.9 有下列的不同:
MiniJudgeJS 1.1和MiniJudgeJS 1.0 有下列的不同:
MiniJudgeJS 1.1.1 和 MiniJudge JS 1.1 有下列的不同:
請按這裡試用MiniJudge的Java版本。 瀏覽 這裡 來察看其他日期未定的相關計畫。
有些人可能會對 MiniJudgeJS 豪華精裝版 有興趣。它的功能和一般的MiniJudgeJS相同,但需搭配硬體鎖並要價375美金。有興趣的話請按這裡 。
將 MiniJudgeJS列入參考書目(APA):
Myers, James. (2008). MiniJudgeJS (Version 1.1.1) [Computer software]. Retrieved from http://www.ccunix.ccu.edu.tw/~lngproc/MiniJudgeJS.htm.
MiniGram 主頁還有其他相關資源。
將 R列入參考書目:
R Development Core Team (2008). R: A language and environment for statistical computing [Computer software]. R Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0. Retrieved from http://www.R-project.org.
將 lme4 [R package for GLMM]列入參考書目:
Douglas Bates, Martin Maechler and Bin Dai (2008). lme4: Linear mixed-effects models using S4 classes [Computer software]. R package version 0.999375-26.
對MiniJudgeJS的問題及意見請聯絡 James Myers
對網頁的中文化有問題或建議請聯絡 中正大學語言所心理語言實驗室