September 16, 2010

Summary of Experimental Results discussed in "Language-3-4-3"

Hajime Hoji

In what follows, I will refer to "Language-3-4-3" as the paper. This file has been prepared for the purpose of providing additional information about the experiments discussed or mentioned in "Language-3-4-3."

"EPSA" is prefixed to an experiment number, as in "EPSA [5]-1," which will be interchangeable with "EPSA 5-1" in what follows. An experiment number of an earlier experimental design will be prefixed "CFJ" as in "CFJ-55."

EPSA [5]-1: Otagaias a local reciprocal anaphor in Japanese

EPSA [5]-1 (Total 34 participants; 865 answers) ... as of Sep/10/2010

Examples

Each set of schemata consists of three schemata. 2 "Schema Groups" (i.e., 2structurally distinct conditions) and 2 "Example Groups" (i.e., 2 lexically distinct conditions): 3x2x2x=12 examples.

(1)a.okSchema

NP-ga/wa [CPNP1-ga otagai-o/ni V-ru/ta {to/no ka}] V-ru/ta

under the reciprocal reading of otagai with NP1 as its "antecedent"

b.*Schema

NP1-ga/wa [CPNP-ga otagai-o/ni V-ru/ta {to/no ka}] V-ru/ta

under the reciprocal reading of otagai with NP1 as its "antecedent"

c.okSchema

NP1-ga/wa [CPNP-ga karera-o/ni V-ru/ta {to/no ka}] V-ru/ta

under the coreference between karera and NP1

(2)a.okSchema

[NP [TPecotagai-o/ni V-ru/ta] NP1]

under the reciprocal reading of otagai with NP1 as its "antecedent"

b.*Schema

[NP [TPec[CPNP-ga otagai-o/ni V-ru/ta {to/no ka}] V-ru/ta] NP1]

under the reciprocal reading of otagai with NP1 as its "antecedent"

c.okSchema

[NP [TPec[CP NP-ga karera-o/ni V-ru/ta {to/no ka}] V-ru/ta] NP1]

under the coreference between karera and NP1

(1) and (2) are called "Schema Groups." In each "Schema Group," Schema A is one in which the condition in question is satisfied, Schema B is one in which it is not, and Schema C is as identical to Schema B as possible, but it is where the relevant "dependency" is not at stake. There are also two distinct lexical items that distinguish between different sets of okExamples and *Examples. In one set, the embedded verb is "recommend" which takes NP-o (-o is the so-called accusative case marker) as its internal argument and in the other set, it is "vote for" which takes NP-ni (-ni is the so-called dative case marker). In total, we have 3x2x2=12 examples.

On the basis of the Schemata in (1), we can construct the Examples in (3) and (4).

(3)(With "vote for" as the embedded verb.)

a.okExample

Mary-wa [John to Bill-ga otagai-ni toohyoosi-ta to] omoikonde-i-ta

'Mary thought that John and Bill had voted for each other.'

b.*Example

John to Bill-wa [Mary-ga otagai-ni toohyoosi-ta to] omoikonde-i-ta

'John and Bill thought that Mary had voted for each other.'

c.okExample

John to Bill-wa [Mary-ga karera-ni toohyoosi-ta to] omoikonde-i-ta

'John and Bill thought that Mary had voted for them.'

(4)(With "recommend" as the embedded verb.)

a.okExample

Sensei-wa [John to Bill-ga naze otagai-o suisensi-ta no ka] mattaku wakara-nakat-ta

'The teacher had no idea why John and Bill had recommended each other.'

b.*Example

John to Bill-wa [sensei-ga naze otagai-o suisensi-ta no ka] mattaku wakara-nakat-ta

'John and Bill had no idea why the teacher had recommended each other.'

c.okExample

John to Bill-wa [sensei-ga naze karera-o suisensi-ta no ka] mattaku wakara-nakat-ta

'John and Bill had no idea why the teacher had recommended them.'

On the basis of the Schemata in (2), we can construct the Examples in (5) and (6).

(5)(With "vote for" as the embedded verb.)

a.okExample

[[ec sensyuu-no senkyo-de otagai-ni toohyoosi-ta] John to Bill]-wa Susan-ga dare-ni toohyoosi-ta ka sit-te odoroi-ta.

'John and Bill, who had voted for each other at the election last week, were surprised to learn who Susan had voted for.'

b.*Example

[[ ec [[Susan-ga sensyuu-no senkyo-de otagai-ni toohyoosi-ta] to] omoikonde-i-ta] John to Bill]-wa Susan-ga dare-ni toohyoosi-ta ka sit-te odoroi-ta.

'John and Bill, who thought that Susan had voted for each other at the election last week, were surprised to learn who Susan had voted for.'

c.okExample

[[ ec [[Susan-ga sensyuu-no senkyo-de karera-ni toohyoosi-ta] to] omoikonde-i-ta] John to Bill]-wa Susan-ga dare-ni toohyoosi-ta ka sit-te odoroi-ta.

'John and Bill, who thought that Susan had voted for them for the election last week, were surprised to learn who Susan had voted for.'

(6)(With "recommend" as the embedded verb.)

a.okExample

[[ec kondo-no yakusyoku-ni otagai-o suisensi-ta] John to Bill]-wa iroirona hito-ni meeru-o okut-te riyuu-o setumeisi-te-i-ru rasii.

'I hear that John and Bill, who had recommended each other for the new post, are emailing various people to explain why.'

b.*Example

[[ec [Mike-ga kondo-no yakusyoku-ni naze otagai-o suisensi-ta no ka] siritagat-te-i-ta] John to Bill]-wa iroirona hito-ni meeru-o okut-te riyuu-o sirabe-te-i-ru rasii.

'I hear that John and Bill, who wanted to know why Mike had recommended each other for the new post, are emailing various people to find out why.'

c.okExample

[[ec [Mike-ga kondo-no yakusyoku-ni naze karera-o suisensi-ta no ka] siritagat-te-i-ta] John to Bill]-wa iroirona hito-ni meeru-o okut-te riyuu-o sirabe-te-i-ru rasii.

'I hear that John and Bill, who wanted to know why Mike had recommended them for the new post, are emailing various people to find out why.'

The sentences below are given in Japanese, along with the "instructions" as to "under what interpretation." They are provided for those who are interested finding out what the informants see. If you do not read Japanese, you can skip the sentences in Japanese here and in the subsequent section.

1 / 1A-1 / ok / (「「ジョンがビルにそしてビルがジョンに投票した」と思い込んでいた」の意味で)
メアリは[ジョンとビルがお互いに投票したと] 思い込んでいた。
2 / 1B-1 / * / (「ジョンが「メアリがビルに投票したと] 思い込んでいて、そしてビルが「メアリがジョンに投票したと思い込んでいた」」の意味で)
ジョンとビルは[メアリがお互いに投票したと] 思い込んでいた。
3 / 1C-1 / ok / (「彼ら」と「ジョンとビル」が同じ人を指しているとして)
ジョンとビルは[メアリが彼らに投票したと] 思い込んでいた。
4 / 2A-1 / ok / (「ジョンがビルに投票してビルがジョンに投票した」という意味で)
[先週の選挙でお互いに投票した] ジョンとビルはスーザンが誰に投票したかを知って驚いた。
5 / 2B-1 / * / (「ジョンはスーザンがビルに投票したと思い込んでいて、ビルはスーザンがジョンに投票したと思い込んでいた」という意味で)
[[スーザンが先週の選挙でお互いに投票したと]思い込んでいた] ジョンとビルはスーザンが誰に投票したかを知って驚いた。
6 / 2C-1 / ok / (「彼ら」と「ジョンとビル」が同じ人を指しているとして)
[[スーザンが先週の選挙で彼らに投票したと]思い込んでいた] ジョンとビルはスーザンが誰に投票したかを知って驚いた。
7 / 1A-2 / ok / (「ジョンがビルを推薦してビルがジョンを推薦した」の意味で)
先生は[ジョンとビルがなぜお互いを推薦したのか] 全く分からなかった。
8 / 1B-2 / * / (「ジョンは[先生がなぜビルを推薦したのか] わからなくて、ビルは[先生がなぜジョンを推薦したのか] わからなかった」の意味で)
ジョンとビルは[先生がなぜお互いを推薦したのか] 全く分からなかった。
9 / 1C-2 / ok / (「彼ら」と「ジョンとビル」が同じ人を指しているとして)
ジョンとビルは[先生がなぜ彼らを推薦したのか] 全く分からなかった。
10 / 2A-2 / ok / (「ジョンがビルを推薦してビルがジョンを推薦した」の意味で)
今度の役職にお互いを推薦したジョンとビルはいろいろな人にメールを送って理由を説明しているらしい。
11 / 2B-2 / * / (「ジョンが[マイクがなぜビルを推薦したのか] 知りたがっていて、ビルが[マイクがなぜジョンを推薦したのか] 知りたがっている」の意味で)
[マイクが今度の役職になぜお互いを推薦したのか] 知りたがっていたジョンとビルはいろいろな人にメールを送って理由を調べているらしい。
12 / 2C-2 / ok / (「彼ら」と「ジョンとビル」が同じ人を指しているとして)
[マイクが今度の役職になぜ彼らを推薦したのか] 知りたがっていたジョンとビルはいろいろな人にメールを送って理由を調べているらしい。

Mean Score for Each Informant

This experiment contains 12 sentences. Informant #2 reported his/her judgment on each of those sentences once. Hence we see "4 values" under each Schema. Informant #1, on the other hand, must have visited the answer website three times. Since there are 4 Examples for each Schema, Informant #1 must have reported her/his judgments on Examples conforming to each Schema A 12 times. The inclusion of the different "values" as below may be more confusing than helpful and informative. I might in the end remove them from the file.

Informants / Schema A / Schema B / Schema C
1 / 12 values / 100 / 12 values / 100 / 12 values / 100
2 / 4 values / 100 / 4 values / 100 / 4 values / 100
3 / 16 values / 100 / 14 values / 85 / 15 values / 96
4 / 4 values / 100 / 4 values / 100 / 4 values / 100
5 / 16 values / 96 / 16 values / 67 / 16 values / 98
6 / 4 values / 100 / 4 values / 0 / 4 values / 50
7 / 4 values / 100 / 4 values / 62 / 4 values / 100
8 / 8 values / 100 / 8 values / 100 / 8 values / 100
9 / 16 values / 98 / 16 values / 60 / 16 values / 73
10 / 12 values / 100 / 12 values / 41 / 12 values / 95
11 / 4 values / 100 / 4 values / 56 / 4 values / 100
12 / 20 values / 98 / 20 values / 55 / 20 values / 97
13 / 8 values / 100 / 8 values / 93 / 8 values / 90
14 / 15 values / 93 / 16 values / 34 / 15 values / 6
15 / 16 values / 78 / 16 values / 20 / 16 values / 65
16 / 8 values / 100 / 8 values / 90 / 8 values / 100
17 / 4 values / 100 / 4 values / 43 / 4 values / 18
18 / 8 values / 100 / 8 values / 56 / 8 values / 68
19 / 4 values / 100 / 4 values / 50 / 4 values / 50
20 / 4 values / 100 / 4 values / 75 / 4 values / 100
21 / 4 values / 100 / 4 values / 93 / 4 values / 50
22 / 8 values / 87 / 8 values / 37 / 8 values / 37
23 / 8 values / 100 / 8 values / 59 / 8 values / 100
24 / 4 values / 100 / 4 values / 87 / 4 values / 100
25 / 4 values / 100 / 4 values / 100 / 4 values / 50
26 / 7 values / 92 / 4 values / 25 / 8 values / 100
27 / 4 values / 100 / 4 values / 25 / 4 values / 100
28 / 16 values / 89 / 16 values / 3 / 16 values / 93
29 / 16 values / 79 / 15 values / 40 / 16 values / 96
30 / 4 values / 100 / 4 values / 62 / 4 values / 81
31 / 4 values / 100 / 4 values / 25 / 4 values / 68
32 / 4 values / 50 / 4 values / 25 / 4 values / 0
33 / 4 values / 100 / 4 values / 25 / 4 values / 100
34 / 16 values / 95 / 16 values / 54 / 16 values / 67
Total / 136 values / 95 / 135 values / 57 / 136 values / 78

Summaries of the experimental results

The structure-based summary (given in (32) in the paper):

The Two Schema Groups:

(i) Otagai is the embedded object, and the intended antecedent is in the subject of the matrix clause.

(ii) Otagai is the embedded object, and the intended antecedent is the relative head.

EPSA [5]-#1 (Total 34 participants; 865 answers) ... as of Sep/14/2010
Schema group 1 / Otagai is in the embedded object position.
Schema 1 A / 68 values / 96 / ok NP-ga/wa [NP1-ga otagai-o/ni V-ru/ta {to/no ka}] V-ru/ta ( under the reciprocal reading of otagai with NP1 as its "antecedent" )
Schema 1 B / 67 values / 61 / * NP1-ga/wa [NP-ga otagai-o/ni V-ru/ta {to/no ka}] V-ru/ta ( under the reciprocal reading of otagai with NP1 as its "antecedent" )
Schema 1 C / 68 values / 85 / ok NP1-ga/wa [NP-ga karera-o/ni V-ru/ta {to/no ka}] V-ru/ta ( with the coreference between karera and NP1 )
Schema group 2 / Otagai is in the embedded object position. The intended antecedent is the relative head.
Schema 2 A / 68 values / 94 / ok [[otagai-o/ni V-ru/ta] NP1] ( under the reciprocal reading of otagai with NP1 as its "antecedent" )
Schema 2 B / 68 values / 53 / * [[[NP-ga otagai-o/ni V-ru/ta {to/no ka}] V-ru/ta] NP1] ( under the reciprocal reading of otagai with NP1 as its "antecedent" )
Schema 2 C / 68 values / 70 / ok [[[NP-ga karera-o/ni V-ru/ta {to/no ka}] V-ru/ta] NP1] ( with the coreference between karera and NP1 )
EPSA [5]-1 (Total 34 participants; 865 answers) ... as of Sep/14/2010
Schema A / Schema B / Schema C
Schema Group 1 / 68 values / 96 / 67 values / 61 / 68 values / 85
Schema Group 2 / 68 values / 94 / 68 values / 53 / 68 values / 70
Total / 136 values / 95 / 135 values / 57 / 136 values / 78

Lexical-item-based summary:

The Two Example Schema Groups:

(i)The embedded verb = "recommend," which takes "NP-o" as its internal argument.

(ii)The embedded verb = "vote for," which takes "NP-ni" as its internal argument.

EPSA [5]-1 (Total 34 participants; 865 answers) ... as of Sep/10/2010
Example group 1 / 投票'vote for'
Schema A / 68 values / 94 / ok (「「ジョンがビルにそしてビルがジョンに投票した」と思い込んでいた」の意味で)
メアリは [ジョンとビルがお互いに投票したと] 思い込んでいた。
Schema B / 68 values / 53 / * (「ジョンが「メアリがビルに投票したと] 思い込んでいて、そしてビルが「メアリがジョンに投票したと思い込んでいた」」の意味で)
ジョンとビルは [メアリがお互いに投票したと] 思い込んでいた。
Schema C / 68 values / 79 / ok (「彼ら」と「ジョンとビル」が同じ人を指しているとして)
ジョンとビルは [メアリが彼らに投票したと] 思い込んでいた。
Example group 2 / 推薦'recommend'
Schema A / 68 values / 96 / ok (「ジョンがビルを推薦してビルがジョンを推薦した」の意味で)
先生は [ジョンとビルがなぜお互いを推薦したのか] 全く分からなかった。
Schema B / 67 values / 62 / * (「ジョンは [先生がなぜビルを推薦したのか] わからなくて、ビルは [先生がなぜジョンを推薦したのか] わからなかった」の意味で)
ジョンとビルは [先生がなぜお互いを推薦したのか] 全く分からなかった。
Schema C / 68 values / 76 / ok (「彼ら」と「ジョンとビル」が同じ人を指しているとして)
ジョンとビルは [先生がなぜ彼らを推薦したのか] 全く分からなかった。
EPSA [5]-1 (Total 34 participants; 865 answers) ... as of Sep/10/2010
Schema A / Schema B / Schema C
Example Group 1 / 68 values / 94 / 68 values / 53 / 68 values / 79
Example Group 2 / 68 values / 96 / 67 values / 62 / 68 values / 76
Total / 136 values / 95 / 135 values / 57 / 136 values / 78

Descriptive Statistics

EPSA 5-1: Otagai

Schema A / Schema B / Schema C
Mean / 95.74 / Mean / 57.26 / Mean / 77.88
Standard Error / 1.70 / Standard Error / 5.13 / Standard Error / 5.05
Median / 100.00 / Median / 56.00 / Median / 95.50
Mode / 100 / Mode / 100 / Mode / 100
Standard Deviation / 9.94 / Standard Deviation / 29.89 / Standard Deviation / 29.42
Sample Variance / 98.75 / Sample Variance / 893.41 / Sample Variance / 865.68
Kurtosis / 13.74 / Kurtosis / -1.02 / Kurtosis / 0.85
Skewness / -3.45 / Skewness / -0.04 / Skewness / -1.32
Range / 50 / Range / 100 / Range / 100
Minimum / 50 / Minimum / 0 / Minimum / 0
Maximum / 100 / Maximum / 100 / Maximum / 100
Sum / 3255 / Sum / 1947 / Sum / 2648
Count / 34 / Count / 34 / Count / 34
Confidence Level(95.0%) / 3.47 / Confidence Level(95.0%) / 10.43 / Confidence Level(95.0%) / 10.27

Informant-group-based summary:

When registering for the on-line experiments, informants are asked several questions, including one about their dialects. They are also asked whether they understand (i) "bound variable anaphora" or "bound readings" and (ii) "A takes wide scope over B" as they are used in linguistic discussion. If they state that they understand at least (i) or (ii), they are "classified" as "linguistically informed" for the purpose of the discussion in this paper. If they state that they understand neither, on the other hand, they are "classified" as "linguistically naïve." The classification in question is thus based on what each informant "declares" him/herself.

EPSA [5]-#1 / size / Schema A / Schema B / Schema C
linguistically informed / 20 people / 80 values / 99 / 80 values / 70 / 80 values / 88
linguistically naïve / 14 people / 56 values / 90 / 55 values / 39 / 56 values / 63

Aoshima et al. 2009: A vs. so

Aoshima, Sachiko, Masaya Yoshida, andCollin Phillips. 2009.Incremental Processing of Coreference and Binding in Japanese. Syntax 12.2: 93-134.

Aoshima et al. 2009: A vs. so

(7)Aoshima et al.'s *Schemata:

a.[... a-NP ... ]-ga NP1 V

BVA(NP1, a-NP)

b.[... a-NP ... ]-o NP1 V

BVA(NP1, a-NP)

pp. 115-116

p. 116

(8)Predicted schematic asymmetry under our hypotheses about a-NP and so-NP:

(Where NP1 is not singular-denoting)

a.okSchema:

NP1-ga ... so-NP ... V

BVA(NP1, so-NP)

b.*Schema:

NP1-ga ... a-NP ... V

BVA(NP1, a-NP)

c.okSchema:

NP1-ga ... a-NP ... V

(With a-NP "referring to" a particular individual/object.)

The mean scores of 1.71 and 1.95 on the scale of 1-5, which correspond to those of 21.375 and 24.375 on the 0-100 scale, would be taken as a clear disconfirmation of the *Schema-based predictions in accordance with the methodology we are advocating.

The two lexical hypotheses addressed above, one about the so-called local reciprocal anaphor in Japanese and the other about the difference between a-NP and so-NP, are among the hypotheses that have been accepted widely in the field.

Aoshima et al. 2009: WCO

Their "Soko-canonical pattern is of the structure in (9b).

(9)a.okSchema

NP-ga ... [ ... so-NP ... ]-o ... V

BVA(NP, so-NP)

b.*Schema

[ ... so-NP ...]-ga ... NP-o ... V

BVA(NP, so-NP)

c.okSchema

[ ... so-NP ...]-ga ... NP-o ... V

(With so-NP "referring to" an individual/object that has been mentioned in the preceding discourse)

The mean of 2.49 on (9b) on the 1-5 scale corresponds to 37.25 on the 0-100 scale, and that would be a clear disconfirmation of the *Schema–based prediction, in accordance with the methodology suggested in the paper.

The main points

In addition to the two lexical hypotheses addressed in section 1 and 2.1, the structural hypothesis about the necessary condition for BVA(A, B) addressed in 2.2seems to be not supported by a confirmed schematic asymmetry.

Does that mean that it is not possible, after all, to obtain confirmed schematic asymmetries (in Japanese)?

The results of the number of other experiments whose results I shall provide below suggest otherwise.

It is possible to obtain confirmed schematic asymmetries.

In order to be able to do so, it is, however, necessary to maximize the effectiveness of the measuring devices, including the "instructions" given to the informants, the selection of crucial lexical items used in experiments, and the recognition of the significance of informant groups/types/classification.

This is in line with the "Maximize our chances of learning from errors" heuristics.

EPSA [1]-2: WCO with A=55% izyoo-no N '55% or more Ns'

EPSA [1]-2 (Total 24 participants; 982 answers) ... as of Sep/11/2010

The crucial hypothesis being tested here is, presumably, a structural condition of c-command at LF for BVA(A, B).

But there are two problems with this, fairly commonly accepted, conception of what it is that we are testing by checking BVA/WCO paradigm.

It is not clear how we can define/characterize BVA(A, B). (If we did so simply in terms of how quantifiers and bound variable are "defined" in logic, we would immediately encounter the problem that many instance of BVA(A, B) under that conception would not be subject to the LF c-command condition.

If the hypothesis directly under investigation is about properties of the Computational System, the hypothesis should not make direct reference to properties outside the Computational System. BVA(A, B), as intended here, is clearly not part of the Computational System. It is furthermore not immediately clear how it could be made expressible strictly in terms of properties of the Computational System.

We will return to this issue later.

Examples

3 Schema Groups (i.e., 3 structurally distinct conditions) and 2 Example Groups (i.e., 2 lexically distinct conditions): 3x2x3=18 Examples.

(10)a.okSchema

NP-ga ... [ ... so-NP ... ]-o ... V

BVA(NP, so-NP)

b.*Schema

[ ... so-NP ...]-ga ... NP-o ... V

BVA(NP, so-NP)

c.okSchema

[ ... so-NP ...]-ga ... NP-o ... V

(With so-NP "referring to" an individual/object that has been mentioned in the preceding discourse)

EPSA [1]-2: list of example sentences (lexically grouped)

1 / 1A-1 / ok / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員を新聞紙上で批判した地方自治体が地方自治体全体の55%以上である」という意味で)
55%以上の地方自治体がそこの職員を新聞紙上で批判した。
2 / 1B-1 / * / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員に新聞紙上で批判された地方自治体が地方自治体全体の55%以上である」という意味で)
そこの職員が55%以上の地方自治体を新聞紙上で批判した。
3 / 1C-1 / ok / (「そこ」が先行文脈で既出の「財務省」を指す解釈で)
そこの職員が55%以上の地方自治体を新聞紙上で批判した。

(11)a.(=1A-1)

okExample conforming to (10a):

55% izyoo-no tihoozitihai-ga so-ko-no syokuin-o sinbunsizyoo-de hihansita.

55%:or:more-gen local:government-nom that-place-gen employee-acc newspaper-on criticized

'Each of 55% or more local governments criticized its employees on a newspaper.'

b.(+1B-1)

*Example conforming to (10b):

so-ko-no syokuin-ga 55% izyoo-no tihoozitihai-o sinbunsizyoo-de hihansita.

that-place-gen employee-nom 55%:or:more-gen local:government-acc newspaper-on criticized

'Its employees criticized each of 55% or more local governments on a newspaper.'

c.(+1C-1)

okExample conforming to (10c):

so-ko-no syokuin-ga 55% izyoo-no tihoozitihai-o sinbunsizyoo-de hihansita.

that-place-gen employee-nom 55%:or:more-gen local:government-acc newspaper-on criticized

'Its employees criticized each of 55% or more local governments on a newspaper.'

4 / 2A-1 / ok / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「長年自分のところで働いていた職員を新聞紙上で批判した地方自治体が地方自治体全体の55%以上である」という意味で)
55%以上の地方自治体が[長年そこで働いていた職員]を新聞紙上で批判した。
5 / 2B-1 / * / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「長年自分のところで働いていた職員に新聞紙上で批判された地方自治体が地方自治体全体の55%以上である」という意味で)
[長年そこで働いていた職員]が55%以上の地方自治体を新聞紙上で批判した。
6 / 2C-1 / ok / (「そこ」が先行文脈で既出の「財務省」を指す解釈で)
[長年そこで働いていた職員]が55%以上の地方自治体を新聞紙上で批判した。
7 / 3A-1 / ok / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員組合が財務省に批判されたと発表した地方自治体が地方自治体全体の55%以上である」という意味で)
55%以上の地方自治体が財務省がそこの職員組合を批判したと発表した。
8 / 3B-1 / * / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「そこの職員組合が財務省がそこを批判したと発表した地方自治体が地方自治体全体の55%以上である」という意味で)
そこの職員組合が財務省が55%以上の地方自治体を批判したと発表した。
9 / 3C-1 / ok / (「そこ」が先行文脈で既出の「文科省」を指す解釈で)
そこの職員組合が財務省が55%以上の地方自治体を批判したと発表した。
10 / 1A-2 / ok / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員に理不尽な要求をしている地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
55%以上の地方自治体がそこの職員に理不尽な要求をしているらしい。
11 / 1B-2 / * / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員に理不尽な要求をされた地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
そこの職員が55%以上の地方自治体に理不尽な要求をしているらしい。
12 / 1C-2 / ok / (「そこ」が先行文脈で既出の「財務省」を指す解釈で)
そこの職員が55%以上の地方自治体に理不尽な要求をしているらしい。
13 / 2A-2 / ok / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「長年自分のところで働いていた職員に理不尽な要求をしている地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
55%以上の地方自治体が[長年そこで働いていた職員]に理不尽な要求をしているらしい。
14 / 2B-2 / * / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「長年自分のところで働いていた職員に理不尽な要求をされた地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
[長年そこで働いていた職員]が55%以上の地方自治体に理不尽な要求をしているらしい。
15 / 2C-2 / ok / (「そこ」が先行文脈で既出の「財務省」を指す解釈で)
[長年そこで働いていた職員]が55%以上の地方自治体に理不尽な要求をしているらしい。
16 / 3A-2 / ok / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「[財務省が自分のところの職員組合に理不尽な要求をしていると]信じている地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
55%以上の地方自治体が[財務省がそこの職員組合に理不尽な要求をしていると]信じているらしい。
17 / 3B-2 / * / (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところが財務省に理不尽な要求をされていると、そこの職員組合が信じている地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
そこの職員組合が[財務省が55%以上の地方自治体に理不尽な要求をしていると]信じているらしい。
18 / 3C-2 / ok / ( 「そこ」が先行文脈で既出の「文科省」を指す解釈で)
そこの職員組合が[財務省が55%以上の地方自治体に理不尽な要求をしていると]信じているらしい。

Mean Score for Each Informant

EPSA [1]-2 (Total 24 participants; 982 answers) ... as of Sep/11/2010

Schema A / Schema B / Schema C
1 / 6 values / 100 / 6 values / 16 / 5 values / 100
2 / 24 values / 100 / 24 values / 5 / 24 values / 79
3 / 8 values / 100 / 7 values / 21 / 7 values / 100
4 / 18 values / 100 / 16 values / 0 / 18 values / 100
5 / 12 values / 100 / 12 values / 6 / 12 values / 83
6 / 6 values / 100 / 6 values / 16 / 6 values / 66
7 / 36 values / 100 / 36 values / 0 / 36 values / 97
8 / 12 values / 87 / 12 values / 0 / 12 values / 100
9 / 6 values / 100 / 6 values / 0 / 6 values / 100
10 / 12 values / 100 / 12 values / 0 / 12 values / 100
11 / 6 values / 100 / 6 values / 33 / 6 values / 100
12 / 6 values / 100 / 6 values / 0 / 6 values / 100
13 / 6 values / 100 / 6 values / 0 / 6 values / 100
14 / 6 values / 100 / 6 values / 16 / 6 values / 100
15 / 34 values / 100 / 31 values / 3 / 33 values / 100
16 / 6 values / 100 / 3 values / 0 / 6 values / 100
17 / 24 values / 81 / 24 values / 11 / 24 values / 98
18 / 13 values / 96 / 13 values / 0 / 15 values / 100
19 / 6 values / 100 / 6 values / 0 / 6 values / 100
20 / 24 values / 88 / 23 values / 19 / 24 values / 100
21 / 6 values / 100 / 6 values / 37 / 6 values / 100
22 / 24 values / 90 / 24 values / 0 / 24 values / 98
23 / 24 values / 100 / 24 values / 0 / 24 values / 100
24 / 6 values / 100 / 6 values / 0 / 6 values / 100
Total / 144 values / 97 / 141 values / 8 / 143 values / 96

Summaries of the experimental results

The structure-based summary (see the schemata in (37) in the paper):

The Three Schema Groups:

With regard to A and B of BVA(A, B),

(i) B-no N-o/ni 'B 's N-acc' is a matrix argument.

(ii) B is an argument in a relative clause.

(iii) A and B are separated by a clause boundary.

EPSA [1]-2 (Total 24 participants; 982 answers) ... as of Sep/11/2010
Schema group 1 / そこのNを/にis a matrix argument.
Schema 1 A / 48 values / 98 / ok 55%以上のNPがそこのNを/にV ( 「55%以上のNP」と「そこ」の連動読みで)
Schema 1 B / 47 values / 4 / * そこのNが55%以上のNPを/にV ( 「55%以上のNP」と「そこ」の連動読みで)
Schema 1 C / 47 values / 96 / ok そこのNが55%以上のNPを/にV ( 「そこ」はどこか特定のものを指す解釈で)
Schema group 2 / そこis an argument in a relative clause.
Schema 2 A / 48 values / 98 / ok 55%以上のNPが[ ... そこ...] を/にV ( 「55%以上のNP」と「そこ」の連動読みで)
Schema 2 B / 47 values / 11 / * [ ... そこ...] が55%以上のNPを/にV ( 「55%以上のNP」と「そこ」の連動読みで)
Schema 2 C / 48 values / 96 / ok [ ... そこ...] が55%以上のNPを/にV ( 「そこ」はどこか特定のものを指す解釈で)
Schema group 3 / The binder and the bindee are separated by a clause boundary.
Schema 3 A / 48 values / 96 / ok 55%以上のNPが[N-ga そこのNにVしたと] V ( 「55%以上のNP」と「そこ」の連動読みで)
Schema 3 B / 47 values / 8 / * そこのNが[N-が55%以上のNPにVしたと] V ( 「55%以上のNP」と「そこ」の連動読みで)
Schema 3 C / 48 values / 98 / ok そこのNが[N-が55%以上のNPにVしたと] V ( 「そこ」はどこか特定のものを指す解釈で)
EPSA [1]-2 (Total 24 participants; 982 answers) ... as of Sep/11/2010
Schema A / Schema B / Schema C
Schema Group 1 / 48 values / 98 / 47 values / 4 / 47 values / 96
Schema Group 2 / 48 values / 98 / 47 values / 11 / 48 values / 96
Schema Group 3 / 48 values / 96 / 47 values / 8 / 48 values / 98
Total / 144 values / 97 / 141 values / 8 / 143 values / 96

Lexical-item-based summary:

The Two Example Schema Groups:

(i)The verb = "criticize," which takes "NP-o" as its internal argument.

(ii)The verb = "is making an unreasonable demand on," which takes "NP-ni" as its internal argument.

EPSA [1]-2 (Total 24 participants; 982 answers) ... as of Sep/11/2010
Example group 1 / 地方自治体 職員 批判したThe object is marked with -o.
Schema A / 72 values / 97 / ok (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員を新聞紙上で批判した地方自治体が地方自治体全体の55%以上である」という意味で)
55%以上の地方自治体がそこの職員を新聞紙上で批判した。
Schema B / 72 values / 8 / * (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員に新聞紙上で批判された地方自治体が地方自治体全体の55%以上である」という意味で)
そこの職員が55%以上の地方自治体を新聞紙上で批判した。
Schema C / 71 values / 97 / ok (「そこ」が先行文脈で既出の「財務省」を指す解釈で)
そこの職員が55%以上の地方自治体を新聞紙上で批判した。
Example group 2 / 地方自治体 職員 理不尽な要求をして The object is marked with -ni.
Schema A / 72 values / 97 / ok (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員に理不尽な要求をしている地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
55%以上の地方自治体がそこの職員に理不尽な要求をしているらしい。
Schema B / 69 values / 7 / * (「55%以上のNP」と「そこ」の連動読みで。すなわち、「自分のところの職員に理不尽な要求をされた地方自治体が地方自治体全体の55%以上であるらしい」という意味で)
そこの職員が55%以上の地方自治体に理不尽な要求をしているらしい。
Schema C / 72 values / 95 / ok (「そこ」が先行文脈で既出の「財務省」を指す解釈で)
そこの職員が55%以上の地方自治体に理不尽な要求をしているらしい。
EPSA [1]-2 (Total 24 participants; 982 answers) ... as of Sep/11/2010
Schema A / Schema B / Schema C
Example Group 1 / 72 values / 97 / 72 values / 8 / 71 values / 97
Example Group 2 / 72 values / 97 / 69 values / 7 / 72 values / 95
Total / 144 values / 97 / 141 values / 8 / 143 values / 96

Descriptive Statistics

EPSA 1-2: WCO with A=55% izyoo-no N '55% or more Ns'

Schema A / Schema B / Schema C
Mean / 97.58 / Mean / 7.63 / Mean / 96.71
Standard Error / 1.09 / Standard Error / 2.26 / Standard Error / 1.73
Median / 100.00 / Median / 0.00 / Median / 100.00
Mode / 100 / Mode / 0 / Mode / 100
Standard Deviation / 5.32 / Standard Deviation / 11.08 / Standard Deviation / 8.45
Sample Variance / 28.25 / Sample Variance / 122.77 / Sample Variance / 71.43
Kurtosis / 3.68 / Kurtosis / 1.31 / Kurtosis / 7.91
Skewness / -2.15 / Skewness / 1.45 / Skewness / -2.86
Range / 19 / Range / 37 / Range / 34
Minimum / 81 / Minimum / 0 / Minimum / 66
Maximum / 100 / Maximum / 37 / Maximum / 100
Sum / 2342 / Sum / 183 / Sum / 2321
Count / 24 / Count / 24 / Count / 24
Confidence Level(95.0%) / 2.24 / Confidence Level(95.0%) / 4.68 / Confidence Level(95.0%) / 3.57

Informant-group-based summary:

EPSA [1]-2 / size / Schema A / Schema B / Schema C
linguistically Informed / 17 people / 102 values / 98 / 102 values / 8 / 101 values / 95
linguistically Naive / 7 people / 42 values / 95 / 39 values / 7 / 42 values / 99

Compare this with the group-based summary of EPSA 5-1, repeated below.

But why is it that we the mean on Schema B is not closer to 0 in EPSA 1-2?

Appendix to section 4: "Binder"-based summary

"Binder"-based summary

--Some Results of "old" experiments are given below:

--These are consistent with the results of the "new" EPSA experiments in terms of the effects of the choice of the binder.

EPSA [10]-2: So vs. a (see the schemata in (43) in the paper)

EPSA [10]-2 (Total 37 participants; 670 answers) ... as of Sep/11/2010

Examples

2 Schema Groups (i.e., 2 structurally distinct conditions) and 2 Example Groups (i.e., 2 lexically distinct conditions): 3X2x2=12 examples.

EPSA [10] 2: list of example sentences (lexically grouped)

1 / 1A-1 / ok / (「2割以上の地方自治体」と「そこ」の連動読みで。すなわち、地元の警察を批判したということが2割以上の地方自治体に当てはまる」という意味で。)
2割以上の地方自治体がそこの警察を批判した。
2 / 1B-1 / * / (「2割以上の地方自治体」と「あそこ」の連動読みで。すなわち、地元の警察を批判したということが2割以上の地方自治体に当てはまる」という意味で。)
2割以上の地方自治体があそこの警察を批判した。
3 / 1C-1 / ok / (「あそこ」はどこか特定の場所を指す解釈で。)
2割以上の地方自治体があそこの警察を批判した。
4 / 2A-1 / ok / ( 「2割以上の地方自治体」と「そこ」の連動読みで。すなわち、「自分のところを批判した雑誌記者に連絡を取ったということが2割以上の地方自治体に当てはまる」という意味で)
2割以上の地方自治体が[そこを批判した雑誌記者]に連絡を取った。
5 / 2B-1 / * / ( 「2割以上の地方自治体」と「あそこ」の連動読みで。すなわち、「自分のところを批判した雑誌記者に連絡を取ったということが2割以上の地方自治体に当てはまる」という意味で)
2割以上の地方自治体が[あそこを批判した雑誌記者]に連絡を取った。
6 / 2C-1 / ok / (「あそこ」はどこか特定の機関を指す解釈で。)
2割以上の地方自治体が[あそこを批判した雑誌記者]に連絡を取った。
7 / 1A-2 / ok / (「かなりの数の政治家」と「そいつ」の連動読みで。すなわち、自分の秘書を批判したということがかなりの数の政治家に当てはまる」という意味で。)
かなりの数の政治家がそいつの秘書を批判した。
8 / 1B-2 / * / (「かなりの数の政治家」と「あいつ」の連動読みで。すなわち、自分の秘書を批判したということがかなりの数の政治家に当てはまる」という意味で。)
かなりの数の政治家があいつの秘書を批判した。
9 / 1C-2 / ok / (「あいつ」はある特定の政治家を指す解釈で。)
かなりの数の政治家があいつの秘書を批判した。
10 / 2A-2 / ok / (「かなりの数の政治家」と「そいつ」の連動読みで。すなわち、「自分を批判した雑誌記者に連絡を取ったということがかなりの数の政治家に当てはまる」という意味で)
かなりの数の政治家が[そいつを批判した雑誌記者]に連絡を取った。
11 / 2B-2 / * / (「かなりの数の政治家」と「あいつ」の連動読みで。すなわち、「自分を批判した雑誌記者に連絡を取ったということがかなりの数の政治家に当てはまる」という意味で)
かなりの数の政治家が[あいつを批判した雑誌記者]に連絡を取った。
12 / 2C-2 / ok / (「あいつ」はある特定の政治家を指す解釈で。)
かなりの数の政治家が[あいつを批判した雑誌記者]に連絡を取った。

Mean Score for Each Informant

EPSA [10]-2 (Total 37 participants; 670 answers) ... as of Sep/11/2010
Informants / Schema A / Schema B / Schema C
1 / 4 values / 100 / 4 values / 0 / 4 values / 100
2 / 4 values / 100 / 4 values / 0 / 4 values / 100
3 / 4 values / 75 / 4 values / 0 / 4 values / 100
4 / 4 values / 100 / 4 values / 0 / 4 values / 100
5 / 8 values / 100 / 8 values / 0 / 8 values / 100
6 / 4 values / 100 / 4 values / 0 / 4 values / 100
7 / 4 values / 100 / 4 values / 0 / 4 values / 100
8 / 4 values / 100 / 4 values / 0 / 4 values / 100
9 / 2 values / 75 / 2 values / 87 / 2 values / 62
10 / 8 values / 68 / 8 values / 3 / 8 values / 100
11 / 5 values / 55 / 4 values / 6 / 5 values / 50
12 / 4 values / 100 / 4 values / 0 / 4 values / 100
13 / 4 values / 100 / 4 values / 0 / 4 values / 100
14 / 4 values / 25 / 4 values / 12 / 4 values / 100
15 / 8 values / 100 / 8 values / 0 / 8 values / 87
16 / 4 values / 100 / 4 values / 0 / 4 values / 100
17 / 2 values / 0 / 2 values / 0 / 4 values / 100
18 / 16 values / 43 / 16 values / 0 / 16 values / 96
19 / 6 values / 66 / 4 values / 0 / 3 values / 100
20 / 3 values / 41 / 3 values / 41 / 3 values / 100
21 / 16 values / 25 / 16 values / 20 / 16 values / 100
22 / 14 values / 85 / 13 values / 0 / 14 values / 98
23 / 16 values / 67 / 17 values / 1 / 16 values / 100
24 / 4 values / 50 / 4 values / 0 / 4 values / 100
25 / 4 values / 87 / 4 values / 0 / 4 values / 75
26 / 4 values / 50 / 4 values / 0 / 4 values / 75
27 / 8 values / 93 / 8 values / 0 / 8 values / 100
28 / 4 values / 87 / 4 values / 0 / 4 values / 100
29 / 4 values / 100 / 4 values / 0 / 4 values / 100
30 / 12 values / 83 / 12 values / 2 / 12 values / 100
31 / 4 values / 31 / 4 values / 25 / 4 values / 68
32 / 8 values / 34 / 8 values / 0 / 8 values / 65
33 / 4 values / 56 / 5 values / 0 / 5 values / 20
34 / 4 values / 100 / 4 values / 0 / 4 values / 100
35 / 4 values / 75 / 4 values / 75 / 4 values / 75
36 / 4 values / 87 / 4 values / 0 / 4 values / 81
37 / 8 values / 68 / 8 values / 12 / 8 values / 100
Total / 143 values / 74 / 142 values / 6 / 143 values / 91