For Student Essayists, an Automated Grader

エッセーをインプットすると、アーラ不思議、自動的に採点結果が出るというCriterionというソフトウェアの話。e-raterというエンジンで動く。

According to the Educational Testing Service, 104,000 students and 2,700 teachers are using Criterion in 535 schools, primarily in the United States; four-fifths are middle or high school students, and the remainder are at colleges or universities.

既に広く使われている。

To develop a model, e-rater must be trained on 450 to 500 essay responses scored by two professional readers based on a rigorous scoring guide.

まず、450-500件のエッセーをプロの読み手に読ませてスコアをつけさせる。で、それを機械に読み込ませると、ふむふむとその特徴を学んで、それをまねして他のエッセーも採点できるという仕組み。

“If the human scoring is inaccurate, e-rater will make an inaccurate judgment on the writer,” said Marisa Farnum, the writing assessment specialist and product manager for Criterion at the testing service. “It’s only as good as the human scoring it learns from.”

元の人間の読み手がイマイチだと、それに基づいて作ったロジックもイマイチになるという当たり前のことが起こる。

For example, it tends to reward very long essays, an inherited bias from human graders who tend to look favorably on longer rather than shorter responses.

例えば、長いエッセーは中身のいかんに関わらずいい点になる傾向が強いと。しかし、それは人間の読み手には通常そういうバイアスがあるらしい。なんとなくわかる気がする。

For example, a high score almost always contains topically relevant vocabulary, a variety of sentence structures, and the use of cue terms like “in summary,” for example, and “because” to organize an argument. By analyzing 50 of these features in a sampling of essays on a particular topic that were scored by human beings, the system can accurately predict how the same human readers would grade additional essays on the same topic.

具体的には、「高い得点のエッセーに頻出する単語」など50のポイントでスコアしているんだそうだ。in summaryとかbecauseとか書くといい点になるのだ。
＊＊＊＊＊
ひどいじゃないか、と思うかもしれないが、試験なんてこんなものだ。ほとんどの試験は、パズルかゲームだと思って攻略法を考えることで結構いい点がとれてしまう。例えば、幾何の問題で角度の問題が出たら、相当の確率で答えは30度だった。（でなければ60度）。それ以外の答えが出る問題を作るのが難しいということもあるだろうが、わからなかったらとにかく30と書いておけば間違いない。

GMATというビジネススクール受験用共通テストの、グラマーのテストなんかは究極のゲームであった。3択か4択で、似たような表現の文章からグラマーが間違っている文章を選ぶ、というものなのだが、「頻出する間違い」というのが10個ぐらいあってそれを覚えておけば7割がたできてしまう。例えば「being」が文章に出てきたら、まず間違い、とか。（becauseを使って書き換えてある文の方が好ましいらしい）「between A to B」というのもあった。(もちろん正解はbetween A and B)。困ったことに時々一つの選択肢のセットの中に間違いが二つあることもある。ところがよーく過去問を見てみると、「間違いの強弱関係」というものがあることがわかる。その強弱関係は固定的な順列になっているので、「間違いの順位表」を覚えておけば、それでOK。(beingがbetweenより強い、とか）「間違っているものは間違っているのだから、それに強いも弱いもない」と憤慨したりせず、「ふむふむ、こういうルールのゲームなのだな」と思って攻略する。それだけだ。

しかし、このプロセスは「どこにも正解がない問題をどうやって解くか」という実際の社会での問題には全く役に立たないことは明らか。役に立たないからこそ、ついつい一生懸命やってしまう、というオタク的側面もあるのだが・・・・。

家から車で5分ほどのところで”Antiochian Orthodox Church”なるものが、フードフェスティバルを行うというので行ってみた。Antiochとは何ものぞ、と思ったのだが、中世の戦争ゲームMediaval Total Warに入れ込んでいるダンナいわく、ゲームの地図によれば、イスラエルの北、ギリシャの東のほうにAntiochという国か街がある、とのこと。となれば、食べ物はシシカバブとかファラフェルか？と当たりをつけて行ってみたところ正解。

驚いたのは、集まっている人の多さである。ギリシャ人ともイラン人ともつかぬ濃い顔の人々が数百人は優にいる。(アジア人は我が家のみでありました。）感じとしては、日本の地元のお祭り。屋台が出て食べ物を売り、子供たちは別のコーナーでゲームをし、ステージがあってくじ引き抽選会(ハワイ旅行が当たるのだ）をしている。それにしても、Antioch正教会、なんていうマイナーそうなものにこんなに人が集まるとは、、、、。恐るべしシリコンバレー、である。

家に帰ってさらに調べてみると、Antiochは今のシリアあたりのようだ。ただし、おなじみのCIAの情報玉手箱World Fact Bookによればシリアは基本的にはイスラム教国家でキリスト教徒は10%しかいないらしい。それにもかかわらず、Antiochian Orthodox Christian Archdioceseのサイトによれば、アメリカ国内だけで１５０もの教会がある。

世の中知らないことがたくさんあるものだ。外国に住むというのは本当に奥が深いのである。

梅田さんのblogに参照していただいたので、お返しにTrackbackしました。梅田さんのblogの中身は、

「仕事仲間の渡辺千賀が、そのBlogで、「Silicon Valleyの空洞化」という怖い話を書いている。彼女が参照している記事は同じくサンノゼマーキュリーニュースの「Some technology jobs head abroad — and they may not be coming back」であるが、記事の原文よりも彼女のBlogのほうがうんと怖い。」

ということで、私の書いた下の文章が怖い表現らしい。
「グローバルに仕事が移転する時代では、ある時首を切られて、それ以降全く仕事がなくなってしまう、ということが十分起こり得る。

なんというか、海辺の絶壁を想像してしまう。水際ぎりぎりにぽっかり横穴が開いていて、その中で安穏と暮らしていると、だんだん潮が満ちてきて、海の水がじわじわと穴の中に入ってくる。今にまた潮が引いて、元通りの安穏とした暮らしに戻れるのではないかと思って耐えているが、ついに水は腰の辺りを超え、首あたりまで来る。どこかで決意して、荒海に泳ぎ出て、さらに上のほうにある穴によじ登った人だけが生き残ることができる。」

怖いですかね？私はいつもこんな感じの発想なのだが。そういえば、就職して3-4年たったところで、「全然スキルアップしていない」と深甚たる恐怖に襲われた。しかし、何をどうしてよいかわからずにいたところ、たまたまBoston – Palo Alto出張というのがあった。Bostonは滑走路が凍結していたが、Palo Altoはうららかな初夏の気候で、当時働いていた会社からスタンフォードのビジネススクールに留学中の人に会う機会もあった。彼はスニーカーをはいてTシャツにジーンズで登場した。その瞬間「私もスニーカーをはく暮らしに戻りたい」と強烈に思った。（当時はケバかったので、毎日ボディコンスーツにハイヒールだったのだ）

で、日本に帰って出社したら、机の上に「ビジネススクール派遣生応募要綱」なる人事からのお知らせがあって、見たらその日が締め切りだった。その場で適当に応募の理由を捏造して、人事に送ったところ、運良く選考を通って今日に至るのである。運がよかった、といえばそれまでだが、そもそも「このままではいけない」という恐怖を感じていたから、その場で決断できたのだろう・・・怖いと思うのも才能のうち、かな？

最近新しい車を買ったので、今日これまで乗っていた車を売った。売った相手はGoogleのScientist。2001年にスタンフォードでPhDを取ってGoogleに入社したんだそうだ。中国系イギリス人、というベイエリアらしいインターナショナルな人であった。彼が入社した当時のGoogleは200人くらいだったとのこと。前にBlogでも書いた熊的体力の友人のRayのことも知っていた。ちなみにRayはCraig Silversteinの次に入社した社員だが、今もまだ長期休暇中。

さよならー、といって去る車のバイヤー氏に手を振りながら、「来年にはGoogleも上場するかと言われているが、そうすると、数千人が車やら家やらを買い始めるのだろうか。それは、不動産市場にどれくらい影響するのだろうか。」などと卑近なことを考えてしまった。

ちなみに、アメリカでは車の個人間取引はごく日常的に行われている。ディーラを経由するより高く売れる・安く買える、からだ。買い手が自分でメカニック(修理工）に持ち込めば、故障していないかどうかチェックしてくれるから危険も少ない。（私自身は、とりあえずその辺をちょっと乗ってみて、エンジン音とかステアリングの感じが大丈夫だったらメカニックに持ち込まずに買ってしまうのだが。）

価格も、詳細に見積もりができる情報源がある。例えばKelly Blue Book車種、年次、走行距離という基本情報に加え、色、エアコン、パワーステアリングから、ステレオのレベル、プレミアムホイール、などなど、ありとあらゆるオプションをインプットすると、細かい査定が出てくる。

こうした情報をきちんと利用すれば、買う方も売る方も不安がない。情報をオープンにするとマーケットが活性化し、最適状態が訪れる、というののよい例だ。

プロセスは、というと、先週末にCraig’s Listに情報を掲載して、翌日連絡があったGoogle君とちょこちょこと交渉して、今日引き渡しが済んだ。さくさくと物事は進み、まるで「一週間の歌」のようであった。（シュラシュラシュラ、というあれだ）

ちなみに、Craig’s Listは、これだけで恋愛相手から、住む所から、家具から、車から仕事まで、全ての生活情報がただで入手できてしまう恐るべき情報集積掲示板である。ベイエリアに住んでいる人は必見。(他の地域のバージョンもあるが、どれくらい情報が充実しているかは不明だ）もう少しすると、このサイトを運営している偉大なCraigさんのドキュメンタリー映画までできるらしいぞ。

子供の頃、「赤い靴」の歌の歌詞の「異人さんに連れられて・・・」というところを「ニンジンさんに連れられて・・・」だと思っていた。葉っぱのついたニンジンが巨大化し、スーツを着て、赤い靴を履いた女の子の手を引いて連れて行くところを想像し、「それは怖い」と思っていた。

****

最近、私自身のニンジン化が進んでいるのではないかという気がする。日本的なものに共感しにくくなり、アメリカ的なものが自然に感じられるようになってきたのだ。

日本の週刊誌などを見ても「なんだかみんな大変そうだねー」という遠い感じだ。一方で、アメリカに住み始めた当初は「なんてドライで恐ろしい」と思った映画を久しぶりにＤＶＤで見たら、それほどドライに感じられなくなり、「そういうこともあるよねえ」という感じになってきた。

例えば、政府の特別麻薬担当官の娘が麻薬におぼれる話のTrafficという映画とか、有名になりたいだけで連続殺人を犯す移民が出てくる15 Minutesとか。なんて乾いた異常さなんだろう、と最初は思ったのだが。

とはいうものの、まだ完璧にニンジン化したわけでもないようだ。

先日日本から親戚が遊びに来ていたのだが、9歳の甥がある映画を説明してくれた。彼いわく、
「例えばMatrixだと、バンバン撃たれても全然死なないけど、その映画は一発撃たれただけで死んじゃうんだよ」とのこと。
なんのことやらと思ったのだが、実は恋人が討たれて死ぬという悲劇的恋愛映画のことなのであった。恋愛の部分は全然心に残らず、一発撃たれただけで死ぬ、というところだけ覚えているとは、子供とはいえまさに男的感性だと笑ってしまったのだが、生粋のアメリカ人であるうちのダンナは
「間違って小学生の子供が銃を持ち出して友達や家族を殺してしまったりする事件が時々あるけれど、なるほど、Matrixみたいな映画をたくさん見た子供たちは『一発撃ったくらいでは死なない』と思ってるんだな。危険だなぁ」
という感想で、それはいたって「アメリカ人的感慨」だなぁ、と思った。

ということで、そこまで私はまだニンジン化してないようであります。

Onionといえば、私の愛するSatire siteである。（注：愛する、はsatireにかかりOnionにかかるわけではない。Onionはそこまで面白いと思わないんだよなぁ・・・。以前Onionのジョークを集めた本も買ってしまったのだが・・・。イラク戦争の時のブラックジョークについて書いたblogもあります。）

そのOnionがそれなりにこじんまりプロフィタブルなビジネスになっている、というBusiness2.0の記事。The Onion Is No Joke

130万人の読者で、年間7百万ドルの広告収入でちょっぴり黒字、ということ。大学生2人が母親からの8千ドルの借金ではじめたサイトが、投資家の力添えもあってここまでになった。しかし、ここから爆発的に成長するとは思っていない、とOnionスタッフは言う。いわく、”We get to make a decent amount of money but have a large amount of happiness.”

インターネットって、こういう類のマイクロビジネスにすごく向いている。「普通の暮らし」でも結構レベルが高いんだから、何もみんなでしゃかりきになることもない。「給料はそこそこだけど、超楽しいからいいんだ」という生き方を強力にサポートしてくれるメディアは大変すばらしいと思いませんか？

USA TodayのGirls get extra school help while boys get Ritalin
学力的にみて、男子が目だって女子に遅れを取りつつあるという記事。Ritalinは落ち着きがない子供に処方される薬。女子が様々なサポートを受けて勉強に精を出す間に、男子はRitalinで骨抜きになっている、という感じのニュアンス。

At last June’s graduation at Franklin High School just outside of Milwaukee, three of the four students who tied for valedictorian were girls. Among the National Honor Society members, 76% were girls. And girls comprised 85% of the students on Franklin’s 4.0 honor roll.
Milwaukee郊外の高校を1番で卒業した4人のうち、3人が女子。国レベルで優秀な学生を集めた組織のメンバーも76%が女子。

In 12th grade, 44% of girls rate as proficient readers on federal tests, compared with 28% of boys. And while boys still score slightly higher on federal math and science exams, their advantage is slipping.
高校3年生では読解力は断然女子が優位で、数学や科学での男子の優位もなくなりつつある。

56% of the students on campuses are female.
大学生の56%も女子。

なぜか。

One reason boys are losing academic ground to girls appears linked to a shift by schools to more word-based learning for which girls’ brains are believed to have an advantage.
学校での教育法方が、より言葉を用いたものになりつつあり、言語能力に勝る女子に優位、というのが一説。

85% of teachers are women.
先生の86%が女性（なので、女子に注意が行き届きやすい）ということも関係あるかも。

いずれにせよ、このままではいけないということで、様々な「男子救済策」が検討されようとしている。例えば、

…boys’ natural tendency to favor active learning by conducting more class work on the chalkboard and allowing more student movement within the classroom.
アクティブな学習を好む男子向けに、教室で動き回れるようにしたり、

because boys volunteer answers more slowly than girls do, teachers are told to count to 10 before calling on a student.
男子は手を挙げるまでに時間がかかるので、先生に、生徒を指すまでに10数えるように指示したり、といったこと。
*****

日本でも、同じような「学校の勉強女子優位現象」は随分前から起こっているのではないか。少なくとも「女の子だから男の子より勉強ができない」ということはないはずだ。その上、日本では、大学受験までは、勉強の場で男女差別などない。点数がよければ受かる、という大変公明正大、平等な世界だ。

それが突然社会人になると「女は男に比べて劣る」という摩訶不思議な「常識」が登場する。

男に比べたら、女は確かに体力と腕力は劣る可能性が高い。体力は持久力で「身体活動の積分値」、腕力は瞬発力で「身体活動の微分値」と定義しよう。体力のほうは、仰天するほどすごい底力の女性もいるが、まぁ腕力のほうはなかなか敵わない。

商社時代の総合職女性友達にはずば抜けた体力を持つ人たちがいた。一人は、20代の頃は「1週間でトータル10時間寝れば大丈夫」と豪語。もう一人も、毎日就寝時間が平均して3時を回っていたはず。その2人の間では残業あとの朝二時の長電話、という恐ろしいことが行われていたらしいが、私は平均睡眠時間8時間人間なので「10時以降は電話しないで」とお願いする軟弱さでありました。

もとい、その2人も、腕力では男性にやはり敵わない（はず）。

しかし、現代のホワイトカラーの仕事の場で「腕力」が必要なことは果たしてどれくらいあるのだろうか。もちろん、比ゆ的な意味でなく、「身体活動の微分値」としての腕力だ。まず必要あるまい。引越しの時など便利だが、それだって引越し屋さんにお願いすれば事たる。書類やPCくらいだったら、重いといってもさすがに持ち歩ける。

それにも関わらず、男性の優位を当然のことと思っている人が一杯いる。少なくとも私はたくさん出会った。「一体全体この自信はどこから来るのだろうか」と不思議に思ったものだ。それほどよく知らない同期に「働く女性というはきっと大変だろうから助けてあげよう」と面と向かって言われたこともあった。好意はありがたいのだが、彼にできて私にできないことはなんだろうか、とこれも不思議に思ったものだ。

やがて、どうもそこには、私が知らなかった「社会の一般常識としての男性優位概念」が、日本人全体にユング的普遍的無意識としてドドーンとある、ということを（遅ればせながら）薄々感じるようになった。

これは、思うに多分江戸時代の部落民制度のようなものではあるまいか。なんら他の人たちと変わらない一部の人たちを被差別階級とすることで、実は悲惨な生活を強いられている大多数の農民を「まだまだ自分たちなど幸せだ」と思わせる、というのが部落民制度の起源（と習った）。同様に、言われなき抑圧を受けている日本男性（＝農民）に「それでも女（＝部落民）よりは俺の方が優秀だ」と思わせることで、社会不安を防いでいる、という気がするんですが。・・・男も女も、みんな大変な国であるなぁ。。。。。

昨日（水曜）午後3時に、Scott McNealyがゴルフしていたそうだ。Sand Hillの、MayfieldなどのVCがいる建物のすぐ脇にあるSharon Heightsというゴルフ場。大丈夫だろうかSun!!

ちなみにそのゴルフ場は、Siebel SystemsのTom Siebelも最近メンバーになったそう。超豪華なクラブハウスも最近完成した、会員権数10万ドルのコースです。

San Jose Mercury NewsのSome technology jobs head abroad — and they may not be coming back

In the next five years, technology jobs paying $40,000 to $80,000 a year in Silicon Valley will be a “vanishing breed,” San Jose’s Office of Economic Development warned at a weeklong conference that wraps up Thursday.

４-８万ドルというと、５００万から１０００万円というレベルだが、そういうあたりの技術関係の職がなくなっていく、ということ。

Tens of thousands of jobs have moved overseas. Forrester Research says 3.3 million more jobs are headed that way by 2015.

なぜなら海外に流出してしまうから。

It started with call centers, data processing and lower-level jobs. Now, the trend is moving up the job chain to basic chip and software design positions. Positions like the $40,000-to-$80,000 jobs in Silicon Valley.

コールセンターから始まり、今後は基本的なチップやソフトウェア設計の仕事が海外に行く。そういう仕事のサラリーが４-８万ドル、ということ。

以前ラジオでインドのコールセンターに関する番組があった。驚いたことに、そこで働く人たちは、イギリスの会社のコールセンター業務をアウトソースするときはイギリス英語、アメリカの会社がクライアントの時はアメリカ英語に自在にアクセントを変えられるのである。で、インタビューに答えるときはバリバリのインド人英語。すごいなぁ。それって、私が関西弁と東北弁でコールセンター勤めをするようなものだ。相当な訓練が必要だ。

アクセントのみならず、コールセンターで処理される内容もかなり高度だ。そういうことができる、高い教育を受けた人材がやすく雇えるということでインドなどにコールセンターの仕事が流れているのである。で、それがだんだんバリューチェーンを上ってきて、今度は基礎レベルのエンジニアの仕事がアメリカからなくなっていく、という予測。

ちなみに、昨日書いたBusiness2.0のビジネススクール比較では、India Institute of Managementも載っていた。94740人の応募者の中からたった250人だけが合格できる狭き門。その大変優秀な卒業生が平均年収13,000ドルで雇えてしまうんだそうだ。１５０万円。。。。。そういう国にはかなわない。

Business2.0の9月号、The Employer’s Guide to the 25 Best Business Schools(まだオンラインでは公開されていないようだ）。Columbia, Harvard, Chicago, Northwesterなどなど２５校のビジネススクールをProspects, Rolodex, Team Player, Tech Savvyの４項目で採点してある。見込み、人脈、チームプレー、技術の明るさ、とでも言いましょうか。唯一StanfordだけがオールAであった。この手のランキングだと、必ず低く評価されることが多い学校だけに卒業生としてはちょっとうれしい。A３つはNorthwesternでTechだけB。A２つはMIT（RolodexがBでTeamがC),Harvard（TeamがDでTechがB)、Columbia（ProspectがBでTeamがC）、となっております。MITのTeam　Cはちょっと意外だが、技術オタクで対人関係NGの人が多いということなのだろうか？

Stanfordも結構鼻高々で嫌なやつもいるのだが、それでもTeam PlayerでAということはDのHarvardはどうなっているのであろうか。そもそも、Stanfordみたいな西海岸のナゴナゴしたムードを嫌う人がHarvardに行くという「本質差異論」もある一方、一皮向けばどっちも一緒だが、少なくとも表面的にはきっちり取り繕う術を学ぶのがStanfordという「羊の皮説」もある。真実は多分その中間にあるのでは、と思うが。

ちなみに同じ記事によれば、Stanfordの卒業生の初任給が一番高いんだそうだ。（といっても、２位のHarvardとの差は1450ドルしかないが。）この差はTeam Player分の貢献か、Tech Savvy分の貢献だろうか。。。。