【2005研究大会】レレバンス判定に対する文献提示順と判定尺度の影響
◆所属 亜細亜大学国際関係学部
◆発表題目
レレバンス判定に対する文献提示順と判定尺度の影響
◆発表要旨
(1) 研究目的
情報検索実験ではレレバンス判定の結果に基づき性能評価が行われており，レレバンス判定は欠かすことができない重要な構成要素の一つである。しかしながら，レレバンス判定に影響する要因に関しては小規模かつ質的な調査が多く，成果をそのまま検索実験に応用することが可能なものは少ない。
文献の提示順がレレバンス判定に影響を与えることはすでに１９８８年にEisenbergらによって指摘されている。この研究成果をそのまま応用する研究は多いが，追試や詳細な分析は十分に行われていない。一方で，レレバンスの度合いを表現するための判定尺度も影響を与える要因の一つとして，研究は行われているが，３種類以上の判定尺度を比較したものはほとんどない。
また，文献提示順，判定尺度はレレバンス判定に影響する要因として，以前から指摘されてきたが，相互の関係からの分析は今までに行われていない。
そこで，本研究ではレレバンス判定に影響する要因として文献提示順と判定尺度を取りあげ，二つの要因を組み合わせた分析を行うことを目的とする。
(2) 研究方法
本研究では，質問紙，インタビューなどの従来の調査手法ではなく，ウェブを用いた調査システムを独自に構築し用いた。結果として，大規模な被調査者を対象として調査を実施することが可能となった。被調査者として，インターネット検索について基礎的な技術を持つ幅広い属性の人々を募った。被調査者の属性は，性別は女性１２０名，男性４２名，不明１名，年齢は２０代から６０代までである。被調査者は，判定尺度三種類と文献提示順三種類の組み合わせで９グループに分けた。
判定尺度としては，「適合している」から「適合してない」までの五段階の順序尺度，０から１００までが表現できるスライダーを用いた比例尺度，自由な数字を回答するマグニチュード推定法の三種類を用意した。
また，文献提示順に関しては，あらかじめ調査者が決めたレレバンス評価に基づいて文献を並べ替えている。はじめに最もレレバントでない文献を提示し徐々にレレバントであるものを提示する順，その逆順，二つの混在の三つの提示順を用意した。
それぞれの組み合わせは機械的に割り当てた。結果として，各グループは１７名から１９名で構成されている。
レレバンス判定の対象となった文献群は，特定のキーワードで検索されたインターネット上の新聞記事であり，一部には写真も含まれている。
被調査者はグループごとに決められた順番で文献を一件ずつ提示され，その文献ごとに決められた判定尺度を用いてレレバンス判定を行った。
(3) 得られた(予想される)成果
収集された調査データは，単純集計では，判定尺度別のグループごと，文献提示順別グループごとに，最もレレバントと判定された文献に差が見られた。また，判定尺度，文献提示順の関係からの分析でも各グループで異なる結果が得られている。