ログイン
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 学術雑誌論文

Unified Likelihood Ratio Estimation for High- to Zero-frequency N-grams

https://repo.lib.tut.ac.jp/records/2209
https://repo.lib.tut.ac.jp/records/2209
bcf88723-f7ce-4426-a287-4d06d9551c37
名前 / ファイル ライセンス アクション
i17451337-E104-1059.pdf i17451337-E104-1059.pdf (3.6 MB)
Item type 学術雑誌論文 / Journal Article(1)
公開日 2021-08-11
タイトル
タイトル Unified Likelihood Ratio Estimation for High- to Zero-frequency N-grams
言語 en
言語
言語 eng
資源タイプ
資源タイプ journal article
著者 菊地, 真人

× 菊地, 真人

ja 菊地, 真人

Search repository
川上, 賢十

× 川上, 賢十

ja 川上, 賢十

Search repository
渡辺, 一帆

× 渡辺, 一帆

ja 渡辺, 一帆

Search repository
吉田, 光男

× 吉田, 光男

ja 吉田, 光男

Search repository
梅村, 恭司

× 梅村, 恭司

ja 梅村, 恭司

Search repository
Kikuchi, Masato

× Kikuchi, Masato

en Kikuchi, Masato

Search repository
Kawakami, Kento

× Kawakami, Kento

en Kawakami, Kento

Search repository
Watanabe, Kazuho

× Watanabe, Kazuho

en Watanabe, Kazuho

Search repository
Yoshida, Mitsuo

× Yoshida, Mitsuo

en Yoshida, Mitsuo

Search repository
Umemura , Kyouji

× Umemura , Kyouji

en Umemura , Kyouji

Search repository
抄録
内容記述タイプ Abstract
内容記述 Likelihood ratios (LRs), which are commonly used for probabilistic data processing, are often estimated based on the frequency counts of individual elements obtained from samples. In natural language rocessing, an element can be a continuous sequence of N items, called an N-gram, in which each item is a word, letter, etc. In this paper, we attempt to estimate LRs based on N-gram frequency information. A naive estimation approach that uses only N-gram frequencies is sensitive to low-frequency (rare) N-grams and not applicable to zero-frequency (unobserved) N-grams; these are known as the low- and zero-frequency problems, respectively. To address these problems, we propose a method for decomposing N-grams into item units and then applying their frequencies along with the original N-gram frequencies. Our method can obtain the estimates of unobserved N-grams by using the unit frequencies. Although using only unit frequencies ignores dependencies between items, our method takes advantage of the fact that certain items often co-occur in practice and therefore maintains their dependencies by using the relevant N-gram frequencies. We also introduce a regularization to achieve robust estimation for rare N-grams. Our experimental results demonstrate that our method is effective at solving both problems and can effectively control dependencies.
bibliographic_information IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences
en : IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

巻 E104-A, 号 8, p. 1059-1074, 発行日 2021-08
出版者
出版者 The Institute of Electronics, Information and Communication Engineers
item_10001_source_id_9
収録物識別子タイプ EISSN
収録物識別子 17451337
item_10001_relation_14
関連タイプ isIdenticalTo
識別子タイプ DOI
関連識別子 10.1587/transfun.2020EAP1088
権利
権利情報 Copyright © 2021 The Institute of Electronics, Information and Communication Engineers 出典:IEICE transactions on fundamentals of electronics, communications and computer sciences Vol.E104-A, No.8, pp.1059-1074, 2021 出版社版, 著者リポジトリ公開許諾済
関連サイト
識別子タイプ URI
関連識別子 https://www.ieice.org/jpn_r/transactions/transactions_online/index.html
関連名称 IEICE Transactions Online トップ
関連サイト
識別子タイプ URI
関連識別子 https://search.ieice.org/bin/summary.php?id=e104-a_8_1059
関連名称 IEIEICE Transactions Online 当該論文掲載URL
出版タイプ
出版タイプ VoR
キーワード
主題 likelihood ratio
キーワード
主題 the low-frequency problem
キーワード
主題 the zero-frequency problem
キーワード
主題 uLSIF
キーワード
主題 likelihood ratio
キーワード
主題 the low-frequency problem
キーワード
主題 the zero-frequency problem
キーワード
主題 uLSIF
戻る
0
views
See details
Views

Versions

Ver.1 2023-06-19 07:34:19.809560
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR 2.0
  • OAI-PMH JPCOAR 1.0
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3