ようこそ ゲスト さん
ログイン
入力補助
English
カテゴリ
インデックスツリー
ランキング
アクセスランキング
ダウンロードランキング
その他
法政大学
法政大学図書館
インデックスツリー
資料タイプ別
学内論文
大学院紀要=Bulletin of graduate studies
法政大学大学院紀要. 理工学・工学研究科編
法政大学大学院紀要. 理工学研究科編
法政大学大学院紀要. デザイン工学研究科編
法政大学大学院紀要. 情報科学研究科編
法政大学懸賞論文優秀論文集
法政大学国際文化学部国際社会演習トランスナショナル・ヒストリー研究卒業論文集
このアイテムのアクセス数:
40
件
(
2024-06-17
15:39 集計
)
Permalink : https://doi.org/10.15002/00010520
Permalink : https://hdl.handle.net/10114/9770
閲覧可能ファイル
ファイル
フォーマット
サイズ
閲覧回数
説明
45-50_Wang_Lei
pdf
1.29 MB
49
論文情報
ファイル出力
アイテムタイプ
紀要論文
タイトル
Big data searching optimization with machine learning and parallel computing
著者
著者名
Wang, Lei
言語
eng
ISSN
18810667
DOI
https://doi.org/10.15002/00010520
出版者
法政大学大学院情報科学研究科
雑誌名
法政大学大学院紀要. 情報科学研究科編
法政大学大学院紀要. 情報科学研究科編
巻
9
開始ページ
45
終了ページ
50
発行年
2014-03
著者版フラグ
Version of Record
キーワード
big data
machine learning
distributed system
parallel computing
data mining
Jubatus
zookeeper
抄録
Abstract—In recent years, Internet is in the period of information explosion and data is becoming huge and complex. How to search a result efficiently from the data group, which called big data, is a problem many fields faced on. This paper describes combining machine learning. Data Mining and search index optimization based on distributed system to improve the searching efficiency and accuracy for big data. However, the machine learning processing cannot find the existed destination directly according to the query information. The classification of supervised machine learning can do a prediction after learning from training dataset, which extracted by data mining processing and data mining also helps to analysis the statistical information about the original dataset to define priority of matching steps and indexing structure. According to the prediction, searching procedure just focus on the specific classification preferentially. In this way, it is not necessary to search all data index in one query processing. So the main point is aim to reduce unconcerned information as much as possible and do a result assuming correctly. At last, the experiment on a common big data dataset, which often utilized for machine learning research, proved that the efficiency and accuracy improved by processing with 6 processors with parallel computing design and search indexing optimization. In that kind of approach to search big data, accuracy of machine learning algorithm has a direct and significant influence with dataset. So to apply this approach, the preview analysis is essential to be done.
資源タイプ
Article
書誌レコードID
AA12222297
インデックス
資料タイプ別
 > 
学内論文
 > 
法政大学大学院紀要. 情報科学研究科編
501 学内論文
 > 
紀要
 > 
法政大学大学院紀要. 情報科学研究科編
 > 
9
ホームへ戻る