= Correlation Analysis between environmental channels = == Project description == /* KAGRAには主チャンネル以外に環境チャンネルが1万程度ある。チャンネルデータの相関を取ることで効率的にノイズ源の特定を行うことを目的とする。 */ KAGRAには重力波チャンネル以外に環境チャンネルが1万程度の補助チャンネルの設置が予定されている。 本研究ではそれらの補助チャンネル同士の相関を取ることによって、補助チャンネルや重力波チャンネルに混入したノイズ源の特定ならびに混入したノイズがチャンネル間を伝搬メカニズムするメカニズムを明らかにすることを目的とする。 ノイズが伝搬するメカニズムは一般には線形または非線形メカニズムが考えられるが、過去の重力波検出器診断(detector characterization)では主に線形メカニズムの特定に重きを置いていた。本研究ではさらに踏み込んで、非線形なメカニズムをも明らかにできるような相関解析を目指している。 それらのメカニズムを解き明かすための手段として、ピアソンの積率相関係数(Pearson)とMaximum Information Coefficient(MIC)を用いる。前者は線形的な相関を明らかにし、後者は線形以外の相関をも明らかにすることができる。 それぞれの相関解析手法で相関の強さを表す相関値は単純に大小を比較することができない。そこで、非線形相関をも含んだアップコンバージョンノイズのノイズモデルに沿ってシミュレーションデータを生成し、それぞれの相関解析を行い、得られたreceiver operating characteristic(ROC) curveの比較を行った。このノイズモデルではエンドミラーの奥にある散乱体の変動が大きくなるにつれて、主干渉計信号と散乱体の振動が無相関〜線形相関〜非線形相関と発展して行くのが特徴である。また、主干渉計信号は、ノイズモデルに基づいて生成したアップコンバージョンとVirgoのnoise budgetに沿うように生成した雑音を足し合わせ、生成した。 得られたROC curveからは主干渉計信号と散乱体の振動の相関関係は、 * 散乱体の振動が小さいときは線形相関のため、PearsonでもMICでも検出することができた。 * 散乱体の振動が大きいときは非線形相関となり、Pearsonではまったく検出することができないが、MICでは検出することができた。 MICは、これまで見つけることができなかった非線形相関を検出することができるツールであり、地上重力波検出器で感度を制限しうるアップコンバージョンノイズに対しても応答し、取り除くことが可能であることを示した。解析結果は論文として出版した。 ----- == Project schedule and Task List == 1タスクの定義は1週間程度で終わらせることができる研究 ==== 他研究グループのDetector Characterizationによる先行研究の把握 ==== * 以下の論文を読む(1タスク) 1 [[http://arxiv.org/abs/1111.4516|The Critical Coupling Likelihood Method: A new approach for seamless integration of environmental and operating conditions of gravitational wave detectors into gravitational wave searches]] 2 [[http://arxiv.org/abs/1107.2948|A hierarchical method for vetoing noise transients in gravitational-wave detectors]] 3 [[http://arxiv.org/abs/1403.1431|Instrumental vetoes for transient gravitational-wave triggers using noise-coupling models: The bilinear-coupling veto]] ==== Hot correlation mapの作成 ==== * テストデータの作成, Haskell上でのデータのIO(1タスク) * ピアソンの積率相関係数の計算を行う関数の作成(1タスク) * 2つのチャンネルデータを読み込み、あるデータ長Nについてデータの相関係数を求める。 チャンネル間に混入したノイズが同時刻だけ限らないので、相関係数を計算する開始時刻をずらして計算を行い、2つのデータの中で相関係数の最大値を求める(2タスク) * HTMLを用いて表形式で相関マップ(Hot correlation map)の作成する。横軸と縦軸がchannel名(データの名前)、各channel名がクロスするセルに相関係数の値を書き、わかりやすさのためにその値の大きさを色合いで表現する (1タスク) * 上項目をHaskellの関数として作成する、入力 相関値のテーブル、出力はhtmlソース(1タスク, ~7/14) * それぞれのデータがガウシアンの場合は、ピアソンの積率相関係数の分布はデータ数をnとして自由度(n-2)のt分布に従うことが知られている。しかしデータがガウシアンでない場合の分布は計算されたピアソンの積率相関係数の分布は簡単にはモデル化することができないと予想される。そこで、過去の計算した相関値からcumlativeには何%の位置なるのかを計算して、評価したい。このような手法を用いることで、例えばchannel1とchannel2の相関値R_12とchannel1とchannel3の相関値R_13は直接は比較することはできないが、全体の何%に所属しているかで相関があるorないを評価することができる。 -> 間野さんより、permutation testを用いてはどうかというとともに、C言語で書かれたサンプルコードをいただいた。 * permutation testについては理解できたのでこれをHaskellで実装する(1タスク) ==== 混入したノイズの同定 ==== * upconverted noise に関する先行研究の理解 * [[http://www.opticsinfobase.org/oe/abstract.cfm?uri=oe-20-8-8329|Impact of upconverted scattered light on advanced interferometric gravitational wave detectors]] * [[http://iopscience.iop.org/article/10.1088/0264-9381/27/19/194011/pdf | Noise from scattered light in Virgo's second science run data]] /* * 混入したノイズをトイモデルとして数式化する(1タスク) */ /* * たたみこみを用いて上項目のノイズデータを時系列で生成する(1タスク) */ /* * 生成したノイズに対して、相関マップを計算する。その統計量の振る舞いから、ピアソンの積率相関係数以外にどのような解析手法を用いると、効果的に混入したノイズをデータの中から特定できるかを考察する。既存の統計量では評価できない場合は、新しい統計量を定義する。(3タスク)*/ /*非ガウスノイズが混入した場合についても同様の評価を行う(時間と相談)*/ * ピアソンの積率相関係数以外に、相関を調べる統計量の導入を検討する(1タスク) ==== シミュレーションノイズの生成〜Virgoのnoise bugetに沿ったノイズ生成 ==== * (2タスク) [[http://iopscience.iop.org/article/10.1088/0264-9381/27/19/194011/pdf | Noise from scattered light in Virgo's second science run data]] では、Virgoのエンドミラーを透過した散乱光による非線形ノイズの論文が報告されている。そのモデルの理解、モデルに沿って非線形ノイズの例となるシミュレーションデータの生成をする。 => 論文で報告されているアップコンバージョンノイズのノイズモデルに基づいて散乱光ノイズの生成を行った。<
> - 検出器では制御のために一部のレーザー光をエンドミラーを透過させ用いている。この透過光が何らかの経路を辿って、もう一度cavityに入ることで散乱光として新たなノイズとなる。また、その経路の距離に応じて、レーザー光の位相変調の度合いが異なる。単純に距離が短い場合は、主干渉計信号への影響は距離に比例するが、距離がおよそ$\lambda/(4\pi)$よりも大きくなるとその影響は線形ではなく非線形となる。このような非線形な相関を持ったアップコンバージョンは、従来の線形相関に応答がある相関解析では探索することができない。 - * (2タスク) 生成したシミュレーションデータをMIC, peasonを用いて解析を行う 検出の可否、統計量の分布について調べる。 => それぞれの手法の相関の度合いを表す検出統計量は単純には比較することができないため、それぞれの手法のreceiver operating characteristic(ROC) curveの比較を行った。 * (2タスク) 論文執筆 (イントロダクション) と同時に結果についての議論、確認 => 毎日、端山さんと昼食をとりながらの議論を行い研究を進めた。 * (2タスク) 論文執筆 (シミュレーション、結果、まとめ) => 執筆した原稿をPRDに投稿した(2016年2月16日) * (1タスク) レフリーコメントへの対応方針について議論 => レフリーからコメントを受け取った(2016年3月1日) 実際の重力波検出器から得られたデータに対してMICを適用する、またはより精密なシミュレーションに基づいてノイズデータを生成した方ががよいとのレフリーコメントであった。 今回はより精密なシミュレーションに基づいてノイズを再生成し、相関解析を行う方針を取る。 * (1タスク) Virgo検出器のnoise budgetについて調査する => [[http://w3-1.virgo-gw.eu/senscurve/|The Virgo Sensitivity Curve]] にVirgo検出器のnoise budgetがまとめられていた。 それぞれのノイズソースのスペクトルもtextデータとして公開されているのでこれを用いる。 ラインノイズについては単純なガウシアンノイズではないことが知られているため、今回はViolin noiseといったラインノイズはノイズ生成には用いていない。 * (1タスク) noise budgetに沿ったノイズデータのシミュレーション生成 => 上記のテキストデータをノイズスペクトルの絶対値とし、ガウス乱数を振り、実数部と虚数成分の生成を行った。 それを逆フーリエ変換することで上記noise bugetに沿った時系列ノイズデータの生成を行った。 * (2タスク) 上記ノイズデータにアップコンバージョンノイズを埋め込み、相関解析(Pearson, MIC)を用いて解析する。 時系列グラフ、スペクトル、データのホワイトニング、ホワイトニングしたスペクトル、散布図、receiver operating characteristic(ROC) curveの確認をする。 => アップコンバージョンノイズは 　以下を参照 　 - [[http://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=4806|draft of manuscript]] 　 - [[attachment:yuzurihara_160617_GWPAW2016.pdf|slide]] * (1タスク) レスポンスレターの準備、修正後の原稿の回覧、再投稿 => 共著者(端山さん、間野さん、Didierさん、神田さん)に回覧する。また、干渉計の散乱光のプロフェッショナルでもある阿久津さんにも原稿に目を通していただき有益なコメントをいただいた。 (2016年7月29日)PRDに再投稿した。 ----- == Result == * アップコンバージョンノイズモデルに沿って、Virgoで感度を制限していたノイズを生成した * permutation testの理解、実装 * より正確にVirgoのアップコンバージョンノイズを再現するために、Virgoのnoise budgetを再現するように検出器ノイズの生成を行った * アップコンバージョンノイズと地面振動のデータセットに対して、MICとPearsonの相関値を計算 * ROC curveより、MICが重力波検出器に現れる非線形ノイズに対して応答し、Pearsonは検出できないことを明らかにした => 論文として出版[1] ----- == Presentation == * [1] Hirotaka Yuzurihara, Kazuhiro Hayama, Shuhei Mano, Didier Verkindt and Nobuyuki Kanda, "Unveiling linearly and non-linearly correlated signals between gravitational wave detectors and environmental monitors", Phys. Rev. D 94, 042004 (2016) [[http://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=4806|draft of manuscript]] * [2] Hirotaka Yuzurihara, Kazuhiro Hayama, Shuhei Mano, Didier Verkindt and Nobuyuki Kanda, "A method for non-linear correlated noise in gravitational waves detectors", Hyannis, USA, 17 June 2016 [[https://gwpaw2016.mit.edu/|web page]] [[http://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=5499 | slide]] * [3] Hirotaka Yuzurihara, Kazuhiro Hayama, Shuhei Mano, Didier Verkindt and Nobuyuki Kanda, "Application of Non-linear Correlation Analysis on Environmental Monitors and Gravitational Wave Channel", 4th annual Symposium of the Innovative Area on Multi-messenger Study of Gravitational Wave Sources, 19, February [[attachment:yuzurihara_160219_A04.pdf| slide]] * [4] Hirotaka Yuzurihara, "Applying a novel method for finding correlated features in gravitational wave detectors", Bi-Monthly Workshop(10th) , 大阪市大, 2015年8月[[attachment:yuzurihara_150807_A04.pdf|slide]] * [5] 譲原浩貴, 端山和大, 間野修平, 山本尚弘, 西澤篤志, 小野謙次, 神田展行, KAGRA collaboration, "KAGRA Detector Characterization : KAGRAテータの重力波探索に向けた補助信号間に現れる相関した特徴の新しい発見手法の確立", 日本物理学会 2014年秋季大会, 講演番号 20aSB-11, 佐賀大学, 2014年9月20日 [[http://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=2804|スライド]] * [6] Hirotaka Yuzurihara, Kazuhiro Hayama, Shuhei Mano, Takahiro Yamamoto, Atsushi Nishizawa and Nobuyuki Kanda, "Developing a novel method for finding correlated features between control, environment channels, KAGRA detector characterization", 25 November 2014 [[http://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DET/Meet/Agenda201401125?action=AttachFile&do=get&target=yuzuriharadetchar_141125.pdf|スライド]] [[http://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DET/Meet/Agenda201401125|web page]] ----- == Document == すでに紹介した参考文献に加えて有益な参考文献をまとめておく * 散乱光ノイズの理解のために * 今回用いたノイズモデルはここでまとめられているもの [[http://iopscience.iop.org/article/10.1088/0264-9381/27/19/194011/pdf | Noise from scattered light in Virgo's second science run data]] * [[http://www.opticsinfobase.org/oe/abstract.cfm?uri=oe-20-8-8329|Impact of upconverted scattered light on advanced interferometric gravitational wave detectors]] * [[https://tds.ego-gw.it/itf/tds/index.php?callContent=2&callCode=7776&srchCode=0375A-10&startPage= | Determination of back scattering and direct reflection recoupling from single optics - application to the End Benches]] * ただし、上記のノイズモデル中に出てくるKの定義式が間違っていることが後々指摘されている(それによってGも定義式も変わる) [[attachment:ScatteringWorkshop0.pdf | Backscattering from Advanced Virgo telescopes]] * 阿久津さんのメモ "End ミラーの後ろからの散乱光の寄与について"(阿久津さんの個人計算、上記スライドのより詳細なもの) * KAGRA Main Interferometer Design Document[[http://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/DocDB/ShowDocument?docid=913|pdf]] * Report from the June 2013 Scattering Workshop at GEO [[attachment:ScatteringWorkshop0.pdf | pdf]] * [[http://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0017/G1301748/001/ScatteringWorkshop.pdf | Scattered Light Workshop at GEO600]] * Virgo検出器のnoise budgetについて [[http://w3-1.virgo-gw.eu/senscurve/|The Virgo Sensitivity Curve]] [[http://w3-1.virgo-gw.eu/senscurve/VIR-NOT-PER-1390-51.pdf | Note ]] * 相関解析について *Maximal Information Coefficient (MIC) [[http://science.sciencemag.org/content/334/6062/1518 | Detecting Novel Associations in Large Data Sets]] [[http://science.sciencemag.org/content/suppl/2011/12/14/334.6062.1518.DC1 | Supporting Online Material]] * MICを適用した例(別の相関解析手法 distance correlationとMIC、Pearsonの検出能力の比較をしている) [[https://arxiv.org/abs/1308.3925 | arXiv]] [[http://iopscience.iop.org/article/10.1088/0004-637X/781/1/39 | Distance Correlation Methods for Discovering Associations in Large Astrophysical Databases]] * distance correlationについて [[https://arxiv.org/abs/1010.0297 | arXiv]] * [[attachment:CorrelationComparison.pdf | A COMPARISON OF CORRELATION MEASURES]] * [[http://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DET/Meet/Agenda201400624?action=AttachFile&do=view&target=detchar1406.pdf | Correlation and Independence (Shuhei Mano)]] * slideshareですが・・・[[http://www.slideshare.net/logics-of-blue/mic-31810194 | あたらしい相関係数 "MIC"の解説]] [[http://www.slideshare.net/motivic/tokyo-r-lt-25759212 | 21世紀の手法対決]] * MICの計算を行うためのライブラリ(C, C++, Python, MATLAB) [[http://minepy.sourceforge.net/docs/0.3.5/index.html | Welcome to minepy’s documentation!]] * 個人ブログですが・・・ [[http://takehiko-i-hayashi.hatenablog.com/entry/20130426/1366948560 | "相関"の話＆そのついでに"21世紀の相関（MIC）"の話]]