Differences between revisions 5 and 6
⇤ ← Revision 5 as of 2024-11-13 09:43:23 →
Size: 20550
Editor: OsamuMiyakawa
Comment:
← Revision 6 as of 2024-11-13 09:44:04 → ⇥
Size: 4619
Editor: OsamuMiyakawa
Comment:
Deletions are marked like this. Additions are marked like this.
Line 73: Line 73:
=== 1. ADC/DAC ===

 * 18AI64SSC or 18AI64SSC750K：シングル64チャンネル(差動32チャンネル)で最大750kHz (LIGO内でLow-noise ADCと呼ばれているようです)
 * 18AI32SSC1M：シングル32チャンネルで最大1MHz (LIGO内でHigh-speed ADCと呼ばれているようです)
を1枚づつ買うか。

 * 20bitのDACは5枚買ってある。
 * LIGOで28bitのDACを試している。1枚入れてみる。


 * (10/1) DAC１枚 --> 10月納品予定, DAC３枚 --> 発注済み



=== 2. IO chassis ===

 * (6/4) 2台のIO chassisを一つの電源に繋いで、1台落とすと、もう一台のリアルタイムモデルが落ちる。
  * 30Aを2台使い、1本のケーブルの空いているマイナス側に繋ぐ。
  * グリッチなのか突入電流なのか切り分ける。

 * 今年度5台分シャーシを作る。組み立ては来年度になるかも。Adnacomを追加購入してる。


=== 3. Dolphin ===

 * (2/6) DolphinのGEN3がLIGOでまだ使っていないので、もしかしたら使えない可能性がある。その場合GEN2を用意する必要があるが、そもそもまだ買えるかどうかもわからない。-> (4/2) GEN2が在庫なしということがわかった。
 * DGS upgradeが2025年1月以降。O5は2027年頭の予定、30ヶ月やる予定なので、2030年とか。
 * FrameCPPのバージョンが今のDAQだと対応できないかもしれない。もしDolphinもRFMも対応しないなら、自分たちで対応するように書き換えるか。

 * (3/5) LIGOではPX(GEN3)と次世代のMX(GEN4)をテストしているが問題がでる。
  * 我々はPXを持っている。別日程で、今後どうするか少し打ち合わせ。

 * DolphinドライバーがLIGOとDolphin社の間でしか使わない契約になっている。LIGOのほうでKAGRAが使えないか問い合わせてくれている。

 * (6/4) https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15586
  * ハードを変えるのが得そう。ソフトは3.5.1までなので、そこまで変える価値があるか？
   * ハードを変えておくと、GEN3が使えるようになった時にすぐにVer.5台に変更できる。
  * まずはPCとIO chassisをセンターの2階から入れ替え。
   * RFMは新しいPCではプロファイルの高さの関係で使えない。

 * (7/2) メーカーのドライバーがそのまま使えるか、LIGOに聞いている。
  * LIGOは自分たちでローカルなレポジトリを持っている。我々もKAGRAローカルなレポジトリを持つことも考えるべきでは？-> LIGOのある時点でのスナップショットを取っておくというような意味。KAGRAで使えた時のものをまとめるという感じか。少し長期で考える。

 * (8/6) LIGOはO5でMX(GEN4)を実現しそう。我々が持っているものはPXなので、もしかしたら飛ばされてしまうかも。KAGRAがMXを使えるのはO5後か、それまではバージョン3台を使わなければならない。

 * (10/1) Dolphin --> 発注済み
 * (10/1) Dolphinドライバーの作り方を少し理解した。（池田）


=== 4. MTP光ファイバーケーブル ===

 * Endの1-2階間をどうするか？logn Dolphinを1、2階共に設置するか、計算機を（2階に）集めてIOシャーシを1台1階におく。1ー2階のネットワークも増やす。
  * IRIG-Bシャーシが2台浮くことになる。

 * 別計算機を立ち上げて、新IO chassisとDonphiin GEN3のテストをするといい。
  * O4bが始まる前に見込みをつけておいた方がいい。
  * V4が数台。Xeon Gold　27台ある。Dolphin（制御をDAQ）とIRIG-B、DGSを全てハーフハイトで。
  * DC0で16個のend point（スレッドに相当）が立ちあがる。30台のRTPCからデータを受け取る。コアが12個なので、入れ替えながら受け取る。NIC1台で32個のエンドポイントを扱えるのでNICを増やすか、コア数を増やすかするといい。エンドポイントを1ー2年前に8個から16個に増やした。


 * 古いIO chassisはGEN1で動いているので、biosのGEN3モードで動くかどうかのテストをする必要がある。

 * センター1階は予算があれば進める。最終的にはBSあたりとIOOあたりの2か所で、段階的にやってもいい。
 * エンドはMTPは無しでも良く、1-2階間のマルチモードの8芯以上の追加がX,Y共に必要。

 * センター2FのPCとIO chassisを置き換えることを考える。既存のものと一緒において、すぐに戻せるような体制でテスト。IRIG-BとFanoutを余らせるのがここでの最終目的。

 * (6/4) Xendの工事完了。
 * Y-endはシングルの24本を敷設したはずなので、それを使うか？マルチモードで使えるか、確認。
  * (6/4) Yendを100mで今年度中に工事？-> たとえ2024年度にできなくてもO4bには影響ない。


=== 5. テストベンチ ===

 * (3/5) 天文台でsqueezer用のものを作ろうと考えている。テストベンチ規模になるなら、使っていないV2を送るかもしれない。押野君が出張するかも。
 * (4/2) 同期が取れないのでDolphinが動かないのでは？なのでRTPCにIRIG-Bカードが必要なのでは？今のシステムだとTDSが必須なので、それでもIRIG-Bだけで動くようにコードを書き換える必要がありそう。
 * (4/2) 新しいTiming slaveは既存とコンパチみたいだが、今Danielがやっているものとはまた別のよう。

 * (4/2) bootサーバーを作り直した。RTモデルは動いたが、DCがレシーバーは動いているが、センダーがまだうまくいっていない。
 * (6/4) puppetの手順書を書いている。
 * (7/2) O5向けに3.1.1のままで新PCで動かせるか検証。-> まだキーボードやNICボードが認識されないなど、うまくいかない。-> 新IOシャーシとV4で動くか見てみるが、ADNACOMとRFMとDolphinを入れようとすると5スロットしかないので入らない。ADNACOM4枚をまとめるカードが使えるかもしれません。

 * (8/6) テストベンチの200V電源を100Vに交換することをSK側に聞いてみる。100Vが実現できたら、余っている100V電源などをそのまま使える。(押野)

 * (10/1) Dolphinを動かすためにはKernelのバージョンを上げる必要がありそう。キーボード(USB)を認識しない、もしくはカーネルパニックになる。



=== 6. IPC glitch ===

 * (4/2) DCのNIC(Myriyet)の2枚挿テストを今週再度やってみる。
  * (6/4) かなり減った。5/17に作業して、その後3週間くらいで3回出ただけ。NICのカード1枚のキャパシティーが超えていたと考えられる。
  * NIC1枚で16プロセル走らせることが可能。実際には二十数モデル走らせていたので、1モデル1プロセスになった。カードを増やしただけでなく、DCの2枚のカードごとのデータ量のバランスをとったことも効果があった。
 * MXのビルドオプションが2枚用になっているので、もしかしたら3枚オプションとかが可能かもしれない。
 * (7/2) ここ1週間くらいは出ていない。ASCが2kHzから256Hzにしたことも効いているのかもしれない。

 * (8/6) ゼロにはなっていないが、多くて1日1回か、テストポイントを使うと増えたりする。静かな時は2日に1回とか。やはりネットワークが効きそう。
  * (8/27) 前回ミーティングの後に増えた。8/22を境にまた減った。-> 週に1回とかなので悪くはないが、増えたり減ったいるすることもあるので、あまり再現性がない。あとはDAQのDolphin化くらいなので、O4bは今のままで行くことになりそう。


=== 7. 1ヶ月の進捗状況 ===
 * 時刻情報をすぐに比較できるようにしようと考えている。FPGAでSKのTDCというのを作るか？
  * LIGOのComparatorは？

 * (12/5) IMC susなどIO chassisの電源をACからDCに変えた。残りはIOO0,1 ALS。SR2がBSから数珠繋ぎになっているのは、配線依頼済み。エンドはまだいくつか、特に1階が手付かず。
  * その際、電圧降下で立ち上がりにくいことがあった。ラック側の電圧が落ちないように、根元で少し上げておくのがいい。

 * (12/5) k1bootが一旦落ちた。再起動で一お動き出した。システム領域にはディスクエラーはなかったが、データ領域にエラーが3つあった。でもそのエラーが落ちた理由とも思えない。

 * (12/5) minute trendが3月にいっぱいになるので、2月くらいに交換するといい。もう1系統バックアップを組んでおいた方がいいかも。-> 押野 -> k1nds0は完了して再起動した。knds1は今週再起動予定。

 * (2/6 ) WS周りのアップグレードの準備を始めている。大体は動くが、diagguiやfotonなどバージョンによって動かないものがある。Debian10のサポートが夏に終わるので、O4bが問題になるかも。古いバージョンを使うことはできるので、もしかしたら観測優先で使い続けるかも。自由に外部に出れるのが問題か？ホワイトリスト方式にして、proxyサーバを立てたりするのま？

 * (3/5) Nonsensという、リアルタイムでノイズのサブトラクションをするのがある。サイトで、リアルタイムモデル上で動く。ASC->LSCや電源ライン系のサブトラクトに使われている。ただし、それとは別にオフラインでサブトラクトしている。

 * (4/2) PCがちょくちょくダウンしている。2、3月で4台。古いRTSで数100日でダウンするバグがあるのかも。

 * (8/6) k1ascのモデルを2つに分割した。今のところ問題はなさそう。(池田)

 * (8/26) minute raw data用の新しいNASでの読み込みがうまくいった。(押野)

 * (10/1)

=== 8. GPS関連 ===

 * KAGRAのGPSに4月に大きなジャンプが起きた。
 * SKに6月にCommon Viewの作業中に大きなジャンプが起きた。少なくとも4月には何もなかった。
 * 9/13 天文学会で特別セッションで発表する。
 * (5/9)衛星の数が正午に減るようなことはなさそう。
 * まとめのグラフができた。
  * https://gwdet.icrr.u-tokyo.ac.jp/~controls/summary/day/20240205/detchar/gps/
 * (3/5) 川本君がやったことをまとめて話してくれるかも。時刻がズレる秒単位の比較のズレの「頻度」が変わると、ジャンプが起きるようだ。Timing masterを増やすか、Common Viewをもう一台増やして比較してみたい。
 * (4/2) common viewを修理で送りかえした。予備を買う？メンテナンスの更新。
 * (6/4) 4/2に送り返して、戻ってきたあとGPSアンテナのコネクタが壊れたの、霜出さんに修理してもらった。その後は安定して動いている。
  * (6/4) 3/19で時刻差が0秒から20n秒付近に変わった。（川本）

 * (8/6) 川本君が学会で発表する。
 * (10/1) 日周変動がきれいなサイン波なので、おんどだけでないのではないか？GPS時刻の確定に関して、この研究の意義は？もっと細かい範囲で時刻差を見ることはできるか？



=== 9. メンテンナス ===

 * 古いUPSバッテリーを一斉交換する。->　山本 -> 9/6:すでに切れているものは交換した。O4までに、後2台残っている。
 * (8/6) 8月2日センターの2階でEPICSが見えなくなったことがある。ネットワークの安定性が少し心配。(池田、山本)

 * (8/26) SSDの交換を継続してやっているが、昨年より早いペースで交換が進んでいる。データ量が増えているか？(押野)


=== 10. 玉木君のKEKでの実験 ===

 * HPCD x4、AA/AI x1、WFx3 はある。サテライトボックスを確認。
 * STDAで構築、ADC1枚、DAC1枚。
 * (8/6) スタンドアロンでIOシャーシなしでやる予定。アダプターカードが壊れていて足りないかもしれない。DACが足りないかもしれない。
 * (10/1) 三橋君がGCALでスタンドアローンをもう一台別の場所で使おうとしている。
 * (10/1) 他にもスタンドアローンを欲しがってる人がいる。アダプターカードを確認しておいた方がいい。

=== 11. IP 枯渇問題 ===
 * 押野君がWS networkを立てる案を作ってくれた。
 * 10.68.10.XXのサブネットを変える。
 * Oは多分無理。1週間くらいのメンテナンスデーが欲しい。

 * 10/4 EPICS信号をTCP/IPのネットワークから分ける。（池田）
  * awgはnds経由で指令しているのか？
 * O4以前は諦める。
 * (8/26) ピコ関連の10.68.160.XXが足りなくなるかもしれない。現在200台以上ある。O5に向けてか？


=== 12. Interlock ===

 * (12/5) 11月に両エンドのリモート操作（MEDM経由）が可能になった。その後、自己判断するようなもの（ハードワイヤ）を組み込む。

 * (2/6) 1月後半に上久保田さんがきて、GVに入れる打ち合わせをした。
 * (3/5) 3/13-15に上久保田さんが来る。GVの1セット目の完成を目指す。 -> (4/2) 設計と打ち合わせをして、現在実装している最中。
 * (7/2) 6/21 ITMYのゲートバルブに開閉のスイッチが入ってテストした。うまくいったが、リモートでの操作ができなくなってしまった。8月にはITMXを設置する予定。
 * (8/6) 8/28-30で上窪田さんが来る。ITMXにITMYと同じリモート制御をインストール。
 * (8/26) 9/4-6で上窪田さんがくる。ITMXの作業。
 * (8/26) 真空用のEPICS IOCのレクチャーをKEKでしてもらう。(押野、中垣)
 * (10/1) 9／4-6でITMXの作業をした。10月BSX BSY（ゲートバルブ）の作業予定。あとはEXとEYに一つづつで、一応ひと段落。

=== 長期的でやるタスク ===

 * 大きいモニターもいずれ交換。O4a後くらいか？
 * 坑内のIOO付近のWi-Fiを安定化させる。-> クリーンブース内を有線化
 * テストベンチ。
  * Dolphinが主流に。DAQもDolphin。
 * SINETのアップグレード
 * 坑内ネットワークのアップグレード
 * 新IO chassisをどう稼動させていくか？
  * 今回買った計算機で稼動
 * RGCのアップグレード
 * DCの冗長化
 * 20bit DAC
 * 18bit ADC

 * タイミング関連が変わる。

 * 計算機のreplace
 * 回路の交換
 * 柏と神岡の10G化
 * 柏が止まる時の逃げ道、冗長性など
 * 予算

 * (2024/8/26) AC60Hzの周波数揺らぎを見る回路を作る。(押野、上窪田)


=== To do ===

=== ケーブル ===
 * 計算機室の出口のケーブル整理。

=== その他 ===
 * D-SUB37pinケーブルを作る。-> 必要なケーブルの種類とラフな本数を見積もる。

 * OMCに15mのD-SUB 9pinケーブルを使うが、もしかしたら在庫がないかも。(押野)-> かなり予備を見て揃えたので、多分大丈夫なはず。15mピッタリはないかも。(宮川)

2024/11/12 16:00~ DGS meeting

  • 宮川、山本、池田、中垣、内山

アップデート

  • 4ヶ月は長すぎる
    • 全部止めるのか？一部は動かした状態で進めるべき。
    • テストベンチできちんと動くなら、4ヶ月もかからないはず。逆に、テストベンチでできていないなら、本体のアップデートはやれない。
  • Dolphinが問題、少なくともテストはできないのか？
    • LIGOがGEN4なら、まずGEN4を買うべき
    • テストベンチでテストする方法は？
    • 3kmのテスト
  • GEN4のテストが伸びた時はどうするのか？そのまま？他の準備？
  • IO chassisを使う価値は？
    • 数に余裕が出る。スペアになる。
    • 週1のメンテナンスでも交換できる。
    • 光ファイバーケーブルはいくつか新たに這わす必要がある。
    • 立ち上げ次は少し安定になるはず。
    • GND問題が解決するかも。
  • 新しい計算機を使う価値は？
    • CPU負荷が減る。コア数が増えるのでモデル数を増やすことができる。
    • 台数がたりてないので、増やすことができる。(旧V4で増やすという手は一応ある。)
  • RCGアップデートを諦める
    • 新しいIO chassisは使える。
    • frame fileの互換性がIGWN推奨のものとなくなる可能性がある: framecpp
    • RFMのチェンネル数が~50/64になっていて、あまり増やせない。
    • 新しい計算機を使いたいのに、古いRCG側が対応していない可能性がある。
      • DAC glitch(CPU負荷起因)とIPC glitch(おそらくネットワークなのでDAQのDolphin化で解決)が解決できない。
    • チャンネルを増やさなければいいが、O5ではチャンネルを増やすことになるだろう。
    • 新しいソフトはあるにはあるが、ないものと思えばなんとかなる。クリティカルなものはユーザー目線ではあまりなさそう。
      • BrucoみたいなやつはKAGRAようにカスタマイズしているが、RCGが古いことで不利になることはあまりない。
      • H of Tだけ使う分にはあまり困らないはず。新しいframecppを使うことで回避できる。
  • GEN2を探す
    • PC, IO chassisをアップデートしておく。
      • Gentoo OS だと新しいPCでマウスとキーボートが動かない。カーネルをアップデートするべき。DebianはGen1 Dolphinは動かないので、Gentooを使うしかない。IO chassisは動くことは確認できた。
    • GEN2にした場合、
      • RCGのバージョンを3台でも使えるし、5台まで上げることができる。
      • バージョン3台ならRFMを併用できる可能性がある。RFMをロングレンジで使ってもLIGOは問題ない。
      • 必要台数はセンターだけで15-17台くらい、エンドまで入れると+4、さらにテストベンチ用も必要と考えると30台以上。

      • GEN2の型番: https://dcc.ligo.org/LIGO-T1800016,

  • 結論

    • GEN3はLIGOがRTのテストを辞めてしまっている。->　KAGRAで新しいドライバーを書くか？もしくは新しいDolphinドライバーを使うか。-> KAGRAでやるのはやはり厳しか？

    • DAQのテストは独立、しかもGEN3でできる、ただしDebian。RTはGentooでDAQはDebianという手はある。RCGを3.3以降に上げて、Debian化する必要がある。Framecpp問題はRCG3.3だと解決しない。IPC glitchは解決するのでそれが動機。
    • GEN4でのアップデートはいずれにせよ現実的ではない。LIGOがテストを終えてもまだKAGRAでは時間がかかる。テストだけしておく。
    • Gentooをしばらく使うのは必須。
  • To do
    • テストベンチは何れにせよ開発を続ける。
    • GEN2を探す。
    • GEN3のDAQを整備する。

    • 3.1.1 -> 3.3 or 3.4にするとRTモデルの数を倍にすることができる。GEN1でも動く。

      • GEN1で動く最新のものは3.5.1 or 3.5.2だが、観測では使っていない。

今後の予定

  • 次回: 12月3日（火） 16:00~
  • 次々回: 1月7日（火） 16:00~

KAGRA/Subgroups/DGS/Meeting/20241112/minute (last edited 2024-11-13 09:44:04 by OsamuMiyakawa)