2025/2/4 16:00~ DGS meeting

• 宮川、山本、押野、池田、中垣、川本、森脇

0. 定期的にやるべきこと

• TWのSSD交換は半年ごと。2025/1/31 tw0, 2025/2/7 tw1

1. 観測体制

• 観測は4/1の15時(UTC)から6/4の15時(UTC)がLIGOがメンテナンスなので、6月5日の15時(UTC)から観測開始。おそらくKAGRAもそこに合わせることになりそう。10月7日の15時(UTC)観測終了。

• 観測開始はおそらく3月で、まだ日にちは決定していない。終了は6月9日の予定。

• IPC glitchがまだ問題か？メンテナンスデーで傾向が毎回変わるみたい。
  • モデルの更新で傾向が変わるので、モデルを変えて変度を見るくらいしかない。どこかで減ったタイミングでこれ以上モデルを変えないという時期を決めなければダメそう。
  • 以前12時前後がひどかったが、現在は時間はばらついている。
  • 根本的にはDolphinのDAQまで解決しないので、O5も引きずりそう。
• やるべきこと

  • まずはいらないDAQチャンネルをリストアップして削除。-> これを進める。 -> (2/4) コミッショニングがもう少し落ち着いてからか。今週TypeAのLSCとPayload部分を16kHzと2kHzに分離するので、少し負担が減るかも。

  • 2月にTWのSSDの交換をやっておく。

  • k1bootのO4a前にとったバックアップが動くかのテスト。k1dc0とk1nds0/1とk1fw0/1とk1tw0/1もバックが動くかの確認もすべき。-> (2/4) 最悪でも観測開始までに必ずやる！

• 観測中はメンテナンスを金曜にするのは週末という意味で避けた方がいいのでは？O4bはもう変更は厳しいので、復旧するという意味においても、O5は平日に考え直した方がいいかも。現在はLIGOとVIRGOは同じ曜日のそれぞれ昼の時間にやっている。O5はVIRGOが最初から参加するかわからないので、曜日はまた検討した方がいい。LIGOはO5に向けて真空槽を一つ追加する予定。
• (2025/2/4) 観測中のオペレーターのための解説もしくは説明会は必要。イベント発見時には各検出器の状況を報告、その際は英語か？

2. 閏年、閏秒

• (2025/1/7) 年末にWS上のpythonから参照する閏秒ファイルを、パッケージを一つアップデートして更新した。閏秒は半年に一回なので、特に年末は気にしておいた方がいい。
• アップデートは基本的にした方がいいが、その後のテストがリアルタイム系と整合性があるか見るのが大変。リアルタイム系をDebian化するためにはDolphinのアップデートが必要。
• RTは1PPSなので原則問題ないはず。GPSで動いているが、GPSは時刻を加算しているだけなのでやはり問題ない。WSは我々の時間で動いていて、閏秒に影響される。閏秒の補正は我々の時間のほうで行う。
• (2025/2/4) LIGOがソフトのアップデートをして、内部にないなら外部を読みに行くように読み込み先を追加するようになった。

3. ADC/DAC

• 18AI64SSC or 18AI64SSC750K：シングル64チャンネル(差動32チャンネル)で最大750kHz (LIGO内でLow-noise ADCと呼ばれているようです)
• 18AI32SSC1M：シングル32チャンネルで最大1MHz (LIGO内でHigh-speed ADCと呼ばれているようです)

を1枚づつ買うか。

• 20bitのDACは5枚買ってある。
• (12/3) LIGOは自作で32bitのDACを試している。クロックノイズを気にしているみたい。
• (8/27) 18bit ADCは今年度どうしても必要というわけではない。ならばDACを買った方が優先度的に得。
• (2025/2/4) STDAでDACとかを使うとまた足りなくなるかも。外部電源が必要な古いものを使うか、来年度予算をもらって細々と買うか。

4. IO chassis

• (6/4) 2台のIO chassisを一つの電源に繋いで、1台落とすと、もう一台のリアルタイムモデルが落ちる。
  • 30Aを2台使い、1本のケーブルの空いているマイナス側に繋ぐ。
  • グリッチなのか突入電流なのか切り分ける。
• 今年度5台分シャーシを作る。組み立ては来年度になるかも。Adnacomを追加購入してる。

5. Dolphin

• (2/6) DolphinのGEN3がLIGOでまだ使っていないので、もしかしたら使えない可能性がある。その場合GEN2を用意する必要があるが、そもそもまだ買えるかどうかもわからない。-> (4/2) GEN2が在庫なしということがわかった。

• DGS upgradeが2025年1月以降。O5は2027年頭の予定、30ヶ月やる予定なので、2030年とか。
• FrameCPPのバージョンが今のDAQだと対応できないかもしれない。もしDolphinもRFMも対応しないなら、自分たちで対応するように書き換えるか。
• (3/5) LIGOではPX(GEN3)と次世代のMX(GEN4)をテストしているが問題がでる。
  • 我々はPXを持っている。別日程で、今後どうするか少し打ち合わせ。
• DolphinドライバーがLIGOとDolphin社の間でしか使わない契約になっている。LIGOのほうでKAGRAが使えないか問い合わせてくれている。

• (6/4) https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15586

  • ハードを変えるのが得そう。ソフトは3.5.1までなので、そこまで変える価値があるか？
    • ハードを変えておくと、GEN3が使えるようになった時にすぐにVer.5台に変更できる。
  • まずはPCとIO chassisをセンターの2階から入れ替え。
    • RFMは新しいPCではプロファイルの高さの関係で使えない。
• (7/2) メーカーのドライバーがそのまま使えるか、LIGOに聞いている。

  • LIGOは自分たちでローカルなレポジトリを持っている。我々もKAGRAローカルなレポジトリを持つことも考えるべきでは？-> LIGOのある時点でのスナップショットを取っておくというような意味。KAGRAで使えた時のものをまとめるという感じか。少し長期で考える。

• (8/6) LIGOはO5でMX(GEN4)を実現しそう。我々が持っているものはPXなので、もしかしたら飛ばされてしまうかも。KAGRAがMXを使えるのはO5後か、それまではバージョン3台を使わなければならない。

• (10/1) Dolphin --> 発注済み

• (10/1) Dolphinドライバーの作り方を少し理解した。（池田）

• (2025/1/7) GEN4になった時にいくらいるかを考えておく。DolphinはすでにGEN5カードがある模様。でもKAGRAはまずはGEN4を目指すべき。サーバー側のPCIeのGenerationもチェックすべきだが、今LIGOが使っているPCと同じものを買っているので、多分大丈夫。-> (2/4)見積もりを取って、三代木さんに伝えた。来年度の予算に期待。

4. MTP光ファイバーケーブル

• Endの1-2階間をどうするか？logn Dolphinを1、2階共に設置するか、計算機を（2階に）集めてIOシャーシを1台1階におく。1ー2階のネットワークも増やす。
  • IRIG-Bシャーシが2台浮くことになる。
• 別計算機を立ち上げて、新IO chassisとDonphiin GEN3のテストをするといい。
  • O4bが始まる前に見込みをつけておいた方がいい。
  • V4が数台。Xeon Gold　27台ある。Dolphin（制御をDAQ）とIRIG-B、DGSを全てハーフハイトで。
  • DC0で16個のend point（スレッドに相当）が立ちあがる。30台のRTPCからデータを受け取る。コアが12個なので、入れ替えながら受け取る。NIC1台で32個のエンドポイントを扱えるのでNICを増やすか、コア数を増やすかするといい。エンドポイントを1ー2年前に8個から16個に増やした。
• 古いIO chassisはGEN1で動いているので、biosのGEN3モードで動くかどうかのテストをする必要がある。
• センター1階は予算があれば進める。最終的にはBSあたりとIOOあたりの2か所で、段階的にやってもいい。
• エンドはMTPは無しでも良く、1-2階間のマルチモードの8芯以上の追加がX,Y共に必要。
• センター2FのPCとIO chassisを置き換えることを考える。既存のものと一緒において、すぐに戻せるような体制でテスト。IRIG-BとFanoutを余らせるのがここでの最終目的。
• (6/4) Xendの工事完了。
• Y-endはシングルの24本を敷設したはずなので、それを使うか？マルチモードで使えるか、確認。

  • (6/4) Yendを100mで今年度中に工事？-> たとえ2024年度にできなくてもO4bには影響ない。-> (2025/1/7) 今年度はやらない。

5. テストベンチ

• (3/5) 天文台でsqueezer用のものを作ろうと考えている。テストベンチ規模になるなら、使っていないV2を送るかもしれない。押野君が出張するかも。
• (4/2) 同期が取れないのでDolphinが動かないのでは？なのでRTPCにIRIG-Bカードが必要なのでは？今のシステムだとTDSが必須なので、それでもIRIG-Bだけで動くようにコードを書き換える必要がありそう。
• (4/2) 新しいTiming slaveは既存とコンパチみたいだが、今Danielがやっているものとはまた別のよう。
• (4/2) bootサーバーを作り直した。RTモデルは動いたが、DCがレシーバーは動いているが、センダーがまだうまくいっていない。
• (6/4) puppetの手順書を書いている。

• (7/2) O5向けに3.1.1のままで新PCで動かせるか検証。-> まだキーボードやNICボードが認識されないなど、うまくいかない。-> 新IOシャーシとV4で動くか見てみるが、ADNACOMとRFMとDolphinを入れようとすると5スロットしかないので入らない。ADNACOM4枚をまとめるカードが使えるかもしれません。

• (8/6) テストベンチの200V電源を100Vに交換することをSK側に聞いてみる。100Vが実現できたら、余っている100V電源などをそのまま使える。(押野)
• (10/1) Dolphinを動かすためにはKernelのバージョンを上げる必要がありそう。キーボード(USB)を認識しない、もしくはカーネルパニックになる。
  • (12/3) USB2のカードを入れたら動いた。ただしBIOSに入ることができない。スロットが足りなくなるので、AdnacomのS5カードが必要。あとはPIXEブート。

• (12/3) k1nfs0の代わりになるサーバーをテストベンチで立ち上げた。k1bootのopt代わりにするためのテスト。(押野)-> (2025/1/7) 今月やる。

• (2025/1/7) 新しく来たDACカードのノイズ測定をする。
• (2025/1/7) SK棟の部屋を2.5部屋もらえそう。STDAシステムをじっそうするといいかも。
• (2025/1/7) MEDMからCAQTDMに変更するテストをLIGOでやっている。.adlファイルを自動変換できそうなのが、QTDMを使いたい理由か。
• (2025/2/4) 最新版のRCG(5.1.4)でKAGRAシステムが動くかテストしている。GEN4が動いた時のことを考えて最新をテストするという方針。最新版はフィルター切替のグリッチも大元で改善されているみたい。
  • WSもアップデートしたらNDS2などが動かなかった。Debian12で立ち上がった。

6. IPC glitch

• (4/2) DCのNIC(Myriyet)の2枚挿テストを今週再度やってみる。
  • (6/4) かなり減った。5/17に作業して、その後3週間くらいで3回出ただけ。NICのカード1枚のキャパシティーが超えていたと考えられる。
  • NIC1枚で16プロセル走らせることが可能。実際には二十数モデル走らせていたので、1モデル1プロセスになった。カードを増やしただけでなく、DCの2枚のカードごとのデータ量のバランスをとったことも効果があった。
• MXのビルドオプションが2枚用になっているので、もしかしたら3枚オプションとかが可能かもしれない。
• (7/2) ここ1週間くらいは出ていない。ASCが2kHzから256Hzにしたことも効いているのかもしれない。
• (8/6) ゼロにはなっていないが、多くて1日1回か、テストポイントを使うと増えたりする。静かな時は2日に1回とか。やはりネットワークが効きそう。

  • (8/27) 前回ミーティングの後に増えた。8/22を境にまた減った。-> 週に1回とかなので悪くはないが、増えたり減ったいるすることもあるので、あまり再現性がない。あとはDAQのDolphin化くらいなので、O4bは今のままで行くことになりそう。

• (12/3) 状況によって増えたり減ったり。(池田)

7. 1ヶ月の進捗状況

• 時刻情報をすぐに比較できるようにしようと考えている。FPGAでSKのTDCというのを作るか？
  • LIGOのComparatorは？
• (12/5) IMC susなどIO chassisの電源をACからDCに変えた。残りはIOO0,1 ALS。SR2がBSから数珠繋ぎになっているのは、配線依頼済み。エンドはまだいくつか、特に1階が手付かず。
  • その際、電圧降下で立ち上がりにくいことがあった。ラック側の電圧が落ちないように、根元で少し上げておくのがいい。
• (12/5) k1bootが一旦落ちた。再起動で一お動き出した。システム領域にはディスクエラーはなかったが、データ領域にエラーが3つあった。でもそのエラーが落ちた理由とも思えない。

• (12/5) minute trendが3月にいっぱいになるので、2月くらいに交換するといい。もう1系統バックアップを組んでおいた方がいいかも。-> 押野 -> k1nds0は完了して再起動した。knds1は今週再起動予定。

• (2/6 ) WS周りのアップグレードの準備を始めている。大体は動くが、diagguiやfotonなどバージョンによって動かないものがある。Debian10のサポートが夏に終わるので、O4bが問題になるかも。古いバージョンを使うことはできるので、もしかしたら観測優先で使い続けるかも。自由に外部に出れるのが問題か？ホワイトリスト方式にして、proxyサーバを立てたりするのま？

• (3/5) Nonsensという、リアルタイムでノイズのサブトラクションをするのがある。サイトで、リアルタイムモデル上で動く。ASC->LSCや電源ライン系のサブトラクトに使われている。ただし、それとは別にオフラインでサブトラクトしている。

• (4/2) PCがちょくちょくダウンしている。2、3月で4台。古いRTSで数100日でダウンするバグがあるのかも。
• (8/6) k1ascのモデルを2つに分割した。今のところ問題はなさそう。(池田)
• (8/26) minute raw data用の新しいNASでの読み込みがうまくいった。(押野)
• (2025/1/7) Graphcカードが今使っているのが廃盤で、新たに4出力出せるカードをテストしている。今の所動いているが、mini-Diplay portなので変換が必要。NVIDIAに統一しておけば、大丈夫か。
• (2005/2/4) 真空関連がch名なども含めてDAQに取り込まれた。EPICSのIOCは真空装置のほうでたち上がっていて、Ch名はそちらで定義されている。そのChは真空のEPICSで閉じていて、真空専用のEPICS Gatewayで名前を変換している。
• (2/4) 木村さんから頼まれて、Cryo コンプレッサーのGM10から温度情報をとってEPICSとして保存したい。(押野)

8. GPS関連

• KAGRAのGPSに4月に大きなジャンプが起きた。
• SKに6月にCommon Viewの作業中に大きなジャンプが起きた。少なくとも4月には何もなかった。
• 9/13 天文学会で特別セッションで発表する。
• (5/9)衛星の数が正午に減るようなことはなさそう。
• まとめのグラフができた。

  • https://gwdet.icrr.u-tokyo.ac.jp/~controls/summary/day/20240205/detchar/gps/

• (3/5) 川本君がやったことをまとめて話してくれるかも。時刻がズレる秒単位の比較のズレの「頻度」が変わると、ジャンプが起きるようだ。Timing masterを増やすか、Common Viewをもう一台増やして比較してみたい。
• (4/2) common viewを修理で送りかえした。予備を買う？メンテナンスの更新。
• (6/4) 4/2に送り返して、戻ってきたあとGPSアンテナのコネクタが壊れたの、霜出さんに修理してもらった。その後は安定して動いている。
  • (6/4) 3/19で時刻差が0秒から20n秒付近に変わった。（川本）
• (8/6) 川本君が学会で発表する。
• (10/1) 日周変動がきれいなサイン波なので、おんどだけでないのではないか？GPS時刻の確定に関して、この研究の意義は？もっと細かい範囲で時刻差を見ることはできるか？
• (12/3) 川本君がF2Fで発表する。
• (2/4) 川本君の修論でCommon viewのplay ground dataを使いたいのでCPCに申請する。ただし、Channel名もついていないので、どうすればいいのからを問い合わせる。DGSとしてはplay ground dataで了承。

9. メンテンナス

• 古いUPSバッテリーを一斉交換する。->　山本 -> 9/6:すでに切れているものは交換した。O4までに、後2台残っている。

  • (12/3) KAGRA全体でUPSバッテリーを坑内スタッフに頼んで交換してもらう仕組みを組み始めている。

• (8/6) 8月2日センターの2階でEPICSが見えなくなったことがある。ネットワークの安定性が少し心配。(池田、山本)-> (2025/1/7) 1/7今日も発生した。再起動して一応見えるようにはなった。スイッチの抜き差しが関係してそう。NETGEARのPOEなのが原因かもと、Intel NAC(Mini PC)のほうがおかしいかも。

• (8/26) SSDの交換を継続してやっているが、昨年より早いペースで交換が進んでいる。データ量が増えているか？(押野)

10. 玉木君のKEKでの実験

• HPCD x4、AA/AI x1、WFx3 はある。サテライトボックスを確認。
• STDAで構築、ADC1枚、DAC1枚。
• (8/6) スタンドアロンでIOシャーシなしでやる予定。アダプターカードが壊れていて足りないかもしれない。DACが足りないかもしれない。
• (10/1) 三橋君がGCALでスタンドアローンをもう一台別の場所で使おうとしている。
• (10/1) 他にもスタンドアローンを欲しがってる人がいる。アダプターカードを確認しておいた方がいい。

• (12/3) 12/16, 17に山本君がKEKに行ってセットアップ。-> DACがうまく動かなかったので、ADC1枚で動いている。GCALでも使う予定があるので、何度か行くことになりそう。

• (2025/2/4) DACにエラーが出ているので、明日から山本君がKEKに行く。ついでに三橋君のGCALも見てくる。

11. IP 枯渇問題

• 押野君がWS networkを立てる案を作ってくれた。
• 10.68.10.XXのサブネットを変える。
• Oは多分無理。1週間くらいのメンテナンスデーが欲しい。
• 10/4 EPICS信号をTCP/IPのネットワークから分ける。（池田）
  • awgはnds経由で指令しているのか？
• O4以前は諦める。
• (8/26) ピコ関連の10.68.160.XXが足りなくなるかもしれない。現在200台以上ある。O5に向けてか？

12. Interlock

• (12/5) 11月に両エンドのリモート操作（MEDM経由）が可能になった。その後、自己判断するようなもの（ハードワイヤ）を組み込む。
• (2/6) 1月後半に上久保田さんがきて、GVに入れる打ち合わせをした。

• (3/5) 3/13-15に上久保田さんが来る。GVの1セット目の完成を目指す。 -> (4/2) 設計と打ち合わせをして、現在実装している最中。

• (7/2) 6/21 ITMYのゲートバルブに開閉のスイッチが入ってテストした。うまくいったが、リモートでの操作ができなくなってしまった。8月にはITMXを設置する予定。
• (8/6) 8/28-30で上窪田さんが来る。ITMXにITMYと同じリモート制御をインストール。
• (8/26) 9/4-6で上窪田さんがくる。ITMXの作業。
• (8/26) 真空用のEPICS IOCのレクチャーをKEKでしてもらう。(押野、中垣)
• (10/1) 9／4-6でITMXの作業をした。10月BSX BSY（ゲートバルブ）の作業予定。あとはEXとEYに一つづつで、一応ひと段落。
  • (12/3) 週末にXendにGVの自動クローズを設置予定。12/13にYエンドに同様に設置予定。これでだいたいひと段落
• (2025/1/7) 12/6日にXend、18日にYendにGVクローズの設定をした。休み中に閾値を変えて、誤動作で閉じてしまった。先週、昨日と真空ゲージ(CC10)が壊れてしまいったが、今日交換したもので現在テスト中。
• (2/4) 異常動作が何度かあったが、閾値を見直して安定化した。EPICS画面を改良したり、不安定時の情報表示などの改良をした。
• (2/4) 2月前半に、IFIのGVに同じ装置をつけることになている。2月後半に、PRMとSRMのリモート管理の装置を設置する。

長期的でやるタスク

• 大きいモニターもいずれ交換。O4a後くらいか？

• 坑内のIOO付近のWi-Fiを安定化させる。-> クリーンブース内を有線化

• テストベンチ。
  • Dolphinが主流に。DAQもDolphin。
• SINETのアップグレード
• 坑内ネットワークのアップグレード
• 新IO chassisをどう稼動させていくか？
  • 今回買った計算機で稼動
• RGCのアップグレード
• DCの冗長化
• 20bit DAC
• 18bit ADC
• タイミング関連が変わる。
• 計算機のreplace
• 回路の交換
• 柏と神岡の10G化
• 柏が止まる時の逃げ道、冗長性など
• 予算
• (2024/8/26) AC60Hzの周波数揺らぎを見る回路を作る。(押野、上窪田)

To do

ケーブル

• 計算機室の出口のケーブル整理。

その他

• D-SUB37pinケーブルを作る。-> 必要なケーブルの種類とラフな本数を見積もる。

• OMCに15mのD-SUB 9pinケーブルを使うが、もしかしたら在庫がないかも。(押野)-> かなり予備を見て揃えたので、多分大丈夫なはず。15mピッタリはないかも。(宮川)

今後の予定

• 次回: 2月25日（火） 16:00~
• 次々回: 4月1日（火） 16:00~