Differences between revisions 1 and 2
⇤ ← Revision 1 as of 2024-03-05 14:59:01 →
Size: 14668
Editor: OsamuMiyakawa
Comment:
← Revision 2 as of 2024-03-05 17:12:16 → ⇥
Size: 15309
Editor: OsamuMiyakawa
Comment:
Deletions are marked like this. Additions are marked like this.
Line 18: Line 18:
DGS total: 2600 DGS total: 3100
Line 21: Line 21:
 * IRIG-B card x10: 400
Line 24: Line 25:
 * Adnacom x10: 100  * Adnacom x20: 200
Line 35: Line 36:
 * (3/5) LIGOではPX(GEN3)と次世代のMX(GEN4)をテストしているが問題がでる。
  * 我々はPXを持っている。別日程で、今後どうするか少し打ち合わせ。
Line 40: Line 44:
 * (3/5) 聞きたいことは随時聞いているので、しばらくそのまま。
Line 60: Line 65:
 * X-endはケーブルのみ2023年度発注。工事は2024年度早々に発注。  * (3/5) X-endはケーブルのみ2023年度発注済み。工事は2024年度早々に発注。
Line 64: Line 69:
Line 66: Line 70:

 * カード枚数テスト（池田）
  * [[KAGRA/Subgroups/DGS/Projects/TestBench/O5TestBench]]

  * (12/5) カード認識順の確認 => 順列になっている問題なし
  * (12/5) 最大構成枚数の確認 => k1als0のカード枚数構成は問題なく動作した。
   * Type-Aのカード枚数の構成にするとFEPCが再起動を繰り返す問題が発生。
    * Adonacoカード1枚に 外部電源を挿してみたが効果なし
    * Adonaco のDIPSW見直したが効果なし
    * 今後、FEPCのBIOS設定の見直しなどを予定
Line 93: Line 87:

==== スケジュール ====
 * 7月：DAQ立ち上げ
 * 8月：テストベンチ移動
 * 9-11月：Dolphin用テストベンチ立ち上げ
 * 12-1月:Dolphon-光変換PC立ち上げ
 * -24年12月： テスト		  * (3/5) puppetを壊してしまったので、いくつか修理した。
 * (3/5) ADCのrev.Cでうまくタイミングが取得できることを(1/13枚で)確認した。JGWDocの情報を更新する予定。
 * (3/5) PX Dolohinのテストを中心にしばらく続ける。LIGOで動かせるようになるのをまって、KAGRAではインストール手法を確立しておく。

 * (3/5) 天文台でsqueezer用のものを作ろうと考えている。テストベンチ規模になるなら、使っていないV2を送るかもしれない。押野君が出張するかも。
Line 116: Line 108:
 * (3/5) モデルの数は地震前と同じだが、モデルの負荷は軽減されているはず。少なくともIPC glitchは出ている。モデル再起動でglitchの数はランダムに上下する。
Line 122: Line 115:
 * (11/7) Xend停電でDGS系のネットワークが断絶した。光ファイバーとスイッチを他のものに変えてとりあえず接続はできたが、既存ファイバーがなぜ繋がらないかは不明。
  * (12/5) センターのスイッチの故障が原因だったようである。-> 今回はポートを変えて対処した。でも、なぜエンドの停電でセンターの機器が壊れたのか？接続断で顕になる問題なのか？ログを調べてみると、IPC glitchのヒントになるかも。
Line 130: Line 120:
 * (12/5) minute trendが3月にいっぱいになるので、2月くらいに交換するといい。もう1系統バックアップを組んでおいた方がいいかも。-> 押野  * (12/5) minute trendが3月にいっぱいになるので、2月くらいに交換するといい。もう1系統バックアップを組んでおいた方がいいかも。-> 押野 -> k1nds0は完了して再起動した。knds1は今週再起動予定。
Line 133: Line 123:

 * Nonsensという、リアルタイムでノイズのサブトラクションをするのがある。サイトで、リアルタイムモデル上で動く。ASC->LSCや電源ライン系のサブトラクトに使われている。ただし、それとは別にオフラインでサブトラクトしている。
Line 143: Line 135:


=== 5. メンテンナス ===		  * (3/5) 川本君がやったことをまとめて話してくれるかも。時刻がズレる秒単位の比較のズレの「頻度」が変わると、ジャンプが起きるようだ。Timing masterを増やすか、Common Viewをもう一台増やして比較してみたい。


=== 9. メンテンナス ===
Line 151: Line 144:
=== 6. ADC noise === === 10. ADC noise ===
Line 178: Line 171:
=== 7. 玉木君の実験 === === 11. 玉木君のKEKでの実験 ===
Line 184: Line 177:
=== 8. IP 枯渇問題 === === 12. IP 枯渇問題 ===
Line 193: Line 186:
=== 8. Interlock ===
=== 13. Interlock ===
Line 210: Line 204:
 * (3/5) 3/13-15に上久保田さんが来る。GVの1セット目の完成を目指す。
Line 242: Line 237:
 * D-SUB37pinケーブルを作る。  * D-SUB37pinケーブルを作る。-> 必要なケーブルの種類とラフな本数を見積もる。
Line 245: Line 240:
 * 次回: 3月5日（火） 16:00~
 * 次々回: 4月2日（火） 16:00~		  * 次回: 4月2日（火） 16:00~
 * 次々回: 5月7日（火） 16:00~

2024/3/5 16:00~ DGS meeting

  • 宮川、山本、押野、中垣

0. 2023年度予算

DGS total: 2000

  • Test bench for O5: 900
  • PC/Network maintenance: 500

  • 20bit ADC: 500 -> 2枚買えたら

  • IO chassis test cable: 100
  • (X end optical fiber cable: 200)
  • Optical fiber cable at corner station for new IO chassis.

1. 2024年度予算

DGS total: 3100

  • Test bench for O5: 300
  • Dolphin: 900
  • IRIG-B card x10: 400
  • PC/Network maintenance: 300

  • 20bit ADC: 200 -> 2枚買えたら

  • 16bit ADC (現在rev.Cが13枚ある): 300 -> 4枚買えたら

  • Adnacom x20: 200
  • X end optical fiber cable: 100
  • Optical fiber cable at corner station for new IO chassis: 400

2. Dolphin

  • (2/6) DolphinのGEN3がLIGOでまだ使っていないので、もしかしたら使えない可能性がある。その場合GEN2を用意する必要があるが、そもそもまだ買えるかどうかもわからない。
  • DGS upgradeが2025年1月以降。O5は2027年頭の予定、30ヶ月やる予定なので、2030年とか。
  • FrameCPPのバージョンが今のDAQだと対応できないかもしれない。もしDolphinもRFMも対応しないなら、自分たちで対応するように書き換えるか。
  • (3/5) LIGOではPX(GEN3)と次世代のMX(GEN4)をテストしているが問題がでる。
    • 我々はPXを持っている。別日程で、今後どうするか少し打ち合わせ。

3. LIGO CDSとの打ち合わせについて

  • 現状メールでやりとりしている。
  • 必要があればオンラインでやりとりなど。
  • (3/5) 聞きたいことは随時聞いているので、しばらくそのまま。

4. MTP光ファイバーケーブル

  • Endの1-2階間をどうするか？logn Dolphinを1、2階共に設置するか、計算機を（2階に）集めてIOシャーシを1台1階におく。1ー2階のネットワークも増やす。
    • IRIG-Bシャーシが2台浮くことになる。
  • 別計算機を立ち上げて、新IO chassisとDonphiin GEN3のテストをするといい。
    • O4bが始まる前に見込みをつけておいた方がいい。
    • V4が数台。Xeon Gold　27台ある。Dolphin（制御をDAQ）とIRIG-B、DGSを全てハーフハイトで。
    • DC0で16個のend point（スレッドに相当）が立ちあがる。30台のRTPCからデータを受け取る。コアが12個なので、入れ替えながら受け取る。NIC1台で32個のエンドポイントを扱えるのでNICを増やすか、コア数を増やすかするといい。エンドポイントを1ー2年前に8個から16個に増やした。
  • 古いIO chassisはGEN1で動いているので、biosのGEN3モードで動くかどうかのテストをする必要がある。
  • センター1階は予算があれば進める。最終的にはBSあたりとIOOあたりの2か所で、段階的にやってもいい。
  • エンドはMTPは無しでも良く、1-2階間のマルチモードの8芯以上の追加がX,Y共に必要。
  • センター2FのPCとIO chassisを置き換えることを考える。既存のものと一緒において、すぐに戻せるような体制でテスト。IRIG-BとFanoutを余らせるのがここでの最終目的。
  • (3/5) X-endはケーブルのみ2023年度発注済み。工事は2024年度早々に発注。
  • Y-endはシングルの24本を敷設したはずなので、それを使うか？マルチモードで使えるか、確認。

5. テストベンチ

  • テストベンチもう１系統制作中（押野）

    • PX Dolphinのテスト -> 4kmはLIGOでもまだできてない。できているのはIX Dolphin。

    • Debian11

  • Center 1F <--> 2F 光ファイバーテスト

    • 1FにRTPC 2FにIOシャーシ or 1FにIOシャーシ 2FにRTPC
  • テストベンチのIRIGボードが2枚抜き取られている
    • X500にある？

    • (9/5) 台湾グループがLineノイズ解析のための2Uのサーバーをテストサーバ（結局コントロールルーム横のサーバー室)にとりあえず1台入れたがっている。Real timeとLow latencyでやることになるので、サイトにインストールすることが必要。LVKの翌週を考えている。窓口は山本君->PEMに引き継ぎが。

  • (11/7) LIGOのrunで使われていたRCGを使うのがいいのでは?例えば5.1.2。
  • (12/5) 三代君が以前バラしたIRIG-Bの基板が回路室から回収された。

  • (2/6) k1bootで現在のoptが動かなくて、元に戻しても動かなくなってしまった。-> 最初からつくりなおす。

  • (3/5) puppetを壊してしまったので、いくつか修理した。
  • (3/5) ADCのrev.Cでうまくタイミングが取得できることを(1/13枚で)確認した。JGWDocの情報を更新する予定。
  • (3/5) PX Dolohinのテストを中心にしばらく続ける。LIGOで動かせるようになるのをまって、KAGRAではインストール手法を確立しておく。
  • (3/5) 天文台でsqueezer用のものを作ろうと考えている。テストベンチ規模になるなら、使っていないV2を送るかもしれない。押野君が出張するかも。

6. IPC glitch

  • rtsystabの2つ目まではエラーが出ない。それ以降は出る。順序を変えると出方が変わるが、その影響が順序を変えていないところにもでる。
  • mx streamの立ち上げの引数の順序を直接変えて、mx streamを立ち上げ直したら切り分けができないか？
  • ethtoolでlatencyを遅くして影響が出るかみてみる。
  • latencyはDC0もRTPCも最小になっていると思われる。
  • アップデートで解決しないのか？
  • (9/5) NICの遅延設定で一旦は減るようだが、またモデルアップデートすると再現する。MX streamだけの再起動するとどうなるか？NICの2枚挿しは？
  • (11/7) 10月20日くらいから10日間くらい少ない時があった。フィルターバンクの増減、最終的には4つ減ったが、影響があるかどうかは不明。
    • LIGOはDAQをDolphinにO1くらいで移行している。
    • チャンネル数を減らすのは有効だろう。コミッショニングよりも観測の方がチャンネル数は少ないが、実際に減らすのは結構大変。
  • (2/6) エンドのモデルのリスタートでグリッチが増減することがあるので、RFMが関係か？Dolphinに置き換えたら改善するか？
  • (3/5) モデルの数は地震前と同じだが、モデルの負荷は軽減されているはず。少なくともIPC glitchは出ている。モデル再起動でglitchの数はランダムに上下する。

7. 1ヶ月の進捗状況

  • 時刻情報をすぐに比較できるようにしようと考えている。FPGAでSKのTDCというのを作るか？
    • LIGOのComparatorは？
  • (12/5) IMC susなどIO chassisの電源をACからDCに変えた。残りはIOO0,1 ALS。SR2がBSから数珠繋ぎになっているのは、配線依頼済み。エンドはまだいくつか、特に1階が手付かず。
    • その際、電圧降下で立ち上がりにくいことがあった。ラック側の電圧が落ちないように、根元で少し上げておくのがいい。
  • (12/5) k1bootが一旦落ちた。再起動で一お動き出した。システム領域にはディスクエラーはなかったが、データ領域にエラーが3つあった。でもそのエラーが落ちた理由とも思えない。

  • (12/5) minute trendが3月にいっぱいになるので、2月くらいに交換するといい。もう1系統バックアップを組んでおいた方がいいかも。-> 押野 -> k1nds0は完了して再起動した。knds1は今週再起動予定。

  • (2/6 ) WS周りのアップグレードの準備を始めている。大体は動くが、diagguiやfotonなどバージョンによって動かないものがある。Debian10のサポートが夏に終わるので、O4bが問題になるかも。古いバージョンを使うことはできるので、もしかしたら観測優先で使い続けるかも。自由に外部に出れるのが問題か？ホワイトリスト方式にして、proxyサーバを立てたりするのま？

  • Nonsensという、リアルタイムでノイズのサブトラクションをするのがある。サイトで、リアルタイムモデル上で動く。ASC->LSCや電源ライン系のサブトラクトに使われている。ただし、それとは別にオフラインでサブトラクトしている。

8. GPS関連

  • KAGRAのGPSに4月に大きなジャンプが起きた。
  • SKに6月にCommon Viewの作業中に大きなジャンプが起きた。少なくとも4月には何もなかった。
  • 9/13 天文学会で特別セッションで発表する。
  • (5/9)衛星の数が正午に減るようなことはなさそう。
  • まとめのグラフができた。
  • (3/5) 川本君がやったことをまとめて話してくれるかも。時刻がズレる秒単位の比較のズレの「頻度」が変わると、ジャンプが起きるようだ。Timing masterを増やすか、Common Viewをもう一台増やして比較してみたい。

9. メンテンナス

  • 古いUPSバッテリーを一斉交換する。->　山本 -> 9/6:すでに切れているものは交換した。O4までに、後2台残っている。

    • 古いバッテリーの処分をする必要がある。-> 池田

10. ADC noise

  • ADCの遅延。新しいカードが1クロック(16usec)遅れる。ただ、新しいADCの方がノイズが少ない。
  • 8/9 18Vと24VのGNDが繋がるとだめ。
    • 8/9 IO chassisの出力側: DACのSCSIケーブルと、DIOのケーブルのDO側が繋がっていると、IO chassisの電源(24V)のGNDとIO chassisの筐体が繋がる。ラックのフレームと回路電源(18V)のGNDが繋がっている。そのためさらに何らかの理由で24Vと18Vの繋がっているよう。

    • 例えばDOの37ピンのシールドと各回路のシャーシが繋がっているのでは？->ササキに作ってもらうか？

    • Oplevはあまり問題ないが、オフセットが大きくて揺れの絶対量自身が問題になっているところがダメ。
    • BOのGNDを切るアダプターを作るのはどうか？
    • BIとADCのケーブルは関係なさそう。
  • 回路室に再現できるスタンドアロンを作る。今の回路室にあるスタンドアロンは測定で使うのでいじらない。
    • 回路室ラックにある押野君管理の計算機を旧SK計算機室に移す方向で進める。
    • スタンドアロンがそこそこ動くようになってきた。
    • DACのch数で抵抗が分割される。枚数分のch数でわられる。BIOのch数が関係するかも、ただしまだ検証の必要あり。
  • 坑内の各ラックのどこのチャンネルが悪いのかを調べておく。PRとOMCあたりを調べる予定。
    • 12/23にSRとOMCラックのADCを測定した。
  • (2/7)両エンド1回を除いて、測定すべきものはほぼ測定した。
  • (3/7) Xendの1階を測定した。いくつかのチャンネルがノイジーだったが、今回はそこまで問題にはならないチャンネルだった。残りはYend 1階。
  • (4/4) DACの方の測定をテスト的に試す。テストマスのコイル周りを優先的に。
    • 周波数で見てノイズがあまりフラットでなく、ブロードなピークが見える。
  • 次回はSRの残りで9月後半。あとはType C
  • IMCのフランジの電極がBNC。
  • (12/5) DAC: VISに引き継いでもらったはずだが、まだPRのどれか一つとType-Cが残っている。基本的にある程度完了しているが、機器に変更などあった場合は再測定。

11. 玉木君のKEKでの実験

  • HPCD、AA/AI、WFはある。サテライトボックスを確認。
  • STDAで構築、ADC1枚、DAC1枚。

12. IP 枯渇問題

  • 押野君がWS networkを立てる案を作ってくれた。
  • 10.60.10.XXのサブネットを変える。
  • Oは多分無理。1週間くらいのメンテナンスデーが欲しい。
  • 10/4 EPICS信号をTCP/IPのネットワークから分ける。（池田）
    • awgはnds経由で指令しているのか？
  • O4以前は諦める。

13. Interlock

  • 真空関連で進めている。PLCだと予算が厳しいので、廉価なものを選んでいる。（中垣）
    • IPが数十必要になる。
  • (3/7) 2月に上久保田さんがきて、いくつかのポンプ関連のモニターテストをした。次回上久保田さんがきて、上位PCと繋ぐ。
  • (4/4)3/16に上久保田さんとヤンさんがきてくれて、Yarmで動作確認をした。サーボと真空ゲージの接続にトラブルがまだある。
  • (5/9)5/11, 12にヤンさんがきて真空モニターを設置予定でIPはすでに取得した。来週16,17日に上久保田さんがくる。
  • (7/4) 5/16, 17に上窪田さんと打ち合わせ、6/29,30にヤンさんがきてY21とTMPとの接続テストをした。来週また上窪田さんがきて進める。
  • (11/7) 9月、10月でGVの遠隔操作とセンターエリアへの実装、VLAN対応。11月中に両エンドへの実装を予定している。
  • (12/5) 11月に両エンドのリモート操作（MEDM経由）が可能になった。その後、自己判断するようなもの（ハードワイヤ）を組み込む。
  • (2/6) 1月後半に上久保田さんがきて、GVに入れる打ち合わせをした。
  • (3/5) 3/13-15に上久保田さんが来る。GVの1セット目の完成を目指す。

長期的でやるタスク

  • 大きいモニターもいずれ交換。O4a後くらいか？

  • 坑内のIOO付近のWi-Fiを安定化させる。-> クリーンブース内を有線化

  • テストベンチ。
    • Dolphinが主流に。DAQもDolphin。
  • SINETのアップグレード
  • 坑内ネットワークのアップグレード
  • 新IO chassisをどう稼動させていくか？
    • 今回買った計算機で稼動
  • RGCのアップグレード
  • DCの冗長化
  • 20bit DAC
  • 18bit ADC
  • タイミング関連が変わる。
  • 計算機のreplace
  • 回路の交換
  • 柏と神岡の10G化
  • 柏が止まる時の逃げ道、冗長性など
  • 予算

To do

ケーブル

  • 計算機室の出口のケーブル整理。

その他

  • D-SUB37pinケーブルを作る。-> 必要なケーブルの種類とラフな本数を見積もる。

今後の予定

  • 次回: 4月2日（火） 16:00~
  • 次々回: 5月7日（火） 16:00~

KAGRA/Subgroups/DGS/Meeting/20230305/minute (last edited 2024-03-05 17:12:16 by OsamuMiyakawa)