O5 Test Bench

Item LIst

Software

AdvLigo

Hardware

CPU+Memory

https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec

LIGO-T1300430 BIOS Settings for aLIGO Front-end Computers

ADC card + ADC adapter card

https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737

DAC card + DAC adapter card

• DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為)

BIO card

BO card

IO chassis

Dolphin Card

Long Range Dolphin?

Test Pattern

IO Chassis

Slot認識順

• それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc

  • 参考(旧IO chassisでの例)

  • LIGO資料参考(LIGO-T1000523 CDS I/O (IO) Chassis PCIe Bus DAC ADC Card Layout,LIGO-D1400014 aLIGO L1 (LLO) CDS Front-end IO Chassis As-Built Drawings)

• RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ

  1. LIGO資料参考にカードをPCに挿す
  2. IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する
     • カードを1st-1と2nd-1に差して
• RCG5.x + V4 + 旧IOシャーシ
  • RCG3.x当時の方法を参考に順番は同じかを確認

ADC

• 手順
  1. 事前にADC2枚のモデルを作成しておく
  2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
• 判定基準

  • 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。

  • 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
• 結果

  • Result

DAC

• 手順
  1. 事前にADC1枚とDAC2枚のモデルを作成しておく
  2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
• 判定基準

  • 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。

  • 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
• 結果

  • Result

DIO1616

DIO6464

• 手順
  1. 事前にADC1枚とDIO2枚のモデルを作成しておく
  2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
• 判定基準
  • 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。
  • 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える
• 結果

  • Result

BO

CARD最大枚数確認

現在使用している最大枚数の確認

• 記載がないときは、ADCはRev.B、DACはRev.A

下記が動作するパターン

• カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認
  • 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった

    • 参考(旧IO chassisでの例1, 2, 3)

  • ~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる

4枚目以降のDIO64の確認

• 次のコードを書き換える
  • k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h

    • old	#define MAX_DIO_MODULES 16
      new	#define MAX_DIO_MODULES 28

      スクリプトでこの文字列を検索しているので、先頭コメントとかで残せないです。
• DIO64641枚のカードで、IOP Model側は2module、User Model側は4moduleとしてカウントされる。
• 最大枚数が7枚なので7*4=28必要な計算。

物理的最大確認

• 電源容量の制約がある。30A必要とか。
  • 現行だと最も電流要件が厳しいのは下記
    • k1ioo + k1ioo1
    • k1bs + k1pr2 + k1sr2

  • 駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える

IO ChassisとFEPC間のOptical Calbe長試験

その他思いつくこと（適当に分類して並べ替えてください)

• 旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合)
  • KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在)
  • Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？

  • 併用不可なら全IO chassisを一斉に置き換える必要が出てくる

• Dolphin glitchの回避手段の確立

  • Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか

  • 停止 -> ケーブル抜く -> 起動 -> ケーブル挿す の手順が通用するか

  • Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか
  • Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備

  • メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？

• CPU負荷確認(新計算機)
  • K1LSC0相当
  • K1ASC0相当
  • K1OMC0相当
  • K1EX1相当
• Timingに関するモデルとDAQの挙動確認
  • ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき
  • Timing fiberを挿さないとき・抜いたとき
  • モデルのIRIG-Bケーブルを挿さないとき・抜いたとき
  • DC0のIRIG-Bケーブルを挿さないとき・抜いたとき
  • 上記組み合わせ
• デジタルシステム内部遅延測定

  • IOP -> user (16k, 2k)

  • user -> user (shmem, Dolphin, 16k, 2k)

  • user -> IOP (16k, 2k)

  • DAC out -> ADC in