Differences between revisions 19 and 20

O5 Test Bench

Contents

O5 Test Bench
Item LIst

Item LIst

Software

AdvLigo

Revision

debian/buster/5.1.4-1+deb10

Hardware

CPU+Memory

CPU	Memory	Mother Board
Xeon W-2245 (3.9GHz, 8core)	32GB (8GB DDR4-3200)	X11SRL-F
E5-1650 V4(3.6GHz)	64GB	X10SRW-F
E5-1660 V4(3.2GHz)	64GB	X10SRW-F
E5-1660 V4(3.2GHz)	16GB	X10SRW-F
E5-2623 V4(2.6GHz)	32GB	X10SRW-F
E5-2623 V3(3.0GHz)	32GB	X10DRW-i
E5-2680 V2(2.8GHz	32GB	X9SRW-F

https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec

ADC card + ADC adapter card

Revision	枚数組み合わせ
A(PMC66-16AI64SSA-64-50M-MEM)	??
B(PCIe-16AI64SSC-64-50M)	1,2,3,4
C(PCIe-16AI64SSC-64-50M)	??

https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737

DAC card + DAC adapter card

Revision	枚数組み合わせ
NR (PCIe-16A016-16-F0-DF)	??
A (PCIe-16A016-16-F0-SE-DF)	0,1,2,3

DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為)

BIO card

Type	枚数組み合わせ
BIO16 (DIO1616)	1
BIO64 (DIO6464)	0,1,3,4,5,6,7

BO card

Type	枚数組み合わせ
BO	0,1,4

IO chassis

Type
新(ADNACO)	IO Interface Backplane (LVDS),LHO CDS V5 Adnaco IO Chassis Test Procedures
旧

Dolphin Card

Type
Gen1 DXH510	旧Dolphinは試験に含まない
Gen3 PXH830

Long Range Dolphin?

(参考)

Card 枚数最大の組み合わせ

FEPC	ADC	DAC	DIO1616	DIO6464	BO
k1als0	4	2	1	7	0
k1ioo	4	2	1	1	4
k1ioo1	3	2	1	6	0

Test Pattern

IO Chassis

Slot認識順

それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc
- 参考(旧IO chassisでの例)
- LIGO資料参考(LIGO-T1000523,LIGO-D1400014)
RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ
1. LIGO資料参考にカードをPCに挿す
2. IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する
  - カードを1st-1と2nd-1に差して
RCG5.x + V4 + 旧IOシャーシ
- RCG3.x当時の方法を参考に順番は同じかを確認

ADC

手順
1. 事前にADC2枚のモデルを作成しておく
2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
判定基準
- 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
- 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
結果
- Result

===== DAC ====

手順
1. 事前にADC1枚とDAC2枚のモデルを作成しておく
2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
判定基準
- 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
- 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
結果
- Result

DIO1616

DIO6464

BO

CARD最大枚数確認

現在使用している最大枚数の確認

FEPC	ADC	DAC	DIO1616	DIO6464	BO
k1als0	4	2	1	7	0
k1ioo	4	2	1	1	4
k1ioo1	3	2	1	6	0

カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認
- 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった
  - 参考(旧IO chassisでの例1, 2, 3)
- ~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる

物理的最大確認

電源容量の制約がある。30A必要とか。
- 現行だと最も電流要件が厳しいのは下記
  - k1ioo + k1ioo1
  - k1bs + k1pr2 + k1sr2
- 駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える

IO ChassisとFEPC間のOptical Calbe長試験

150m

その他思いつくこと（適当に分類して並べ替えてください)

旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合)
- KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在)
- Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？
- 併用不可なら全IO chassisを一斉に置き換える必要が出てくる
Dolphin glitchの回避手段の確立
- Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか
- 停止 -> ケーブル抜く -> 起動 -> ケーブル挿すの手順が通用するか
- Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか
- Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備
- メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？
CPU負荷確認(新計算機)
- K1LSC0相当
- K1ASC0相当
- K1OMC0相当
- K1EX1相当
Timingに関するモデルとDAQの挙動確認
- ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき
- Timing fiberを挿さないとき・抜いたとき
- モデルのIRIG-Bケーブルを挿さないとき・抜いたとき
- DC0のIRIG-Bケーブルを挿さないとき・抜いたとき
- 上記組み合わせ
デジタルシステム内部遅延測定
- IOP -> user (16k, 2k)
- user -> user (shmem, Dolphin, 16k, 2k)
- user -> IOP (16k, 2k)
- DAC out -> ADC in

KAGRA/Subgroups/DGS/Projects/TestBench/O5TestBench (last edited 2024-11-15 09:03:50 by satoru.ikeda)

-  ⇤ ← Revision 19 as of 2023-10-26 15:53:04 → 
  Size: 8744
  Editor: satoru.ikeda
  Comment:
+   ← Revision 20 as of 2023-11-06 17:10:50 → ⇥
  Size: 7763
  Editor: satoru.ikeda
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 91:
-  * ADC Cardは2枚共にRev.B
||Timing Card(Adnaco#-Slot#)||ADC0(Adnaco#-Slot#) ||ADC0(Backplane) ||ADC1(Adnaco#-Slot#) ||ADC1(Backplane) ||ADC0とADC1の順番 ||
||<|1>1-3 ||<|11>1-1||<|11>10 ||1-2 ||1 ||正常 ||
||<|10>1-2||1-3 ||1 ||正常 ||
||1-4 ||1 ||正常 ||
||2-1 ||1 ||正常 ||
||2-2 ||1 ||正常 ||
||2-3 ||1 ||正常 ||
||2-4 ||1 ||正常 ||
||3-1 ||1 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|55>1-1 ||<|10>1-2||<|10>10 ||1-3 ||8 ||正常 ||
||1-4 ||8 ||正常 ||
||2-1 ||8 ||正常 ||
||2-2 ||8 ||正常 ||
||2-3 ||8 ||正常 ||
||2-4 ||8 ||正常 ||
||3-1 ||8 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|9>1-3 ||<|9>10 ||1-4 ||8 ||正常 ||
||2-1 ||1 ||正常 ||
||2-2 ||1 ||正常 ||
||2-3 ||1 ||正常 ||
||2-4 ||1 ||正常 ||
||3-1 ||1 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|8>1-4 ||<|8>10 ||2-1 ||1 ||正常 ||
||2-2 ||1 ||正常 ||
||2-3 ||1 ||正常 ||
||2-4 ||1 ||正常 ||
||3-1 ||1 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|7>2-1 ||<|7>10 ||2-2 ||1 ||正常 ||
||2-3 ||1 ||正常 ||
||2-4 ||1 ||正常 ||
||3-1 ||1 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|6>2-2 ||<|6>10 ||2-3 ||1 ||正常 ||
||2-4 ||1 ||正常 ||
||3-1 ||1 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|5>2-3 ||<|5>10 ||2-4 ||1 ||正常 ||
||3-1 ||1 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|4>2-4 ||<|4>10 ||3-1 ||1 ||正常 ||
||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|3>3-1 ||<|3>10 ||3-2 ||1 ||正常 ||
||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|2>3-2 ||<|2>10 ||3-3 ||1 ||正常 ||
||3-4 ||1 ||正常 ||
||<|1>3-3 ||<|1>10 ||3-4 ||1 ||正常 ||
+  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/001/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]
-Line 161:
+Line 94:
+ * 手順
  1. 事前にADC1枚とDAC2枚のモデルを作成しておく
  2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
 * 判定基準
  * 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
  * 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
 * 結果
  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/001/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]