O5 Test Bench

Contents

O5 Test Bench
Item LIst
1. Software
  1. AdvLigo
2. Hardware
Test Pattern
1. New IO Chassis
2. V4+NewIO Chassis
  1. PC Card Slot構成
  2. Adnaco Slot構成
その他思いつくこと（適当に分類して並べ替えてください)

Item LIst

Software

AdvLigo

Revision

debian/buster/5.1.4-1+deb10

gentoo/3.1.1

gentoo/3.5.1

Hardware

CPU+Memory

CPU	Memory	Mother Board	BIOS vserion
Xeon W-2245 (3.9GHz, 8core)	32GB (8GB DDR4-3200)	X11SRL-F	2.3a
E5-1650 V4(3.6GHz)	64GB	X10SRW-F	-
E5-1660 V4(3.2GHz)	64GB	X10SRW-F	-
E5-1660 V4(3.2GHz)	16GB	X10SRW-F	-
E5-2623 V4(2.6GHz)	32GB	X10SRW-F	-
E5-2623 V3(3.0GHz)	32GB	X10DRW-i	-
E5-2680 V2(2.8GHz	32GB	X9SRW-F	-

https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec

LIGO-T1300430 BIOS Settings for aLIGO Front-end Computers

ADC card + ADC adapter card

Revision	枚数組み合わせ	動作確認
A(PMC66-16AI64SSA-64-50M-MEM)	??	OK(Standalone2)
B(PCIe-16AI64SSC-64-50M)	1,2,3,4	OK
C(PCIe-16AI64SSC-64-50M)	??	TIM error

https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737

DAC card + DAC adapter card

Revision	枚数組み合わせ	動作確認
NR (PCIe-16AO16-16-F0-DF)	??	None
A (PCIe-16AO16-16-F0-DF)	0,1,2,3	OK

DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為)

BIO card

Type	枚数組み合わせ	動作確認
BIO16 (DIO1616)	1	OK(Timing)
BIO64 (DIO6464)No.XXXA	0,1,3,4,5,6,7	OK
BIO64 (DIO6464)No.XXXB	-	OK

BO card

Type	枚数組み合わせ	動作確認
BO	0,1,4	None

IO chassis

Type	Memo
New(ADNACO)	IO Interface Backplane (LVDS),LHO CDS V5 Adnaco IO Chassis Test Procedures
Old	JGW-T1200780

Dolphin Card

Type
Gen1 DXH510 )--	旧Dolphinは試験に含まない
Gen3 PXH830

Long Range Dolphin?

GeFanuc Reflective Memory

Type

VMIC PCI-5565RC?

Andaco

Type	Memo
S1B	H1A card, R1BP1B board. The serial connection will not work.

Test Pattern

New IO Chassis

Slot認識順

それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc
- 参考(旧IO chassisでの例)
- LIGO資料参考(LIGO-T1000523 CDS I/O (IO) Chassis PCIe Bus DAC ADC Card Layout,LIGO-D1400014 aLIGO L1 (LLO) CDS Front-end IO Chassis As-Built Drawings)
RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ
1. LIGO資料参考にカードをPCに挿す
2. IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する
  - カードを1st-1と2nd-1に差して
RCG5.x + V4 + 旧IOシャーシ
- RCG3.x当時の方法を参考に順番は同じかを確認

ADC

手順
1. 事前にADC2枚のモデルを作成しておく
2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
判定基準
- 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
- 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
結果
- Result

DAC

手順
1. 事前にADC1枚とDAC2枚のモデルを作成しておく
2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
判定基準
- 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
- 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
結果
- Result

DIO1616

DIO6464

手順
1. 事前にADC1枚とDIO2枚のモデルを作成しておく
2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
3. IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認
4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
判定基準
- 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。
- 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える
結果
- Result

BO

CARD最大枚数確認

現在使用している最大枚数の確認

記載がないときは、ADCはRev.B、DACはRev.A

下記が動作するパターン

FEPC	ADC	DAC	DIO1616	DIO6464	BO	結果	Adnaco#1	#2	#3	#4
k1als0	4	2	1	7	0	OK	DIO16, ADC, DAC, ADC	ADC, DAC, ADCrev.A, 1スロット空き	DIO64x4枚	DIO64, DIO64, DIO64, 1スロット空き
k1ioo	4	2	1	1	4	OK	DIO16, ADC, DAC, ADC	ADC, DAC, ADCRev.A, DIO64	空き	DO32x4枚
TypeA	3	3	1	5	1	OK	DIO16, ADC, DAC, ADC	DIO64, DIO64, 2スロット空き	DO32, DAC, ADC, DAC	DIO64, DIO64, DIO64, 1スロット空き
TypeA	3	3	1	5	1	OK	DIO16, ADC, ADC, ADC	DAC, DAC, DAC, 1スロット空き	DO32、DIO64、2スロット空き	DIO64, DIO64, DIO64, DIO64
TypeA	3	3	1	5	1	OK	DIO16, DAC, DAC, DAC	ADC, ADC, ADC, 1スロット空き	DO32、DIO64、2スロット空き	DIO64, DIO64, DIO64, DIO64

カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認
- 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった
  - 参考(旧IO chassisでの例1, 2, 3)
- ~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる

4枚目以降のDIO64の確認

次のコードを書き換える
- k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h
  - old
    
    #define MAX_DIO_MODULES 16
    
    new
    
    #define MAX_DIO_MODULES 28
    
    スクリプトでこの文字列を検索しているので、先頭コメントとかで残せないです。
DIO64641枚のカードで、IOP Model側は2module、User Model側は4moduleとしてカウントされる。
最大枚数が7枚なので7*4=28必要な計算。

物理的最大確認

電源容量の制約がある。30A必要とか。
- 現行だと最も電流要件が厳しいのは下記
  - k1ioo + k1ioo1
  - k1bs + k1pr2 + k1sr2
- 駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える

IO ChassisとFEPC間のOptical Calbe長試験

150m

V4+NewIO Chassis

PC Card Slot構成

V4 Slot構成
- V4 SlotのAdnaco Board認識順の確認
PC Card構成
- Dolphinなし => IRIG-B + Adnaco x4
- Dolphinあり => IRIG-B + Dolphin + Adnaco x3
- Dolphin+RFM => IRIG-B + Dolphin + RFM x2 + Adnaco x1
- エンド => IRIG-B + RFM x1 + Adnaco x3
  試験結果(IO_Expansion_Chassis_and_V4_RTFE)

Adnaco Slot構成

現行KAGRAのOld IO Chassisで現在使っている各IOカード枚数の調査
IOカードの枚数とV4を使用した際に搭載可能なカード構成
- 試験結果(IO_Expansion_Chassis_and_V4_RTFE)
V4では搭載不可能な構成は、Adnacoボードの多段接続が可能か調査
- LSC0, ASC0 (Dolphin + RFM)
  
  ALS0, IOO1, OMC0 (Dolphinあり)
  
  IX1, IY1, EX1, EY1 (RFM)

その他思いつくこと（適当に分類して並べ替えてください)

旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合)
- KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在)
- Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？
- 併用不可なら全IO chassisを一斉に置き換える必要が出てくる
Dolphin glitchの回避手段の確立
- Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか
- 停止 -> ケーブル抜く -> 起動 -> ケーブル挿すの手順が通用するか
- Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか
- Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備
- メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？
CPU負荷確認(新計算機)
- K1LSC0相当
- K1ASC0相当
- K1OMC0相当
- K1EX1相当
Timingに関するモデルとDAQの挙動確認
- ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき
- Timing fiberを挿さないとき・抜いたとき
- モデルのIRIG-Bケーブルを挿さないとき・抜いたとき
- DC0のIRIG-Bケーブルを挿さないとき・抜いたとき
- 上記組み合わせ
デジタルシステム内部遅延測定
- IOP -> user (16k, 2k)
- user -> user (shmem, Dolphin, 16k, 2k)
- user -> IOP (16k, 2k)
- DAC out -> ADC in

old	#define MAX_DIO_MODULES 16
new	#define MAX_DIO_MODULES 28