O5 Test Bench
Item LIst
Software
AdvLigo
Revision |
debian/buster/5.1.4-1+deb10 |
gentoo/3.1.1 |
gentoo/3.5.1 |
Hardware
CPU+Memory
CPU |
Memory |
Mother Board |
BIOS vserion |
Xeon W-2245 (3.9GHz, 8core) |
32GB (8GB DDR4-3200) |
X11SRL-F |
2.3a |
E5-1650 V4(3.6GHz) |
64GB |
X10SRW-F |
- |
E5-1660 V4(3.2GHz) |
64GB |
X10SRW-F |
- |
E5-1660 V4(3.2GHz) |
16GB |
X10SRW-F |
- |
E5-2623 V4(2.6GHz) |
32GB |
X10SRW-F |
- |
E5-2623 V3(3.0GHz) |
32GB |
X10DRW-i |
- |
E5-2680 V2(2.8GHz |
32GB |
X9SRW-F |
- |
https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec
LIGO-T1300430 BIOS Settings for aLIGO Front-end Computers
ADC card + ADC adapter card
Revision |
枚数組み合わせ |
動作確認 |
A(PMC66-16AI64SSA-64-50M-MEM) |
?? |
OK(Standalone2) |
B(PCIe-16AI64SSC-64-50M) |
1,2,3,4 |
OK |
C(PCIe-16AI64SSC-64-50M) |
?? |
TIM error->-LIGO付きFW書き換えにて解決 |
https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737
DAC card + DAC adapter card
Revision |
枚数組み合わせ |
動作確認 |
NR (PCIe-16AO16-16-F0-DF) |
?? |
None |
A (PCIe-16AO16-16-F0-DF) |
0,1,2,3 |
OK |
- DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為)
BIO card
Type |
枚数組み合わせ |
動作確認 |
BIO16 (DIO1616) |
1 |
OK(Timing) |
BIO64 (DIO6464)No.XXXA |
0,1,3,4,5,6,7 |
OK |
BIO64 (DIO6464)No.XXXB |
- |
OK |
BO card
Type |
枚数組み合わせ |
動作確認 |
BO |
0,1,4 |
None |
IO chassis
Type |
Memo |
New(ADNACO) |
IO Interface Backplane (LVDS),LHO CDS V5 Adnaco IO Chassis Test Procedures |
Old |
Dolphin Card
Type |
|
Gen1 DXH510 )-- |
旧Dolphinは試験に含まない |
Gen3 PXH830 |
|
Long Range Dolphin?
GeFanuc Reflective Memory
Type |
VMIC PCI-5565RC? |
Adnaco
Type |
Memo |
S1B |
H1A card, R1BP1B board. The serial connection will not work. |
S5 |
H2 card. 4 R1BP1B connection. |
Test Pattern
New IO Chassis
Slot認識順
- それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc
参考(旧IO chassisでの例)
RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ
- LIGO資料参考にカードをPCに挿す
- IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する
- カードを1st-1と2nd-1に差して
- RCG5.x + V4 + 旧IOシャーシ
- RCG3.x当時の方法を参考に順番は同じかを確認
ADC
- 手順
- 事前にADC2枚のモデルを作成しておく
- ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
- IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
- FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
- 判定基準
正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
- 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
- 結果
DAC
- 手順
- 事前にADC1枚とDAC2枚のモデルを作成しておく
- カードをIOシャーシに入れて、IOシャーシをとPCを起動する
- IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
- FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
- 判定基準
正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
- 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
- 結果
DIO1616
DIO6464
- 手順
- 事前にADC1枚とDIO2枚のモデルを作成しておく
- カードをIOシャーシに入れて、IOシャーシをとPCを起動する
- IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認
- FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
- 判定基準
- 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。
- 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える
- 結果
BO
CARD最大枚数確認
現在使用している最大枚数の確認
- 記載がないときは、ADCはRev.B、DACはRev.A
下記が動作するパターン
FEPC |
ADC |
DAC |
DIO1616 |
DIO6464 |
BO |
結果 |
Adnaco#1 |
#2 |
#3 |
#4 |
k1als0 |
4 |
2 |
1 |
7 |
0 |
OK |
DIO16, ADC, DAC, ADC |
ADC, DAC, ADCrev.A, 1スロット空き |
DIO64x4枚 |
DIO64, DIO64, DIO64, 1スロット空き |
k1ioo |
4 |
2 |
1 |
1 |
4 |
OK |
DIO16, ADC, DAC, ADC |
ADC, DAC, ADCRev.A, DIO64 |
空き |
DO32x4枚 |
TypeA |
3 |
3 |
1 |
5 |
1 |
OK |
DIO16, ADC, DAC, ADC |
DIO64, DIO64, 2スロット空き |
DO32, DAC, ADC, DAC |
DIO64, DIO64, DIO64, 1スロット空き |
TypeA |
3 |
3 |
1 |
5 |
1 |
OK |
DIO16, ADC, ADC, ADC |
DAC, DAC, DAC, 1スロット空き |
DO32、DIO64、2スロット空き |
DIO64, DIO64, DIO64, DIO64 |
TypeA |
3 |
3 |
1 |
5 |
1 |
OK |
DIO16, DAC, DAC, DAC |
ADC, ADC, ADC, 1スロット空き |
DO32、DIO64、2スロット空き |
DIO64, DIO64, DIO64, DIO64 |
- カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認
- 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった
参考(旧IO chassisでの例1, 2, 3)
~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる
- 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった
4枚目以降のDIO64の確認
- 次のコードを書き換える
- k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h
- スクリプトでこの文字列を検索しているので、先頭コメントとかで残せないです。
old
#define MAX_DIO_MODULES 16
new
#define MAX_DIO_MODULES 28
- k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h
- DIO64641枚のカードで、IOP Model側は2module、User Model側は4moduleとしてカウントされる。
- 最大枚数が7枚なので7*4=28必要な計算。
物理的最大確認
- 電源容量の制約がある。30A必要とか。
- 現行だと最も電流要件が厳しいのは下記
- k1ioo + k1ioo1
- k1bs + k1pr2 + k1sr2
駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える
- 現行だと最も電流要件が厳しいのは下記
IO ChassisとFEPC間のOptical Calbe長試験
3m |
150m |
V4+NewIO Chassis
PC Card Slot構成
- V4 Slot構成
- V4 SlotのAdnaco Board認識順の確認
- PC Card構成
Dolphinなし => IRIG-B + Adnaco x4
Dolphinあり => IRIG-B + Dolphin + Adnaco x3
Dolphin+RFM => IRIG-B + Dolphin + RFM x2 + Adnaco x1
エンド => IRIG-B + RFM x1 + Adnaco x3
Adnaco Slot構成
- 現行KAGRAのOld IO Chassisで現在使っている各IOカード枚数の調査
- IOカードの枚数とV4を使用した際に搭載可能なカード構成
- V4では搭載不可能な構成は、Adnacoボードの多段接続が可能か調査
LSC0, ASC0 (Dolphin + RFM)
ALS0, IOO1, OMC0 (Dolphinあり)
IX1, IY1, EX1, EY1 (RFM)
その他思いつくこと（適当に分類して並べ替えてください)
- 旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合)
- KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在)
- Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？
併用不可なら全IO chassisを一斉に置き換える必要が出てくる
- Dolphin glitchの回避手段の確立
Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか
停止 -> ケーブル抜く -> 起動 -> ケーブル挿す の手順が通用するか
- Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか
- Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備
メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？
- CPU負荷確認(新計算機)
- K1LSC0相当
- K1ASC0相当
- K1OMC0相当
- K1EX1相当
- Timingに関するモデルとDAQの挙動確認
- ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき
- Timing fiberを挿さないとき・抜いたとき
- モデルのIRIG-Bケーブルを挿さないとき・抜いたとき
- DC0のIRIG-Bケーブルを挿さないとき・抜いたとき
- 上記組み合わせ
- デジタルシステム内部遅延測定
IOP -> user (16k, 2k)
user -> user (shmem, Dolphin, 16k, 2k)
user -> IOP (16k, 2k)
DAC out -> ADC in