Differences between revisions 1 and 30 (spanning 29 versions)
⇤ ← Revision 1 as of 2023-10-16 16:26:53 →
Size: 1483
Editor: satoru.ikeda
Comment:
← Revision 30 as of 2023-12-12 15:39:01 → ⇥
Size: 9027
Editor: satoru.ikeda
Comment:
Deletions are marked like this. Additions are marked like this.
Line 13: Line 13:
||CPU ||Memory ||
||E5-1650 V4@3.6GHz ||64GB ||
||E5-1660 V4@3.2GHz ||64GB ||
||E5-1660 V4@3.2GHz ||16GB ||
||E5-2623 V4@2.6GHz ||32GB ||
||E5-2623 V3@3.0GHz ||32GB ||
||E5-2680 V2@2.8GHz ||32GB ||		 ||CPU ||Memory ||Mother Board ||BIOS vserion ||
||Xeon W-2245 (3.9GHz, 8core) ||32GB (8GB DDR4-3200) ||X11SRL-F ||2.3a ||
||E5-1650 V4(3.6GHz) ||64GB ||X10SRW-F ||- ||
||E5-1660 V4(3.2GHz) ||64GB ||X10SRW-F ||- ||
||E5-1660 V4(3.2GHz) ||16GB ||X10SRW-F ||- ||
||E5-2623 V4(2.6GHz) ||32GB ||X10SRW-F ||- ||
||E5-2623 V3(3.0GHz) ||32GB ||X10DRW-i ||- ||
||E5-2680 V2(2.8GHz ||32GB ||X9SRW-F ||- ||
Line 23: Line 24:
||Revision ||枚数組み合わせ ||
||A(PMC66-16AI64SSA-64-50M-MEM) ||?? ||
||B(PCIe-16AI64SSC-64-50M) ||1,2,3,4 ||
||C(PCIe-16AI64SSC-64-50M) ||?? ||		 ||Revision ||枚数組み合わせ ||動作確認 ||
||A(PMC66-16AI64SSA-64-50M-MEM) ||?? ||OK(Standalone2) ||
||B(PCIe-16AI64SSC-64-50M) ||1,2,3,4 ||OK ||
||C(PCIe-16AI64SSC-64-50M) ||?? ||TIM error ||
Line 30: Line 31:
||Revision ||枚数組み合わせ ||
||NR (PCIe-16A016-16-F0-DF) ||?? ||
||A (PCIe-16A016-16-F0-SE-DF) || 0,1,2,3 ||		 ||Revision ||枚数組み合わせ ||動作確認 ||
||NR (PCIe-16AO16-16-F0-DF) ||?? ||None ||
||A (PCIe-16AO16-16-F0-DF) || 0,1,2,3 ||OK ||
  * DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為)
Line 35: Line 37:
||Type ||枚数組み合わせ ||
||BIO16 (DIO1616) ||1 ||
||BIO64 (DIO6464) ||0,1,3,4,5,6,7 ||		 ||Type ||枚数組み合わせ ||動作確認 ||
||BIO16 (DIO1616) ||1 ||OK(Timing) ||
||BIO64 (DIO6464)No.XXXA ||0,1,3,4,5,6,7 ||OK ||
||BIO64 (DIO6464)No.XXXB || - ||OK ||
Line 40: Line 43:
||Type ||枚数組み合わせ ||
||BO ||0,1,4 ||		 ||Type ||枚数組み合わせ ||動作確認 ||
||BO ||0,1,4 ||None ||
Line 45: Line 48:
||新(ADNACOM) || ||新(ADNACO) ||[[https://dcc.ligo.org/LIGO-D2000297|IO Interface Backplane (LVDS)]],[[https://dcc.ligo.org/LIGO-T2100353|LHO CDS V5 Adnaco IO Chassis Test Procedures]]||
Line 50: Line 53:
||Gen1 DXH510 ||
||Gen3 PXH830 ||		 ||--(Gen1 DXH510 )--||旧Dolphinは試験に含まない ||
||Gen3 PXH830 || ||
Line 55: Line 58:
=== (参考) ===
=== Card 枚数最大の組み合わせ ===
||FEPC ||ADC ||DAC ||DIO1616　||DIO6464 ||BO ||
||k1als0||4 ||2 ||1 ||7 ||0 ||
||k1ioo ||4 ||2 ||1 ||1 ||4 ||
||k1ioo1||3 ||2 ||1 ||6 ||0 ||		 -----
= Test Pattern =
== IO Chassis ==
----
=== Slot認識順 ===
 * それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc
   * 参考([[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2017/06/adc-6.html|旧IO chassisでの例]])
  * LIGO資料参考([[https://dcc.ligo.org/DocDB/0015/T1000523/004/LIGO-T1000523-v4.pdf|LIGO-T1000523]],[[https://dcc.ligo.org/DocDB/0111/D1400014/011/D1400014-v11.pdf|LIGO-D1400014]])
 * RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ
  1. LIGO資料参考にカードをPCに挿す
  2. IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する
  
   カードを1st-1と2nd-1に差して
Line 62: Line 72:
== Test Pattern ==  * RCG5.x + V4 + 旧IOシャーシ
  * RCG3.x当時の方法を参考に順番は同じかを確認

==== ADC ====
 * 手順
  1. 事前にADC2枚のモデルを作成しておく
  2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
 * 判定基準
  * 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
  * 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
 * 結果
  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]

==== DAC ====
 * 手順
  1. 事前にADC1枚とDAC2枚のモデルを作成しておく
  2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
 * 判定基準
  * 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
  * 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
 * 結果
  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]

==== DIO1616 ====

==== DIO6464 ====
 * 手順
  1. 事前にADC1枚とDIO2枚のモデルを作成しておく
  2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
 * 判定基準
  * 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。
  * 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える
 * 結果
  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]


==== BO ====
----
=== CARD最大枚数確認 ===
==== 現在使用している最大枚数の確認 ====
 * 記載がないときは、ADCはRev.B、DACはRev.A
||FEPC ||ADC ||DAC ||DIO1616　||DIO6464 ||BO ||結果 ||Adnaco#1 || #2 || #3 ||#4 ||
||k1als0||4 ||2 ||1 ||7 ||0 ||OK ||DIO16、ADC、DAC、ADC ||ADC、DAC、ADCrev.A、1スロット空き||全てDIO64x4枚 ||DIO64、DIO64、DIO64、1スロット空き ||
||k1ioo ||4 ||2 ||1 ||1 ||4 ||OK ||DIO16、ADC、DAC、ADC ||ADC、DAC、ADCRev.A、DIO64 ||空き ||DO32x4枚 ||
||k1ix1 ||3 ||3 ||1 ||5 ||1 ||OK(カード配置が特殊) ||DIO16、ADC、DAC、ADC ||DIO64,DIO64、２スロット空き ||DO32、DAC、ADC、DAC ||DIO64、DIO64、DIO64、１スロット空き ||
  * カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認
    * 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった
      * 参考([[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio.html|旧IO chassisでの例1]], [[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio-part2.html|2]], [[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio-part3.html|3]])
    * '''~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる'''

==== 物理的最大確認 ====
 * 電源容量の制約がある。30A必要とか。
   * 現行だと最も電流要件が厳しいのは下記
     * k1ioo + k1ioo1
     * k1bs + k1pr2 + k1sr2
   * '''駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える'''


----
=== IO ChassisとFEPC間のOptical Calbe長試験 ===
|| 3m ||
|| 150m ||

-----
=== その他思いつくこと（適当に分類して並べ替えてください) ===
  * 旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合)
    * KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在)
    * Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？
    * '''併用不可なら全IO chassisを一斉に置き換える必要が出てくる'''
  * Dolphin glitchの回避手段の確立
    * Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか
    * 停止 -> ケーブル抜く -> 起動 -> ケーブル挿す の手順が通用するか
    * Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか
    * Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備
    * '''メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？'''
  * CPU負荷確認(新計算機)
    * K1LSC0相当
    * K1ASC0相当
    * K1OMC0相当
    * K1EX1相当
  * Timingに関するモデルとDAQの挙動確認
    * ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき
    * Timing fiberを挿さないとき・抜いたとき
    * モデルのIRIG-Bケーブルを挿さないとき・抜いたとき
    * DC0のIRIG-Bケーブルを挿さないとき・抜いたとき
    * 上記組み合わせ
  * デジタルシステム内部遅延測定
    * IOP -> user (16k, 2k)
    * user -> user (shmem, Dolphin, 16k, 2k)
    * user -> IOP (16k, 2k)
    * DAC out -> ADC in

O5 Test Bench

Contents

  1. O5 Test Bench
  2. Item LIst
    1. Software
      1. AdvLigo
    2. Hardware
      1. CPU+Memory
      2. ADC card + ADC adapter card
      3. DAC card + DAC adapter card
      4. BIO card
      5. BO card
      6. IO chassis
      7. Dolphin Card
      8. Long Range Dolphin?
  3. Test Pattern
    1. IO Chassis
      1. Slot認識順
      2. CARD最大枚数確認
      3. IO ChassisとFEPC間のOptical Calbe長試験
      4. その他思いつくこと（適当に分類して並べ替えてください)

Item LIst

Software

AdvLigo

Revision

debian/buster/5.1.4-1+deb10

Hardware

CPU+Memory

CPU

Memory

Mother Board

BIOS vserion

Xeon W-2245 (3.9GHz, 8core)

32GB (8GB DDR4-3200)

X11SRL-F

2.3a

E5-1650 V4(3.6GHz)

64GB

X10SRW-F

-

E5-1660 V4(3.2GHz)

64GB

X10SRW-F

-

E5-1660 V4(3.2GHz)

16GB

X10SRW-F

-

E5-2623 V4(2.6GHz)

32GB

X10SRW-F

-

E5-2623 V3(3.0GHz)

32GB

X10DRW-i

-

E5-2680 V2(2.8GHz

32GB

X9SRW-F

-

https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec

ADC card + ADC adapter card

Revision

枚数組み合わせ

動作確認

A(PMC66-16AI64SSA-64-50M-MEM)

??

OK(Standalone2)

B(PCIe-16AI64SSC-64-50M)

1,2,3,4

OK

C(PCIe-16AI64SSC-64-50M)

??

TIM error

https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737

DAC card + DAC adapter card

Revision

枚数組み合わせ

動作確認

NR (PCIe-16AO16-16-F0-DF)

??

None

A (PCIe-16AO16-16-F0-DF)

0,1,2,3

OK

  • DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為)

BIO card

Type

枚数組み合わせ

動作確認

BIO16 (DIO1616)

1

OK(Timing)

BIO64 (DIO6464)No.XXXA

0,1,3,4,5,6,7

OK

BIO64 (DIO6464)No.XXXB

-

OK

BO card

Type

枚数組み合わせ

動作確認

BO

0,1,4

None

IO chassis

Type

新(ADNACO)

IO Interface Backplane (LVDS),LHO CDS V5 Adnaco IO Chassis Test Procedures

旧

Dolphin Card

Type

Gen1 DXH510

旧Dolphinは試験に含まない

Gen3 PXH830

Long Range Dolphin?

Test Pattern

IO Chassis

Slot認識順

  • それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc

  • RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ

    1. LIGO資料参考にカードをPCに挿す
    2. IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する
      • カードを1st-1と2nd-1に差して
  • RCG5.x + V4 + 旧IOシャーシ
    • RCG3.x当時の方法を参考に順番は同じかを確認

ADC

  • 手順
    1. 事前にADC2枚のモデルを作成しておく
    2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
    3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
    4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
  • 判定基準

    • 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。

    • 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
  • 結果

DAC

  • 手順
    1. 事前にADC1枚とDAC2枚のモデルを作成しておく
    2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
    3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
    4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
  • 判定基準

    • 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。

    • 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
  • 結果

DIO1616

DIO6464

  • 手順
    1. 事前にADC1枚とDIO2枚のモデルを作成しておく
    2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
    3. IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認
    4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
  • 判定基準
    • 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。
    • 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える
  • 結果

BO

CARD最大枚数確認

現在使用している最大枚数の確認

  • 記載がないときは、ADCはRev.B、DACはRev.A

FEPC

ADC

DAC

DIO1616　

DIO6464

BO

結果

Adnaco#1

#2

#3

#4

k1als0

4

2

1

7

0

OK

DIO16、ADC、DAC、ADC

ADC、DAC、ADCrev.A、1スロット空き

全てDIO64x4枚

DIO64、DIO64、DIO64、1スロット空き

k1ioo

4

2

1

1

4

OK

DIO16、ADC、DAC、ADC

ADC、DAC、ADCRev.A、DIO64

空き

DO32x4枚

k1ix1

3

3

1

5

1

OK(カード配置が特殊)

DIO16、ADC、DAC、ADC

DIO64,DIO64、２スロット空き

DO32、DAC、ADC、DAC

DIO64、DIO64、DIO64、１スロット空き

  • カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認
    • 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった

    • ~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる

物理的最大確認

  • 電源容量の制約がある。30A必要とか。
    • 現行だと最も電流要件が厳しいのは下記
      • k1ioo + k1ioo1
      • k1bs + k1pr2 + k1sr2

    • 駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える

IO ChassisとFEPC間のOptical Calbe長試験

3m

150m

その他思いつくこと（適当に分類して並べ替えてください)

  • 旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合)
    • KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在)
    • Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？

    • 併用不可なら全IO chassisを一斉に置き換える必要が出てくる

  • Dolphin glitchの回避手段の確立

    • Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか

    • 停止 -> ケーブル抜く -> 起動 -> ケーブル挿す の手順が通用するか

    • Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか
    • Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備

    • メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？

  • CPU負荷確認(新計算機)
    • K1LSC0相当
    • K1ASC0相当
    • K1OMC0相当
    • K1EX1相当
  • Timingに関するモデルとDAQの挙動確認
    • ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき
    • Timing fiberを挿さないとき・抜いたとき
    • モデルのIRIG-Bケーブルを挿さないとき・抜いたとき
    • DC0のIRIG-Bケーブルを挿さないとき・抜いたとき
    • 上記組み合わせ
  • デジタルシステム内部遅延測定

    • IOP -> user (16k, 2k)

    • user -> user (shmem, Dolphin, 16k, 2k)

    • user -> IOP (16k, 2k)

    • DAC out -> ADC in

KAGRA/Subgroups/DGS/Projects/TestBench/O5TestBench (last edited 2024-11-15 09:03:50 by satoru.ikeda)