Differences between revisions 13 and 42 (spanning 29 versions)
⇤ ← Revision 13 as of 2023-10-20 17:18:58 →
Size: 6166
Editor: satoru.ikeda
Comment:
← Revision 42 as of 2024-11-15 09:03:50 → ⇥
Size: 11483
Editor: satoru.ikeda
Comment:
Deletions are marked like this. Additions are marked like this.
Line 10: Line 10:
||gentoo/3.1.1 ||
||gentoo/3.5.1 ||
Line 13: Line 15:
||CPU ||Memory ||Mother Board ||
||Xeon W-2245 (3.9GHz, 8core) ||32GB (8GB DDR4-3200) ||X11SRL-F ||
||E5-1650 V4(3.6GHz) ||64GB ||X10SRW-F ||
||E5-1660 V4(3.2GHz) ||64GB ||X10SRW-F ||
||E5-1660 V4(3.2GHz) ||16GB ||X10SRW-F ||
||E5-2623 V4(2.6GHz) ||32GB ||X10SRW-F ||
||E5-2623 V3(3.0GHz) ||32GB ||X10DRW-i ||
||E5-2680 V2(2.8GHz ||32GB ||X9SRW-F ||		 ||CPU ||Memory ||Mother Board ||BIOS vserion ||
||Xeon W-2245 (3.9GHz, 8core) ||32GB (8GB DDR4-3200) ||X11SRL-F ||2.3a ||
||E5-1650 V4(3.6GHz) ||64GB ||X10SRW-F ||- ||
||E5-1660 V4(3.2GHz) ||64GB ||X10SRW-F ||- ||
||E5-1660 V4(3.2GHz) ||16GB ||X10SRW-F ||- ||
||E5-2623 V4(2.6GHz) ||32GB ||X10SRW-F ||- ||
||E5-2623 V3(3.0GHz) ||32GB ||X10DRW-i ||- ||
||E5-2680 V2(2.8GHz ||32GB ||X9SRW-F ||- ||
Line 23: Line 25:

[[https://dcc.ligo.org/LIGO-T1300430|LIGO-T1300430 BIOS Settings for aLIGO Front-end Computers]]
Line 24: Line 29:
||Revision ||枚数組み合わせ ||
||A(PMC66-16AI64SSA-64-50M-MEM) ||?? ||
||B(PCIe-16AI64SSC-64-50M) ||1,2,3,4 ||
||C(PCIe-16AI64SSC-64-50M) ||?? ||		 ||Revision ||枚数組み合わせ ||動作確認 ||
||A(PMC66-16AI64SSA-64-50M-MEM) ||?? ||OK(Standalone2) ||
||B(PCIe-16AI64SSC-64-50M) ||1,2,3,4 ||OK ||
||C(PCIe-16AI64SSC-64-50M) ||?? ||TIM error->-LIGO付きFW書き換えにて解決 ||
Line 31: Line 36:
||Revision ||枚数組み合わせ ||
||NR (PCIe-16A016-16-F0-DF) ||?? ||
||A (PCIe-16A016-16-F0-SE-DF) || 0,1,2,3 ||		 ||Revision ||枚数組み合わせ ||動作確認 ||
||NR (PCIe-16AO16-16-F0-DF) ||?? ||None ||
||A (PCIe-16AO16-16-F0-DF) || 0,1,2,3 ||OK ||
Line 37: Line 42:
||Type ||枚数組み合わせ ||
||BIO16 (DIO1616) ||1 ||
||BIO64 (DIO6464) ||0,1,3,4,5,6,7 ||		 ||Type ||枚数組み合わせ ||動作確認 ||
||BIO16 (DIO1616) ||1 ||OK(Timing) ||
||BIO64 (DIO6464)No.XXXA ||0,1,3,4,5,6,7 ||OK ||
||BIO64 (DIO6464)No.XXXB || - ||OK ||
Line 42: Line 48:
||Type ||枚数組み合わせ ||
||BO ||0,1,4 ||		 ||Type ||枚数組み合わせ ||動作確認 ||
||BO ||0,1,4 ||None ||
Line 46: Line 52:
||Type ||
||新(ADNACO) ||[[https://dcc.ligo.org/LIGO-D2000297|IO Interface Backplane (LVDS)]],[[https://dcc.ligo.org/LIGO-T2100353|LHO CDS V5 Adnaco IO Chassis Test Procedures]]||
||旧 ||		 ||Type ||Memo ||
||New(ADNACO) ||[[https://dcc.ligo.org/LIGO-D2000297|IO Interface Backplane (LVDS)]],[[https://dcc.ligo.org/LIGO-T2100353|LHO CDS V5 Adnaco IO Chassis Test Procedures]]||
||Old ||[[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=780|JGW-T1200780]]||
Line 52: Line 58:
||--(Gen1 DXH510 )--||旧Dolphinは試験に含まない || ||Gen1 DXH510 )--||旧Dolphinは試験に含まない ||
Line 57: Line 63:
=== (参考) ===
=== Card 枚数最大の組み合わせ ===
||FEPC ||ADC ||DAC ||DIO1616　||DIO6464 ||BO ||
||k1als0||4 ||2 ||1 ||7 ||0 ||
||k1ioo ||4 ||2 ||1 ||1 ||4 ||
||k1ioo1||3 ||2 ||1 ||6 ||0 ||		 === GeFanuc Reflective Memory ===
||Type ||
||VMIC PCI-5565RC?||

=== Adnaco ===
||Type||Memo||
||S1B||H1A card, R1BP1B board. The serial connection will not work.||
||S5||H2 card. 4 R1BP1B connection. ||
Line 65: Line 73:
== Test Pattern ==
=== IO Chassis ===
----
==== Slot認識順 ====		 = Test Pattern =
== New IO Chassis ==
----
=== Slot認識順 ===
Line 71: Line 79:
  * LIGO資料参考([[https://dcc.ligo.org/DocDB/0015/T1000523/004/LIGO-T1000523-v4.pdf|LIGO-T1000523]],[[https://dcc.ligo.org/DocDB/0111/D1400014/011/D1400014-v11.pdf|LIGO-D1400014]])   * LIGO資料参考([[https://dcc.ligo.org/DocDB/0015/T1000523/004/LIGO-T1000523-v4.pdf|LIGO-T1000523 CDS I/O (IO) Chassis PCIe Bus DAC ADC Card Layout]],[[https://dcc.ligo.org/DocDB/0111/D1400014/011/D1400014-v11.pdf|LIGO-D1400014 aLIGO L1 (LLO) CDS Front-end IO Chassis As-Built Drawings]])
Line 81: Line 89:
===== ADC =====
===== DAC =====
===== DIO1616 =====
===== DIO6464 =====
===== BO =====
----
==== CARD最大枚数確認 ====
===== 現在使用している最大枚数の確認 =====
||FEPC ||ADC ||DAC ||DIO1616　||DIO6464 ||BO ||
||k1als0||4 ||2 ||1 ||7 ||0 ||
||k1ioo ||4 ||2 ||1 ||1 ||4 ||
||k1ioo1||3 ||2 ||1 ||6 ||0 ||
 ==== ADC ====
 * 手順
  1. 事前にADC2枚のモデルを作成しておく
  2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
 * 判定基準
  * 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
  * 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
 * 結果
  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]

==== DAC ====
 * 手順
  1. 事前にADC1枚とDAC2枚のモデルを作成しておく
  2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
 * 判定基準
  * 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。
  * 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
 * 結果
  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]

==== DIO1616 ====

==== DIO6464 ====
 * 手順
  1. 事前にADC1枚とDIO2枚のモデルを作成しておく
  2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
  3. IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認
  4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
 * 判定基準
  * 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。
  * 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える
 * 結果
  * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]]


==== BO ====
----
=== CARD最大枚数確認 ===
==== 現在使用している最大枚数の確認 ====
 * 記載がないときは、ADCはRev.B、DACはRev.A
下記が動作するパターン
||FEPC ||ADC ||DAC ||DIO1616　||DIO6464 ||BO ||結果 ||Adnaco#1 || #2 || #3 ||#4 ||
||k1als0||4 ||2 ||1 ||7 ||0 ||OK ||DIO16, ADC, DAC, ADC ||ADC, DAC, ADCrev.A, 1スロット空き||DIO64x4枚 ||DIO64, DIO64, DIO64, 1スロット空き ||
||k1ioo ||4 ||2 ||1 ||1 ||4 ||OK ||DIO16, ADC, DAC, ADC ||ADC, DAC, ADCRev.A, DIO64 ||空き ||DO32x4枚 ||
||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, ADC, DAC, ADC ||DIO64, DIO64, 2スロット空き ||DO32, DAC, ADC, DAC ||DIO64, DIO64, DIO64, 1スロット空き ||
||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, ADC, ADC, ADC ||DAC, DAC, DAC, 1スロット空き ||DO32、DIO64、2スロット空き ||DIO64, DIO64, DIO64, DIO64 ||
||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, DAC, DAC, DAC ||ADC, ADC, ADC, 1スロット空き ||DO32、DIO64、2スロット空き ||DIO64, DIO64, DIO64, DIO64 ||
Line 98: Line 144:

===== 物理的最大確認 =====		 ==== 4枚目以降のDIO64の確認 ====
 * 次のコードを書き換える
  k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h
   ||old ||#define MAX_DIO_MODULES 16 ||
   ||new ||#define MAX_DIO_MODULES 28 ||
   スクリプトでこの文字列を検索しているので、先頭コメントとかで残せないです。
 * DIO64641枚のカードで、IOP Model側は2module、User Model側は4moduleとしてカウントされる。
 * 最大枚数が7枚なので7*4=28必要な計算。

==== 物理的最大確認 ====
Line 108: Line 162:
==== IO ChassisとFEPC間のOptical Calbe長試験 ==== === IO ChassisとFEPC間のOptical Calbe長試験 ===
Line 112: Line 166:

----
== V4+NewIO Chassis ==
=== PC Card Slot構成 ===
 * V4 Slot構成
  * V4 SlotのAdnaco Board認識順の確認

 * PC Card構成
  * Dolphinなし => IRIG-B + Adnaco x4
  * Dolphinあり => IRIG-B + Dolphin + Adnaco x3
  * Dolphin+RFM => IRIG-B + Dolphin + RFM x2 + Adnaco x1
  * エンド => IRIG-B + RFM x1 + Adnaco x3

  [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15392|試験結果(IO_Expansion_Chassis_and_V4_RTFE)]]

=== Adnaco Slot構成 ===
 * 現行KAGRAのOld IO Chassisで現在使っている各IOカード枚数の調査
 * IOカードの枚数とV4を使用した際に搭載可能なカード構成
  [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15392|試験結果(IO_Expansion_Chassis_and_V4_RTFE)]]
 * V4では搭載不可能な構成は、Adnacoボードの多段接続が可能か調査
  || LSC0, ASC0 (Dolphin + RFM) ||
  || ALS0, IOO1, OMC0 (Dolphinあり) ||
  || IX1, IY1, EX1, EY1 (RFM) ||
Line 113: Line 191:
=== その他思いつくこと（適当に分類して並べ替えてください) === = その他思いつくこと（適当に分類して並べ替えてください) =

O5 Test Bench

Contents

  1. O5 Test Bench
  2. Item LIst
    1. Software
      1. AdvLigo
    2. Hardware
      1. CPU+Memory
      2. ADC card + ADC adapter card
      3. DAC card + DAC adapter card
      4. BIO card
      5. BO card
      6. IO chassis
      7. Dolphin Card
      8. Long Range Dolphin?
      9. GeFanuc Reflective Memory
      10. Adnaco
  3. Test Pattern
    1. New IO Chassis
      1. Slot認識順
      2. CARD最大枚数確認
      3. IO ChassisとFEPC間のOptical Calbe長試験
    2. V4+NewIO Chassis
      1. PC Card Slot構成
      2. Adnaco Slot構成
  4. その他思いつくこと（適当に分類して並べ替えてください)

Item LIst

Software

AdvLigo

Revision

debian/buster/5.1.4-1+deb10

gentoo/3.1.1

gentoo/3.5.1

Hardware

CPU+Memory

CPU

Memory

Mother Board

BIOS vserion

Xeon W-2245 (3.9GHz, 8core)

32GB (8GB DDR4-3200)

X11SRL-F

2.3a

E5-1650 V4(3.6GHz)

64GB

X10SRW-F

-

E5-1660 V4(3.2GHz)

64GB

X10SRW-F

-

E5-1660 V4(3.2GHz)

16GB

X10SRW-F

-

E5-2623 V4(2.6GHz)

32GB

X10SRW-F

-

E5-2623 V3(3.0GHz)

32GB

X10DRW-i

-

E5-2680 V2(2.8GHz

32GB

X9SRW-F

-

https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec

LIGO-T1300430 BIOS Settings for aLIGO Front-end Computers

ADC card + ADC adapter card

Revision

枚数組み合わせ

動作確認

A(PMC66-16AI64SSA-64-50M-MEM)

??

OK(Standalone2)

B(PCIe-16AI64SSC-64-50M)

1,2,3,4

OK

C(PCIe-16AI64SSC-64-50M)

??

TIM error->-LIGO付きFW書き換えにて解決

https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737

DAC card + DAC adapter card

Revision

枚数組み合わせ

動作確認

NR (PCIe-16AO16-16-F0-DF)

??

None

A (PCIe-16AO16-16-F0-DF)

0,1,2,3

OK

  • DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為)

BIO card

Type

枚数組み合わせ

動作確認

BIO16 (DIO1616)

1

OK(Timing)

BIO64 (DIO6464)No.XXXA

0,1,3,4,5,6,7

OK

BIO64 (DIO6464)No.XXXB

-

OK

BO card

Type

枚数組み合わせ

動作確認

BO

0,1,4

None

IO chassis

Type

Memo

New(ADNACO)

IO Interface Backplane (LVDS),LHO CDS V5 Adnaco IO Chassis Test Procedures

Old

JGW-T1200780

Dolphin Card

Type

Gen1 DXH510 )--

旧Dolphinは試験に含まない

Gen3 PXH830

Long Range Dolphin?

GeFanuc Reflective Memory

Type

VMIC PCI-5565RC?

Adnaco

Type

Memo

S1B

H1A card, R1BP1B board. The serial connection will not work.

S5

H2 card. 4 R1BP1B connection.

Test Pattern

New IO Chassis

Slot認識順

ADC

  • 手順
    1. 事前にADC2枚のモデルを作成しておく
    2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する
    3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認
    4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
  • 判定基準

    • 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。

    • 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える
  • 結果

DAC

  • 手順
    1. 事前にADC1枚とDAC2枚のモデルを作成しておく
    2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
    3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認
    4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
  • 判定基準

    • 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。

    • 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える
  • 結果

DIO1616

DIO6464

  • 手順
    1. 事前にADC1枚とDIO2枚のモデルを作成しておく
    2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する
    3. IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認
    4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認
  • 判定基準
    • 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。
    • 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える
  • 結果

BO

CARD最大枚数確認

現在使用している最大枚数の確認

  • 記載がないときは、ADCはRev.B、DACはRev.A

下記が動作するパターン

FEPC

ADC

DAC

DIO1616　

DIO6464

BO

結果

Adnaco#1

#2

#3

#4

k1als0

4

2

1

7

0

OK

DIO16, ADC, DAC, ADC

ADC, DAC, ADCrev.A, 1スロット空き

DIO64x4枚

DIO64, DIO64, DIO64, 1スロット空き

k1ioo

4

2

1

1

4

OK

DIO16, ADC, DAC, ADC

ADC, DAC, ADCRev.A, DIO64

空き

DO32x4枚

TypeA

3

3

1

5

1

OK

DIO16, ADC, DAC, ADC

DIO64, DIO64, 2スロット空き

DO32, DAC, ADC, DAC

DIO64, DIO64, DIO64, 1スロット空き

TypeA

3

3

1

5

1

OK

DIO16, ADC, ADC, ADC

DAC, DAC, DAC, 1スロット空き

DO32、DIO64、2スロット空き

DIO64, DIO64, DIO64, DIO64

TypeA

3

3

1

5

1

OK

DIO16, DAC, DAC, DAC

ADC, ADC, ADC, 1スロット空き

DO32、DIO64、2スロット空き

DIO64, DIO64, DIO64, DIO64

  • カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認
    • 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった

    • ~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる

4枚目以降のDIO64の確認

  • 次のコードを書き換える
    • k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h

      • old

        #define MAX_DIO_MODULES 16

        new

        #define MAX_DIO_MODULES 28

        スクリプトでこの文字列を検索しているので、先頭コメントとかで残せないです。
  • DIO64641枚のカードで、IOP Model側は2module、User Model側は4moduleとしてカウントされる。
  • 最大枚数が7枚なので7*4=28必要な計算。

物理的最大確認

  • 電源容量の制約がある。30A必要とか。
    • 現行だと最も電流要件が厳しいのは下記
      • k1ioo + k1ioo1
      • k1bs + k1pr2 + k1sr2

    • 駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える

IO ChassisとFEPC間のOptical Calbe長試験

3m

150m

V4+NewIO Chassis

PC Card Slot構成

  • V4 Slot構成
    • V4 SlotのAdnaco Board認識順の確認
  • PC Card構成

Adnaco Slot構成

  • 現行KAGRAのOld IO Chassisで現在使っている各IOカード枚数の調査
  • IOカードの枚数とV4を使用した際に搭載可能なカード構成
  • V4では搭載不可能な構成は、Adnacoボードの多段接続が可能か調査

    • LSC0, ASC0 (Dolphin + RFM)

      ALS0, IOO1, OMC0 (Dolphinあり)

      IX1, IY1, EX1, EY1 (RFM)

その他思いつくこと（適当に分類して並べ替えてください)

  • 旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合)
    • KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在)
    • Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？

    • 併用不可なら全IO chassisを一斉に置き換える必要が出てくる

  • Dolphin glitchの回避手段の確立

    • Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか

    • 停止 -> ケーブル抜く -> 起動 -> ケーブル挿す の手順が通用するか

    • Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか
    • Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備

    • メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？

  • CPU負荷確認(新計算機)
    • K1LSC0相当
    • K1ASC0相当
    • K1OMC0相当
    • K1EX1相当
  • Timingに関するモデルとDAQの挙動確認
    • ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき
    • Timing fiberを挿さないとき・抜いたとき
    • モデルのIRIG-Bケーブルを挿さないとき・抜いたとき
    • DC0のIRIG-Bケーブルを挿さないとき・抜いたとき
    • 上記組み合わせ
  • デジタルシステム内部遅延測定

    • IOP -> user (16k, 2k)

    • user -> user (shmem, Dolphin, 16k, 2k)

    • user -> IOP (16k, 2k)

    • DAC out -> ADC in

KAGRA/Subgroups/DGS/Projects/TestBench/O5TestBench (last edited 2024-11-15 09:03:50 by satoru.ikeda)