= O5 Test Bench = <> = Item LIst = == Software == === AdvLigo === ||Revision || ||debian/buster/5.1.4-1+deb10 || ||gentoo/3.1.1 || ||gentoo/3.5.1 || == Hardware == === CPU+Memory === ||CPU ||Memory ||Mother Board ||BIOS vserion || ||Xeon W-2245 (3.9GHz, 8core) ||32GB (8GB DDR4-3200) ||X11SRL-F ||2.3a || ||E5-1650 V4(3.6GHz) ||64GB ||X10SRW-F ||- || ||E5-1660 V4(3.2GHz) ||64GB ||X10SRW-F ||- || ||E5-1660 V4(3.2GHz) ||16GB ||X10SRW-F ||- || ||E5-2623 V4(2.6GHz) ||32GB ||X10SRW-F ||- || ||E5-2623 V3(3.0GHz) ||32GB ||X10DRW-i ||- || ||E5-2680 V2(2.8GHz ||32GB ||X9SRW-F ||- || https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec [[https://dcc.ligo.org/LIGO-T1300430|LIGO-T1300430 BIOS Settings for aLIGO Front-end Computers]] === ADC card + ADC adapter card === ||Revision ||枚数組み合わせ ||動作確認 || ||A(PMC66-16AI64SSA-64-50M-MEM) ||?? ||OK(Standalone2) || ||B(PCIe-16AI64SSC-64-50M) ||1,2,3,4 ||OK || ||C(PCIe-16AI64SSC-64-50M) ||?? ||TIM error->-LIGO付きFW書き換えにて解決 || https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737 === DAC card + DAC adapter card === ||Revision ||枚数組み合わせ ||動作確認 || ||NR (PCIe-16AO16-16-F0-DF) ||?? ||None || ||A (PCIe-16AO16-16-F0-DF) || 0,1,2,3 ||OK || * DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為) === BIO card === ||Type ||枚数組み合わせ ||動作確認 || ||BIO16 (DIO1616) ||1 ||OK(Timing) || ||BIO64 (DIO6464)No.XXXA ||0,1,3,4,5,6,7 ||OK || ||BIO64 (DIO6464)No.XXXB || - ||OK || === BO card === ||Type ||枚数組み合わせ ||動作確認 || ||BO ||0,1,4 ||None || === IO chassis === ||Type ||Memo || ||New(ADNACO) ||[[https://dcc.ligo.org/LIGO-D2000297|IO Interface Backplane (LVDS)]],[[https://dcc.ligo.org/LIGO-T2100353|LHO CDS V5 Adnaco IO Chassis Test Procedures]]|| ||Old ||[[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=780|JGW-T1200780]]|| === Dolphin Card === ||Type || ||Gen1 DXH510 )--||旧Dolphinは試験に含まない || ||Gen3 PXH830 || || === Long Range Dolphin? === === GeFanuc Reflective Memory === ||Type || ||VMIC PCI-5565RC?|| === Adnaco === ||Type||Memo|| ||S1B||H1A card, R1BP1B board. The serial connection will not work.|| ||S5||H2 card. 4 R1BP1B connection. || ----- = Test Pattern = == New IO Chassis == ---- === Slot認識順 === * それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc * 参考([[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2017/06/adc-6.html|旧IO chassisでの例]]) 　 * LIGO資料参考([[https://dcc.ligo.org/DocDB/0015/T1000523/004/LIGO-T1000523-v4.pdf|LIGO-T1000523 CDS I/O (IO) Chassis PCIe Bus DAC ADC Card Layout]],[[https://dcc.ligo.org/DocDB/0111/D1400014/011/D1400014-v11.pdf|LIGO-D1400014 aLIGO L1 (LLO) CDS Front-end IO Chassis As-Built Drawings]]) * RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ 1. LIGO資料参考にカードをPCに挿す 2. IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する カードを1st-1と2nd-1に差して * RCG5.x + V4 + 旧IOシャーシ * RCG3.x当時の方法を参考に順番は同じかを確認 ==== ADC ==== * 手順 1. 事前にADC2枚のモデルを作成しておく 2. ADCカード2枚をIOシャーシに入れて、IOシャーシをとPCを起動する 3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC{0,1}_EPICS_CH31チャンネルを確認 4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認 * 判定基準 * 正常:ADC0側の31chにDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。 * 異常:ADC0のカードがADC1として認識されてndscopeで見るとADC1側に信号が入るように見える * 結果 * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]] ==== DAC ==== * 手順 1. 事前にADC1枚とDAC2枚のモデルを作成しておく 2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する 3. IOシャーシとFEPCを起動して、ndscopeでK1:IOP-IMC0_DC0_EPICS_CH{30,31}、K1:FEC-33_DAC_OUTPUT_{0,1}_15 チャンネルを確認 4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認 * 判定基準 * 正常: DAC0側の15chとADCのCH30にDuoToneの信号が入ること。showwcardsで見たカードの位置が正しいこと。 * 異常: DAC0のカードがDAC1として認識されてndscopeで見るとDAC1側に信号が入るように見える * 結果 * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]] ==== DIO1616 ==== ==== DIO6464 ==== * 手順 1. 事前にADC1枚とDIO2枚のモデルを作成しておく 2. カードをIOシャーシに入れて、IOシャーシをとPCを起動する 3. IOシャーシとFEPCを起動して、EPICSチャンネル(K1:VIS-L32_C0_P0)の値を変更してBIOチェッカーボードのLEDを確認 4. FE上でrtcds showcardsのログを確認して、挿したSlotで認識されていることを確認 * 判定基準 * 正常: DIO0側のBIOが制御できていること。showcardsで見たカードの位置が正しいこと。 * 異常: DIO0のカードがDIO1として認識されてDIO1側が制御されるように見える * 結果 * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|Result]] ==== BO ==== ---- === CARD最大枚数確認 === ==== 現在使用している最大枚数の確認 ==== * 記載がないときは、ADCはRev.B、DACはRev.A 下記が動作するパターン ||FEPC ||ADC ||DAC ||DIO1616　||DIO6464 ||BO ||結果 ||Adnaco#1 || #2 || #3 ||#4 || ||k1als0||4 ||2 ||1 ||7 ||0 ||OK ||DIO16, ADC, DAC, ADC ||ADC, DAC, ADCrev.A, 1スロット空き||DIO64x4枚 ||DIO64, DIO64, DIO64, 1スロット空き || ||k1ioo ||4 ||2 ||1 ||1 ||4 ||OK ||DIO16, ADC, DAC, ADC ||ADC, DAC, ADCRev.A, DIO64 ||空き ||DO32x4枚 || ||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, ADC, DAC, ADC ||DIO64, DIO64, 2スロット空き ||DO32, DAC, ADC, DAC ||DIO64, DIO64, DIO64, 1スロット空き || ||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, ADC, ADC, ADC ||DAC, DAC, DAC, 1スロット空き ||DO32、DIO64、2スロット空き ||DIO64, DIO64, DIO64, DIO64 || ||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, DAC, DAC, DAC ||ADC, ADC, ADC, 1スロット空き ||DO32、DIO64、2スロット空き ||DIO64, DIO64, DIO64, DIO64 || * カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認 * 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった * 参考([[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio.html|旧IO chassisでの例1]], [[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio-part2.html|2]], [[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio-part3.html|3]]) * '''~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる''' ==== 4枚目以降のDIO64の確認 ==== * 次のコードを書き換える 　　k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h ||old ||#define MAX_DIO_MODULES 16 || ||new ||#define MAX_DIO_MODULES 28 || スクリプトでこの文字列を検索しているので、先頭コメントとかで残せないです。 * DIO64641枚のカードで、IOP Model側は2module、User Model側は4moduleとしてカウントされる。 * 最大枚数が7枚なので7*4=28必要な計算。 ==== 物理的最大確認 ==== * 電源容量の制約がある。30A必要とか。 * 現行だと最も電流要件が厳しいのは下記 * k1ioo + k1ioo1 * k1bs + k1pr2 + k1sr2 * '''駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える''' ---- === IO ChassisとFEPC間のOptical Calbe長試験 === || 3m || || 150m || ---- == V4+NewIO Chassis == === PC Card Slot構成 === * V4 Slot構成 　 * V4 SlotのAdnaco Board認識順の確認 * PC Card構成 * Dolphinなし => IRIG-B + Adnaco x4 * Dolphinあり => IRIG-B + Dolphin + Adnaco x3 * Dolphin+RFM => IRIG-B + Dolphin + RFM x2 + Adnaco x1 * エンド => IRIG-B + RFM x1 + Adnaco x3 [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15392|試験結果(IO_Expansion_Chassis_and_V4_RTFE)]] === Adnaco Slot構成 === * 現行KAGRAのOld IO Chassisで現在使っている各IOカード枚数の調査 * IOカードの枚数とV4を使用した際に搭載可能なカード構成 [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15392|試験結果(IO_Expansion_Chassis_and_V4_RTFE)]] * V4では搭載不可能な構成は、Adnacoボードの多段接続が可能か調査 || LSC0, ASC0 (Dolphin + RFM) || || ALS0, IOO1, OMC0 (Dolphinあり) || || IX1, IY1, EX1, EY1 (RFM) || ----- = その他思いつくこと（適当に分類して並べ替えてください) = * 旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合) * KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在) * Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？ * '''併用不可なら全IO chassisを一斉に置き換える必要が出てくる''' * Dolphin glitchの回避手段の確立 * Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか * 停止 -> ケーブル抜く -> 起動 -> ケーブル挿す の手順が通用するか * Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか * Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備 * '''メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？''' * CPU負荷確認(新計算機) * K1LSC0相当 * K1ASC0相当 * K1OMC0相当 * K1EX1相当 * Timingに関するモデルとDAQの挙動確認 * ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき * Timing fiberを挿さないとき・抜いたとき * モデルのIRIG-Bケーブルを挿さないとき・抜いたとき * DC0のIRIG-Bケーブルを挿さないとき・抜いたとき * 上記組み合わせ * デジタルシステム内部遅延測定 * IOP -> user (16k, 2k) * user -> user (shmem, Dolphin, 16k, 2k) * user -> IOP (16k, 2k) * DAC out -> ADC in