Differences between revisions 1 and 59 (spanning 58 versions)

Distribution of a standalone digital system to KAGRA subgroup

2011年度から2012年度にかけて、５組程度のデジタルシステムをサブグループに配布する。

Equipment linst

Item	Production No.	Vendor	Qt.(/ 1unit)	Comment

RT PC	VT64 Server 9500 XQN-OM (See below)	SUPER MICRO	1
PCIe extension chassis	OSS-PCIe-4U-EXP-2001-700	One Stop Systems	1
ADC	PMC66-16AI64SSA-64-50MHz-MEM or -NO IO instead of -MEM	General Standards	1-2
DAC	PMC66-16AO16-16-F0-DF-MEM or -NO IO instead of -MEM	General Standards	1-2
Binary Output	DO-32L-PE	Contec	1-2
Monitor	Diamondcrysta WIDE RDT233WLM-D	MITSUBISHI	2-3
Router	Buffalo	WZR-HP-G301NH	1

RT PC specification

Visual Technology : VT64 Server 9500 XQN-OM (1node per1U)
- Mother board: SUPER MICRO, System：SuperServer 6016T-NTRF
- CPU：Intel Neharem　W5590 3.33GHz 8M x 2
- Memory：12GB (DDR3-1333 ECC　2GB x 6)
- HDD
  - System：320GB S-ATA 300 x 2（Raid1）
  - Data：1000GB S-ATA 300 x 2
- Expansion Slots：PCI-Express 2 (x8) PCI-E 2.0 slots
- NIC：10/100/1000Base-T x 2 (on-board)
- Graphics：Aspeed AST2050 8MB (on-board)
- Power：650W

Network diagram

D1100404: Network diagram of standalone Real-Time system at Kamioka (3/28/2011)

STDA for subsystem

Hardware location list

Lending list

=== For system developers===

stand alone system配布された直後に、以下のことを確認する。

network adapterの設定

Ubuntu上で
```
> ifconfig
```
で確認。network interface名が本来eth0から始まらなければならないが、eth1-eth2とか変になってしまう。これは
```
/etc/udev/rules.d/70-persistent-net.rules
```
をいじることで解決。無事にeth0,eth1となった。いぜん別のPCで設定されたHDDをそのままコピーして移したので、以前のMACアドレスが残ってしまったのが原因だ。

HDD format

初めてUbuntuを使う時は/dev/sdcがフォーマットされていないので、フォーマットする必要がある。
最初はパーティションをつくる
```
>sudo /sbin/fdisk -l
```
で/dev/sdcがあるか確認。
```
>sudo /sbin/fdisk /dev/sdc
```
でnで新規作成、primary, partition=1, cylinder 1-last, pで確認、wで書き込み。partition typeはデフォルトでLinux(83)なので変更しなくていい。これで/dev/sdc1が作成された。
次にフォーマット。まず、既存のsda1がどのフォーマットタイプか調べる。
```
>df -T
```
となっているので、同じext3にする。
```
> sudo /sbin/mkfs.ext3 /dev/sdc1
```
何も確認無くエンターとともにフォーマットが始まるので、注意。

その後、

mount -a

でマウントして、/framesの所有者を

>sudo chown controls /frames

で変更。/framesの中に

/frames/full
/frames/trend
/frames/trend/minute
/frames/trend/minute_raw
/frames/trend/second

を作る。

ハードウエアの立ち上げ

1. サーバに電源等をつないでスイッチを入れる。
サーバーに専用の（付属でないものでは動かないかもしれない）電源線を2本つなぐ。ディスプレイ、キーボード、マウスも接続する。
起動してみて、ピーという音がずっとしていたり、Uというマークのランプが点滅している場合は、電源のエラー。

2. 拡張ボックスを接続してみる
次に、拡張ボックスとサーバを専用線で（AとBがあるが、とりあえずBに）接続し、拡張ボックス付属の電源線(これも専用でないと動かないかもしれない)もつなぐ。サーバーの電源を入れたときに、前面パネルの緑色LEDが点灯し、ファンも回っていることを確認する。

3. ADC, DACを拡張ボックスに差す

>lspci

あるいは>/sbin/lspciとすると、ボードがハードとして認識されていれば、

15:000 PCI bridge: PLX Technology, Inc. PEX8112 x1 Lane PCI Express-to-PCI Bridge (rev aa)
16:00.0 Bridge: PLX Technology, Inc. PCI9056 32-bit 66MHz PCI <-> IOBus Bridge (rev ac)

などと表示される。

KAGRA/Subgroups/DGS/Projects/STDA (last edited 2013-06-07 09:14:00 by OsamuMiyakawa)

-  ⇤ ← Revision 1 as of 2011-02-03 11:23:37 → 
  Size: 1994
  Editor: NaokoOhishi
  Comment:
+   ← Revision 59 as of 2012-06-06 18:12:43 → ⇥
  Size: 5643
  Editor: OsamuMiyakawa
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 1:
-= デジタルシステムの配布 =
+## page was renamed from LCGT/subgroup/ifo/digital/Distribution
= Distribution of a standalone digital system to KAGRA subgroup =
-Line 3:
+Line 4:
-年度に、５組のデジタルシステムをサブグループに配布する。
+年度から2012年度にかけて、５組程度のデジタルシステムをサブグループに配布する。
----
== Equipment linst　==
||Item||Production No.||Vendor||Qt.(/ 1unit)||Comment||
|| || || || || ||
||RT PC||VT64 Server 9500 XQN-OM (See below)||SUPER MICRO||1|| ||
||PCIe extension chassis||[[http://www.onestopsystems.com/pcie_over_cable_z2.php|OSS-PCIe-4U-EXP-2001-700]]||One Stop Systems||1|| ||
||ADC||[[http://www.generalstandards.com/view-products2.php?BD_family=16ai64ssa|PMC66-16AI64SSA-64-50MHz-MEM or -NO IO instead of -MEM]]||General Standards||1-2|| ||
||DAC||[[http://www.generalstandards.com/specs/pmc66_16ao16_spec_111009.pdf|PMC66-16AO16-16-F0-DF-MEM or -NO IO instead of -MEM]]||General Standards||1-2|| ||
||Binary Output||[[https://www3.contec.co.jp/B2B/ConIWCatProductPage_B2B.process?Merchant_Id=1&Catalog_Id=2&Section_Id=2&pcount=&Selected_CatalogMaster_Id=&Product_Id=1723|DO-32L-PE]]||Contec||1-2|| ||
||Monitor||[[http://www.amazon.co.jp/三菱電機-RDT233WLM-D-MITSUBISHI-23型三菱液晶ディスプレイ/dp/B004H7RQZO%3FSubscriptionId%3D0571BBGTQZ5YYPEDSY02%26tag%3Dkakaku-ce-22%26linkCode%3Dxm2%26camp%3D2025%26creative%3D165953%26creativeASIN%3DB004H7RQZO%26me%3dAN1VRQENFRJN5|Diamondcrysta WIDE RDT233WLM-D]]||MITSUBISHI||2-3||||
||Router||Buffalo||WZR-HP-G301NH||1|| ||
-Line 5:
+Line 17:
-== 購入品リスト　==
数量は1組あたり
||       ||型式（メーカー）||数量||備考||
||サーバー ||             ||1|| ||
||拡張ボックス||[[http://www.onestopsystems.com/pcie_over_cable_z2.php|OSS-PCIe-4U-EXP-2001-700(One Stop Systems, Inc)]]||1|| ||
||ADC|| || || ||
||DAC|| || || ||
||DIO||DO-32LPE(contec)||4|| ||
||D-sub 9pinケーブル||(0.5m,1m,2m,5m,10m)||各20本|| ||
||ディスプレイ||[[http://www.amazon.co.jp/三菱電機-RDT233WLM-D-MITSUBISHI-23型三菱液晶ディスプレイ/dp/B004H7RQZO%3FSubscriptionId%3D0571BBGTQZ5YYPEDSY02%26tag%3Dkakaku-ce-22%26linkCode%3Dxm2%26camp%3D2025%26creative%3D165953%26creativeASIN%3DB004H7RQZO%26me%3dAN1VRQENFRJN5|Diamondcrysta WIDE RDT233WLM-D(三菱)]]||3||||
== 立ち上げ ==
+=== RT PC specification ===
 * Visual Technology : VT64 Server 9500 XQN-OM (1node per1U)
  * Mother board: SUPER MICRO, System：Super''''''Server [[http://www.supermicro.com/products/system/1U/6016/SYS-6016T-NTRF.cfm|6016T-NTRF]]
  * CPU：Intel Neharem　W5590 3.33GHz 8M x 2
  * Memory：12GB (DDR3-1333 ECC　2GB x 6)
  * HDD
   * System：320GB S-ATA 300 x 2（Raid1）
   * Data：1000GB S-ATA 300 x 2
  * Expansion Slots：PCI-Express 2 (x8) PCI-E 2.0 slots
  * NIC：10/100/1000Base-T x 2 (on-board)
  * Graphics：Aspeed AST2050 8MB (on-board)
  * Power：650W
----
-Line 17:
+Line 31:
-[[CLIO/|配布物品リスト]]を確認。
+== Network diagram ==
-Line 19:
+Line 33:
-. サーバに電源等をつないでスイッチを入れてみる<<BR>>
+ * [[http://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/DocDB/ShowDocument?docid=404|D1100404]]: Network diagram of standalone Real-Time system at Kamioka (3/28/2011)


----
== STDA for subsystem ==
 1. [[LCGT/subgroup/ifo/digital/Distribution/Test|Test standalone system at Kamioka]]
 2. [[LCGT/subgroup/ifo/digital/Distribution/DetChar|Standalone system for Detector Characterization at NAOJ]]
 3. [[KAGRA/Subgroups/DGS/Projects/STDA/VIS|Standalone system for VIS at Kashiwa]]

----

== Hardware location list ==

 * [[KAGRA/Subgroups/DGS/Projects/STDA/Location|Lending list]]

----
=== For system developers===
 * stand alone system配布された直後に、以下のことを確認する。

==== network adapterの設定 ====
  * Ubuntu上で{{{
> ifconfig
}}} で確認。network interface名が本来eth0から始まらなければならないが、eth1-eth2とか変になってしまう。これは{{{
/etc/udev/rules.d/70-persistent-net.rules
}}} をいじることで解決。無事にeth0,eth1となった。いぜん別のPCで設定されたHDDをそのままコピーして移したので、以前のMACアドレスが残ってしまったのが原因だ。

==== HDD format ====
 1. 初めてUbuntuを使う時は/dev/sdcがフォーマットされていないので、フォーマットする必要がある。
 * 最初はパーティションをつくる{{{
>sudo /sbin/fdisk -l
}}}で/dev/sdcがあるか確認。{{{
>sudo /sbin/fdisk /dev/sdc
}}}でnで新規作成、primary, partition=1, cylinder 1-last, pで確認、wで書き込み。partition typeはデフォルトでLinux(83)なので変更しなくていい。これで/dev/sdc1が作成された。
 * 次にフォーマット。まず、既存のsda1がどのフォーマットタイプか調べる。{{{
>df -T
}}}となっているので、同じext3にする。{{{
> sudo /sbin/mkfs.ext3 /dev/sdc1
}}}何も確認無くエンターとともにフォーマットが始まるので、注意。

 * その後、{{{
mount -a
}}}でマウントして、/framesの所有者を{{{
>sudo chown controls /frames 
}}}で変更。/framesの中に{{{
/frames/full
/frames/trend
/frames/trend/minute
/frames/trend/minute_raw
/frames/trend/second
}}}を作る。






=== ハードウエアの立ち上げ ===

1. サーバに電源等をつないでスイッチを入れる。<<BR>>
-Line 28:
+Line 100:
+. ADC, DACを拡張ボックスに差す
-Line 31:
+Line 104:
-あるいは>/sbin/lspciとしたとき、拡張ボックスが接続されていないときと違うメッセージが出ることを確認する。

3. 

== FAQ ==
+あるいは>/sbin/lspciとすると、ボードがハードとして認識されていれば、
{{{
15:000 PCI bridge: PLX Technology, Inc. PEX8112 x1 Lane PCI Express-to-PCI Bridge (rev aa)
16:00.0 Bridge: PLX Technology, Inc. PCI9056 32-bit 66MHz PCI <-> IOBus Bridge (rev ac)
}}}
などと表示される。