分布式数据采集分析-开篇

长期从事数据采集和分析工作，一直有个想法：做个低成本的通用数据采集平台，类似平台大多使用高性能的FPGA/DSP来实现，编程开发需要专门的知识，并不适合大多数同学，基于PC机的数据分析是最方便的，可以用VC\labview\matlab\python....,而且最重要的是原始采样数据能实时存盘保留，能事后重新用新算法进行分析，这是FPGA/DSP等方法不易实现的，或者实现成本很高，前段时间基于此想法实现了，和大家分享共同改进，同时也是一个文档的总结：

1)光纤千兆网/IP,用于单方向（ADC采集-->PC1数据存盘）高速回传ADC数据，目前800Mbits/s能不掉点地实时存盘和分发，后续会从软件上讲解实现原理和代码

2)千兆以太网/TCP，由PC1实时存盘时同时分发数据进行处理，采用TCP协议是为了保障不同PCn的处理能力差异，而又不掉点

3)PC2...PCn可以实现不同的数据处理算法和分析显示。目前没有实现不同处理代码程序的统一分发

关键技术问题：

1）如何确保存盘数据不掉点，或检测数据中哪些发生了掉点？这样ADC采样的verilog和PC机程序进行配合

2）高速光纤收发的verilog时序约束与优化

3）如何高速网络数据的实时存储和快存储慢分发的同时进行

4）ADC数据采集和基本处理采用了zynq7010，其程序设计与时序.光纤收发用Zynq7010的PL实现，千兆以太网/TCP用PS+LWIP+freertos实现，这些在后续都会公开讲解