项目难点总结

本是古典何须时尚 2023-03-01 06:18 30阅读 0赞

1、大数据机器平台项目：  
（1）对mapreduce的优化，一开始是按照常规思路在map中处理segy文件，经过shuffle后在reduce中将处理后的segy文件写入数据库中，开始一直按照常规思路在想怎么优化shuffle阶段，包括增大环形内存缓冲区，减少溢写次数等，后来过了一段时间了突然想到为什么非得需要reduce阶段呢？我就尝试直接在map处理完segy文件后直接将处理后的数据写入数据库，这样就省去了shuffle和reduce阶段，整个mapreduce性能也是有了一个较大的提升。  
（2）设计大数据机器学习平台的框架，因为之前没有过这种架构设计的经验，以前做项目的时候就是用ssm这些常用的框架，因为阿里也在做一个机器学习平台的叫做PAI，我们去参加了阿里PAI平台的技术分享会，学习了他们先进的设计架构。其实这个平台模块之间关系不是很紧密耦合度不高，因此还是比较适合做微服务的，再加上神经网络分布式训练需要dokcer和k8s，有了这些技术基础，做微服务也是比较容易的，但是考虑到我们项目周期和人员有限，spark、k8s这一块都需要投入比较多的时间，综合考虑先基于springboot+vue来实现，后期转springcloud也比较方便。  
2、管道运行优化项目：  
1、设计改进优化算法，常规做优化时最优点值和其余点的值差距还是比较大，但是在管道优化运行中，因为研究人员给出的调度方案一般也都是挺好的，所以最优解和其他解之间的差距就非常小，在解空间整体上就类似于一张纸被沙粒咯了几下，因此我改进了优化算法，提出自适应合并策略，较好的解决了这个场景。虽然最后提升只是5%但是在这种差距很小的情况下，5%已经算是挺大的提升了。  
2、交流沟通方面，因为这个这个项目是我们和图灵科技合作，甲方是徐洲管道局，因为徐洲管道局那边都是管道方面的专家，对计算机其实不是很了解，所以沟通起来就比较困难，其中有一个地方就是他们要求我们做离线的调度优化，就是他们的研究人员点一下之后我们给出调度计划，，但我们和图灵科技都以为他们是要求做实时的调度优化，就是油运输过来后传感器采集到数据程序自动给出最优调度计划，每隔一小时自动优化一次。这就导致我们返工重做了一部分工作，我们这边返工的还少，图灵那边重做的就比较多。因此这个问题的收获就是在做项目的时候多建立一些小的时间节点，及时和甲方进行沟通，毕竟甲方是非计算机人员交流起来难免会有理解不同的地方，这样的话能及时发现和对方理解不同的地方，及时修改方案，将损失降到最低，避免造成更大的损失。