mt4市场帮助用户提升业务效率与可靠性

　　mt4市场帮助用户提升业务效率与可靠性聚宽揭秘：为什么量化商量员喜爱正在Kubernetes上利用Fluid简化数据处分？

　　本文实质由阿里云实名注册用户自愿孝敬，版权归原作家整个，阿里云开辟者社区不具有其著作权，亦不负担相应司法负担。详细端正请查看《阿里云开辟者社区用户供职同意》和 《阿里云开辟者社区常识产权爱惜指引》。若是您呈现本社区中有涉嫌模仿的实质，填写侵权投诉外单实行举报，曾经查实，本社区将即刻删除涉嫌侵权实质。

　　通过引入阿里云的 ack-fluid 身手，基于 JindoRuntime 的分散式缓存加快，治理了大批据源、弹性扩展、动态挂载等挑衅，明显擢升了数据管理出力和资源操纵率，下降运营本钱。这一计划助助量化商量员完成了更高效的开辟和实行流程，为另日的优化和扩展奠定了根底。

　　【阅读原文】戳：聚宽揭秘：为什么量化商量员喜爱正在Kubernetes上利用Fluid简化数据处分？

　　正在金融市集的瞬息万变中，量化投资依靠其数据驱动的决定上风，正急迅成为投资界的一股新气力。聚宽（JoinQuant）不但是一家科技公司，更是基于邦内金融市集大数据的量化商量前锋。咱们操纵量化商量、人工智能等前沿身手，接续开采市集纪律、优化算法模子，并通流程序化贸易完成战略的主动化实践。正在聚宽典范的量化投资商量流程中，首要存正在如下几个闭头闭头：

　　1.因子开采：操纵先辈的数据剖判身手，正在海量数据中开采对投资战略具有预测价钱的闭头变量。

　　2.收益预测：采用机械练习等先辈身手，集合众个因子，修筑对对象变量的精准预测模子，涵盖线性回归、决定树、神经汇集等众种算法。

　　3.组合优化：正在预期收益和危险管制的根底上，通过优化算法，完成投资组合的最优摆设，以最大化投资回报。

　　4.回测搜检：通过正在史乘数据前进行模仿贸易，评估贸易战略的有用性和安靖性。

　　上述的每个闭头都是由海量数据驱动的数据鳞集型企图工作。依托阿里云供应的ECS、ECI、ACK、NAS、OSS等云产物，聚宽的身手团队正在过去的几年内敏捷搭筑起了一套完全的量化投研平台。

　　咱们以Kubernetes为底座，同时利用了阿里云NAS，OSS，SLS，GPU共享调整，HPA，Prometheus，Airflow，Prometheus等云和云原生身手，得益于其企图本钱和易于范围扩展的上风，以及容器化正在高效计划和疾速迭代方面的益处，囊括了越来越众的企图场景，比如海量金融史乘数据驱动的因子企图、量化模子操练、投研战略回测等。

　　然而，正在本质利用中，咱们呈现正在云上看待数据鳞集型和弹性活络性场景的真正量化投研产物接济又有诸众亏欠。

　　正在量化投资商量的流程中，咱们的投研平台碰到了本能瓶颈、本钱驾御、数据集处分庞大性、数据安适题目以及利用体验等众重挑衅。尤其是正在高并发访谒和数据集处分方面，古代的NAS和OSS存储治理计划已无法知足咱们对本能和本钱效益的双重需求。数据科学家们正在测试完成更高效、更活络的数据管理流程时，一再受限于现有身手的羁绊。

　　1.数据处分困难：一块走来，咱们的数据散开正在区别的存储平台NAS和OSS。商量员正在实行因子开采时，需求集合散开正在NAS和OSS上的数据。数据处分变得极其庞大，乃至需求手动将数据从一个平台转移到另一个平台。

　　2.本能瓶颈：量化商量员正在组合优化流程中，需求敏捷读取大宗史乘数据实行回测，此时一般会利用大宗机械同时访谒统一个数据集，这恳求咱们的存储体系也许供应极高的带宽，例如几百Gbps乃至Tbps。但分散式文献存储体系的带宽受限，导致读取速率慢，影响了模子操练出力。

　　3.本钱驾御：量化商量员的投研实行工夫万分不确定，有时刻一天会有大宗实行，有时刻大概一全日都没有。这导致咱们的带宽需求振动很大，若是老是预留大宗带宽，大部门工夫实在是正在浪掷资源，填补了不需要的本钱。

　　4.数据安适顾虑：正在商量员团队之间需求远离区别的数据集，然而正在OSS的统一个存储桶下 / 统一个NAS实例下数据无法被有用远离。

　　5.身手利用门槛：量化商量员许众都是数据科学家身世，对Kubernetes不太熟谙，而利用YAML摆设众个良久卷声明（PVC）来处分数据源对他们来说是一项挑衅。

　　6.动态数据源挂载题目：量化商量员们正在利用Jupyter Notebook实行数据管理时，一再需求挂载新的数据源。但每次挂载操作都市导致Notebook境遇重启，要紧影响出力。

　　咱们呈现仅靠Kubernetes的CSI编制无法知足咱们对大批据源加快的需求，而CNCF Sandbox项目Fluid供应了一种简便的形式来同一处分和加快众个Persistent Volume Claim的数据，包含来自OSS和NAS的数据。

　　Fluid接济众种Runtime，包含Jindo，Alluxio，JuiceFS，VIneyard均分散式缓存体系；源委甄选斗劲，咱们呈现此中场景成亲、本能和安靖性斗劲超过的是JindoRuntime。JindoRuntime基于JindoCache的分散式缓存加快引擎。JindoCache（前身为JindoFSx）是阿里云数据湖处分供应的云原生数据湖加快产物，适配OSS、HDFS、尺度S3同意、POSIX等众种同意，正在此根底上接济数据缓存、元数据缓存等功用。

　　进一步的调研和利用后，咱们呈现很众困扰商量员的题目都获得了有用治理，包含缓存本钱、数据集安适处分和活络利用的需求。目前整体体系基于Fluid仍然稳固运转近一年，为量化商量团队带来了重大助助。以下咱们分享一下咱们的体验和劳绩：

　　题目：正在实行区别类型的数据管理工作时，呈现简单的数据存储摆设无法知足需求。比如，操练工作的数据集需求创立为只读，而中央天生的特性数据和checkpoint则需求读写权限。古代的Persistent Volume Claim (PVC) 无法活络地同时管理来自区别存储的数据源。

　　计划：利用Fluid，量化商量员可认为每一种数据类型创立区别的存储战略。比如，正在统一个存储体系内，操练数据能够摆设为只读，而特性数据和checkpoint能够摆设为读写。如此，Fluid助助客户完成了区别数据类型正在统一PVC中的活络处分，提升了资源操纵率和本能收益。

　　题目：正在运转量化剖判时，企图资源需求振动很大。正在岑岭时段，需求短工夫内调整大宗企图实例，但正在非岑岭时段，资源需求险些为零。固定预留资源不但酿成高本钱，还导致资源浪掷。

　　计划：Fluid接济众种弹性战略，答允客户凭据营业需求动态扩缩容。通过操纵预热和遵循营业纪律实行扩缩容操作，Fluid助助客户正在岑岭时敏捷扩展企图资源，同时通过维持自我处分的数据缓存，完成数据缓存模糊的动态弹性驾御。这种弹性战略不但擢升了资源利用出力，又有用下降了运营本钱。

　　题目：量化商量员利用GPU实行高密度数据企图，但每次工作调整时数据访谒延时高，影响了合座企图本能。因为GPU资源高贵，团队祈望正在调整GPU时数据也许尽大概靠近企图节点。

　　计划：通过数据缓存感知的调整，Fluid正在操纵调整时也许供应数据缓驻足分音信给Kubernetes调整器。这让客户的操纵也许调整到缓存节点或更靠近缓存的节点，从而削减数据访谒延时，最大化GPU资源的利用出力。

　　题目：量化商量员利用异构的数据源，存正在极少计划，但无法知足跨存储数据集同时加快的需求，利用分歧也给运维团队带来了适配庞大性。

　　计划：Fluid供应了同一的PVC加快才智，OSS数据和NAS数据皆可按创筑Dataset、扩容Runtime、实践Dataload的流程实行操作。JindoRuntime的PVC加快功用简便易用且本能都知足需求。

　　题目：需求确保数据的远离和共享。为了爱惜敏锐数据，需求正在企图工作和数据上完成访谒驾御与远离。同时，相对公然的数据需求简单商量员访谒和利用。

　　计划：Fluid的Dataset通过Kubernetes的namespace资源远离机制，完成了区别团队之间的数据集访谒驾御。如此既爱惜了数据隐私，又知足了数据远离的需求。同时，Fluid接济跨Namespace的数据访谒，使得公然数据集能够正在众个团队中反复利用，完成一次缓存，众个团队共享，大幅擢升了数据操纵率和处分的便捷性。

　　题目：量化商量员首要用Python实行开辟，但当需求正在Kubernetes境遇下运转时，他们必需练习并利用YAML。很众商量员暗示YAML学不会，这给他们带来了很大的练习本钱和开辟出力的下降。

　　计划：Fluid供应了DataFlow数据流功用，答允用户操纵Fluid的API界说主动化数据管理流程，包含缓存扩容 / 缩容、预热、转移和自界说的数据管理相干操作。最值得一提的是，这些操作都能够通过Python接口告竣，完成正在当地开辟境遇和临盆境遇中利用统一套代码实行精准预测模子的开辟和操练。

　　题目：商量员正在Jupyter容器中职责时，常需求动态挂载新的存储数据源。古代形式需求重启Pod，这不但浪掷工夫，还打断了他们的职责流程，是他们诟病已久的题目。

　　计划：Fluid的Dataset功用接济描绘众个数据源，并答允用户动态挂载或卸载新旧挂载点，且这些改换即时对用户容器可睹，无需重启。这治理了数据科学家对容器利用的最大牢骚。

　　尽量开源的Fluid有诸众便宜，但正在履行中咱们呈现它并不行统统知足咱们的需求：

　　1. 对众类型弹性资源的不统统接济。以阿里云为例，咱们利用的弹性资源包蕴ECS和ECI, 正在职责负载调整时，体系会优先调整至ECS，当ECS资源耗尽后，才转向ECI。因而，咱们需求 Fluid同时接济这两种资源。但据咱们领略，开源Fluid的FUSE Sidecar需求依赖privileged权限，而正在ECI上无法完成。

　　2. 开源Fluid正在监控和可观测性的计划有限，况且摆设斗劲庞大。看待临盆体系来说，完全的监控日记计划仍旧斗劲紧急的，然而本人开辟斗劲困难。

　　3. 开源Fluid并不接济动态挂载，这看待数据科学家来说是斗劲刚性的需求。

　　咱们劈头寻找治理计划并呈现了阿里云ACK云原生AI套件中的ack-fluid，它能够很好的治理这些题目：

　　1. ack-fluid基于开源Fluid尺度看待JindoRuntime供应了完全的接济，咱们正在线下开源Fluid上告竣调试，正在ACK上就能够获取完全才智。

　　2. ack-fluid无缝接济阿里云的ECI，且不需求开启privileged权限，统统知足了咱们正在云上弹性容器实例ECI访谒区别数据源的需求。

　　3. ack-fluid集成了功用完满的监控大盘，且易于获取，咱们只需正在阿里云Prometheus监控中实行一键安设即可。

　　4. 同时ack-fluid接济正在ECS和ECI上完成动态挂载大批据源的才智，这也是咱们极为崇拜的功用。

　　Fluid的JindoRuntime优先采取具有高汇集IO和大内存才智的ECS和ECI动作缓存worker。云供职器ECS的汇集才智不休擢升，现时的汇集带宽仍然远超SSD云盘的IO才智。以阿里云上的ECS规格ecs.g8i.16xlarge为例，它的根底汇集带宽值抵达32Gbps，内存为256GiB。假设供应两台如此的ECS，那么外面上，仅用2秒就能告竣32GB数据的读取。

　　正在离线企图这类容错率较高的场景上，能够思索利用Spot实例动作缓存Worker，而且填补K8s讲明eci-spot-strategy: SpotAsPriceGo。如此既能享用Spot实例带来的本钱优惠，而又能确保较高的安靖性。

　　因为营业特性，投研平台的模糊用量有着万分分明的潮汐特性，因而简便的摆设依时缓存节点的弹性伸缩战略能来到到不错的收益，包含本钱的驾御和对本能擢升。针对商量员孤单需求的数据集，也能够预留接供词他们手动伸缩。

　　JindoRuntime接济正在读数据的同时实行预热，但因为这种同时实践的形式会带来较大的本能开销，咱们的体验是先辈行预热，同时监控缓存比例。一朝缓存比例抵达肯定阈值，就劈头触发工作下发。这避免了提前运转高并发工作导致的IO延迟题目。

　　为了擢升数据加载速率，咱们采取将JindoRuntime的Master中的元数据长久保存并众次拉取。同时，因为营业数据每每被收集并存储到后端存储体系中，这一流程并未源委缓存，导致Fluid无法感知。为治理这个题目，咱们通过摆设Fluid依时实践数据预热，从而同步底层存储体系的数据变动。

　　正在本质评估中，咱们利用了20个规格为ecs.g8i.16xlarge的ECI动作worker节点来修筑JindoRuntime集群，单个ECI的带宽上限为32Gbps; 同时工作节点采取ecs.gn7i-c16g1.4xlarge，带宽上限为16Gbps；拉取文献巨细30GiB；高本能分散式存储峰值带宽为3GB/s, 且该带宽仅跟着存储利用容量填补而提升。同时为了擢升数据读取速率，咱们采取利用内存实行数据缓存。

　　为便于比拟，咱们统计了访谒耗时数据，并与操纵Fluid身手访谒数据的耗时实行了比拟。结果如下所示：

　　当并发Pod数目较少时，古代高本能分散式存储的带宽也许知足需求，因而Fluid并未体现出分明上风。然而，跟着并发Pod数目的填补，Fluid的本能上风愈发觉显。当并发扩展到10个Pod时，利用Fluid能够将均匀耗时缩短至古代形式的1/5；而当扩展到100个Pod时，数据访谒工夫从15分钟缩短至38.5秒，企图本钱也下降为相称之一。这大幅擢升了工作管理速率，并明显下降了因为IO延迟带来的ECI本钱。

　　更为紧急的是，Fluid体系的数据读取带宽与JindoRuntime集群范围正相干，若是需求扩容更众的Pod，咱们能够通过批改JindoRuntime的Replicas来填补数据带宽。这种动态扩容的才智是古代的分散式存储无法知足的。

　　通过利用Fluid，咱们正在只读数据集场景中获取了更众的活络性和大概性。Fluid使咱们剖析到，除了企图资源，数据缓存也能够视为一种无状况的弹性资源，能够与Kubernetes的弹性伸缩战略相集合，以合适职责负载的变动，知足咱们正在利用中看待岑岭和低谷的需求。

　　总而言之，Fluid无疑带来了数据缓存的弹性特色，提升了职责出力，为咱们的职责带来了本质性的好处。

　　咱们另日会和Fluid社区接续合营，一方面更好治理咱们每天遭遇的题目，同时也促使社区的校正：

　　1. 工作弹性和数据缓存弹性的协同：咱们的营业体系能明白并预测一段工夫内利用一致数据集的工作并发量。正在工作列队的流程中，咱们能够实践数据预热和弹性扩缩容。当数据缓存或者数据访谒模糊知足肯定的条目时，此时的体系能够将列队工作从守候状况变为可用状况。这种战略能够让咱们更有用地操纵资源，擢升工作的管理速率，削减守候工夫。

　　2. 优化Dataflow的数据亲合本能力：Fluid供应了Dataflow功用，能够助助咱们将数据运维操作和营业中的数据管理串联起来。然而，因为区别的操作会正在区别的节点实行，这大概会下降合座的本能。咱们企望后续的操作能正在前序操作一致的节点 / 可用区 / 区域实行，从而提升合座的实践出力和数据管理速率。这种优化能够削减数据传输的工夫，擢升合座的本能。

　　•通过python SDK创筑数据集，而且遵循按序告竣扩容和数据预热（也能够通过YAML的形式创筑）。

　　•此时能够查看数据集的状况，能够看到数据缓存告竣，就能够很简便地劈头利用缓存过的数据。

　　聚宽 (JoinQuant) 是一家基于邦内金融市集大数据，通过量化商量、人工智能等身手，不休开采纪律、优化算法、精益模子，实行顺序化贸易的科技公司。

　　团队现有成员70+人，投资商量及IT团队40+人，均来自海外里着名学府。会聚数学、物理、企图机、统计学、流体力学、金融工程等各范围专家，70%以上具有硕博学位。聚宽将最先辈的商量和身手与金融投资实行高效集合，为投资者制造长久妥当的投资价钱。

　　Docker是一个开源的操纵容器引擎，闪开发者能够打包他们的操纵以及依赖包到一个可移植的容器中，然后揭晓到任何大作的Linux机械上，也能够完成虚拟化，容器是统统利用沙箱机制，彼此之间不会有任何接口。Docker是天下领先的软件容器平台。开辟职员操纵Docker能够撤消配合编码时“正在我的机械上可寻常职责”的题目。运维职员操纵Docker能够正在远离容器中并行运转和处分操纵，获取更好的企图密度。企业操纵Docker能够修筑疾速的软件交付管道，以更疾的速率、更高的安适性和牢靠的信用为Linux和Windows Server操纵揭晓新功用。 正在本套课程中，咱们将扫数的批注Docker身手栈，从境遇安设到容器、镜像操作以及临盆境遇怎样计划开辟的微供职操纵。本课程由黑马顺序员供应。 相干的阿里云产物：容器供职 ACK 容器供职 Kubernetes 版（简称 ACK）供应高本能可伸缩的容器操纵处分才智，接济企业级容器化操纵的全性命周期处分。整合阿里云虚拟化、存储、汇集和安万能力，打制云端最佳容器化操纵运转境遇。 领略产物详情:

　　Fluid 联袂 Vineyard，打制 Kubernetes 上的高效中央数据处分

　　本文叙述了怎样操纵 Fluid 和 Vineyard 正在 Kubernetes 上优化中央数据处分，治理开辟出力、本钱和本能题目。 Fluid 供应数据集编排，使数据科学家能用 Python 修筑云原生职责流，而 Vineyard 通过内存照射完成零拷贝数据共享，提升出力。两者集合，通过数据亲和性调整削减汇集开销，擢升端到端本能。 同时通过一个真正事例先容了安设 Fluid、摆设数据与工作调整及利用 Vineyard 运转线性回归模子的程序，展现了正在 Kubernetes 上完成高效数据处分的履行本事。另日，项目将扩展至 AIGC 模子加快和 Serverless 场景。

　　基于 ACK Fluid 的搀杂云优化数据访谒（四）：将第三方存储目次挂载到 Kubernetes，擢升出力和尺度化

　　基于 ACK Fluid 的搀杂云优化数据访谒（四）：将第三方存储目次挂载到 Kubernetes，擢升出力和尺度化

　　Fluid新邪术：跨Kubernetes Namespace共享数据集

　　Fluid助助数据科学家优化数据访谒。区别的数据科学家团队会正在众个区别的Namespace中创筑数据鳞集型功课，且这些功课将访谒一致的数据集。众个数据科学家复用一致的数据集，尤其是开源数据集。各数据科学家具有本人独立的Namespace提交功课。若是看待每个Namespace运转缓存运转时并实行缓存预热，会酿成缓存资源浪掷和功课启动延迟题目。

　　ACK One 的众集群操纵分发，能够最小本钱地集合您已有的单集群 CD 体系，无需对原先操纵资源 YAML 实行批改，即可敏捷修筑成众集群的 CD 体系，并同时获取壮健的众集群资源调整和分发的才智。

　　本文先容怎样操纵阿里云的分散式云容器平台ACK One的众集群操纵分发功用，集合云效CD才智，敏捷将单集群CD体系升级为众集群CD体系。通过填补分发战略（PropagationPolicy）和分歧化战略（OverridePolicy），并批改单集群kubeconfig为舰队kubeconfig，可完成无损改制。该计划具备众地区众集群智能资源调整、重调整及阻碍转移等才智，助助用户擢升营业出力与牢靠性。

　　K8s集群实战：利用kubeadm和kuboard计划Kubernetes集群

　　总之，利用kubeadm和kuboard计划K8s集群就像回归童年相似，简便又兴趣。不要忘却，身手是为人供职的，用K8s集群操控云端资源，咱们只是是思正在庞大的天下找寻简便。尽量计划流程大概遭遇穷困，但朝着简化庞大的对象，咱们就能找到道理和趣味。祈望你也能操纵这些用具，找到你的趣味，知足你的需求。

　　以上即是利用 Rancher 计划 Kubernetes 集群的流程。利用 Rancher 和 Kubernetes，开辟者能够受益于活络性和可扩展性，答允他们正在众种境遇中运转众种操纵，同时操纵主动化用具使职责负载愈加高效。

　　突破资源界限、拜别资源浪掷：ACK One 众集群Spark和AI功课调整

　　ACK One众集群Spark功课调整，能够助助您正在不影响集群中正正在运转的正在线营业的条件下，突破资源界限，凭据各集群本质糟粕资源来实行调整，最大化您众集群中闲置资源的操纵率。

　　OpenAI阻碍复盘 - 阿里云容器供职与可观测产物怎样保护大范围K8s集群安靖性

　　聚焦克日OpenAI的大范围K8s集群阻碍，先容阿里云容器供职与可观测团队正在大范围K8s场景下咱们的制造与重淀。以及分享对形似阻碍题目的应对计划：包含正在K8s和Prometheus的高可用架构打算方面、事前过后的安靖性保护编制方面。

　　基于 Azure DevOps 与阿里云 ACK 修筑企业级 CI/CD 流水线

　　利用阿里云容器供职Jenkins 2.0完成接续集成之the tag you want篇(updated on 2017.09.06)

　　Hadoop大数据平台实战(05)：深化Spark Cluster集群形式YARN vs Mesos vs Standalone vs K8s

　　Kubernetes中的Pod无法访谒外网-Ubuntu16.04 LTS

　　【kubernetes】升级调节：二进制文献形式安设 Kubernetes v1.25.4集群

　　基于 Azure DevOps 与阿里云 ACK 修筑企业级 CI/CD 流水线

　　闭于阿里云 Kubernetes 容器供职（ACK）增添镜像货仓的敏捷外明

　　Ray on ACK 最佳履行，保护 AI 数据管理/操练/推理等境遇的安完全署

　　智联任用 × 阿里云 ACK One：云端弹性算力倾覆古代 IDC 架构，打制春招身手新范式

　　智联任用 × 阿里云 ACK One：云端弹性算力倾覆古代 IDC 架构，打制春招身手新范式

　　《拥抱容器存储，利用阿里云容器供职 ACK +文献存储 NAS 修筑当代化企业操纵》

　　容器供职Serverless版ACK Serverless 敏捷初学：正在线魔方操纵计划和监控