Arquitetura do sistema de comércio algorítmico Anteriormente neste blog, escrevi sobre a arquitetura conceitual de um sistema de negociação algorítmico inteligente, bem como os requisitos funcionais e não funcionais de um sistema de negociação algorítmica de produção. Desde então, criei uma arquitetura de sistema que, acredito, poderia satisfazer esses requisitos arquitetônicos. Nesta publicação, descreverei a arquitetura seguindo as diretrizes do sistema ISOIECIEEE 42010 e padrão de descrição da arquitetura de engenharia de software. De acordo com este padrão, uma descrição de arquitetura deve: Conter várias visualizações arquitetônicas padronizadas (por exemplo, em UML) e Manter a rastreabilidade entre decisões de design e requisitos arquitetônicos. Definição de arquitetura de software Ainda não existe consenso sobre o que é uma arquitetura de sistemas. No contexto deste artigo, é definida como a infra-estrutura dentro da qual os componentes do aplicativo que satisfazem os requisitos funcionais podem ser especificados, implantados e executados. Os requisitos funcionais são as funções esperadas do sistema e seus componentes. Os requisitos não funcionais são medidas através das quais a qualidade do sistema pode ser medida. Um sistema que satisfaça plenamente seus requisitos funcionais ainda pode deixar de atender às expectativas se os requisitos não funcionais forem deixados insatisfeitos. Para ilustrar este conceito, considere o seguinte cenário: um sistema de negociação algorítmico que você acabou de comprar construído faz excelentes decisões de negociação, mas é completamente inoperável com os sistemas de gerenciamento de riscos e de gestão das organizações. Esse sistema atenderá às suas expectativas Arquitetura conceitual Uma visão conceitual descreve conceitos e mecanismos de alto nível que existem no sistema no mais alto nível de granularidade. Neste nível, o sistema de negociação algorítmica segue uma arquitetura orientada a eventos (EDA) dividida em quatro camadas e dois aspectos arquitetônicos. Para cada camada e referência de aspecto arquiteturas e padrões são usados. Padrões arquitetônicos são estruturas comprovadas e genéricas para alcançar requisitos específicos. Os aspectos arquitetônicos são preocupações transversais que abrangem múltiplos componentes. Arquitetura orientada a eventos - uma arquitetura que produz, detecta, consome e reage a eventos. Os eventos incluem movimentos do mercado em tempo real, eventos ou tendências complexas e eventos comerciais, e. Enviando um pedido. Este diagrama ilustra a arquitetura conceitual do sistema de negociação algorítmica Referência Arquiteturas Para usar uma analogia, uma arquitetura de referência é semelhante aos planos para uma parede de suporte de carga. Esta impressão em azul pode ser reutilizada para vários projetos de construção independentemente do edifício que está sendo construído, pois satisfaz um conjunto de requisitos comuns. Da mesma forma, uma arquitetura de referência define um modelo contendo estruturas genéricas e mecanismos que podem ser usados para construir uma arquitetura de software concreta que satisfaça os requisitos específicos. A arquitetura para o sistema de negociação algorítmica usa uma arquitetura baseada em espaço (SBA) e um controlador de exibição de modelo (MVC) como referências. São também utilizadas boas práticas, como o armazenamento de dados operacionais (ODS), o padrão de transformação e carregamento de extratos (ETL) e um data warehouse (DW). Controle de exibição de modelo - um padrão que separa a representação de informações da interação dos usuários com ela. Arquitetura baseada em espaço - especifica uma infra-estrutura onde as unidades de processamento acopladas vagamente interagem entre si através de uma memória associativa compartilhada chamada espaço (mostrado abaixo). Visão estrutural A visão estrutural de uma arquitetura mostra os componentes e subcomponentes do sistema de negociação algorítmica. Ele também mostra como esses componentes são implantados em infra-estrutura física. Os diagramas UML utilizados nesta visão incluem diagramas de componentes e diagramas de implantação. Abaixo está a galeria dos diagramas de implantação do sistema de negociação algorítmico geral e as unidades de processamento na arquitetura de referência SBA, bem como diagramas de componentes relacionados para cada uma das camadas. Táticas arquitetônicas De acordo com o instituto de engenharia de software, uma tática arquitetônica é um meio de satisfazer um requisito de qualidade, manipulando algum aspecto de um modelo de atributo de qualidade através de decisões de design arquitetônico. Um exemplo simples usado na arquitetura do sistema de negociação algorítmica é manipular uma loja de dados operacional (ODS) com um componente de consulta contínua. Este componente analisaria continuamente o ODS para identificar e extrair eventos complexos. As seguintes táticas são usadas na arquitetura: o padrão de disruptor nas filas de eventos e pedidos Memória compartilhada para as filas de eventos e pedidos Linguagem de consulta contínua (CQL) no ODS Filtragem de dados com o padrão de design de filtro em dados recebidos Algoritmos de evitação de congestionamentos em todos Conexões de entrada e saída Gerenciamento de fila ativa (AQM) e notificação de congestionamento explícito Recursos de computação de commodities com capacidade de atualização (escalável) Redundância ativa para todos os pontos de falha únicos Indicação e estruturas de persistência otimizadas no backup regular de dados e scripts de limpeza do ODS Schedule ODS Histórico de transações em todos os bancos de dados Súmrios para todas as ordens para detectar falhas Anotar eventos com timestamps para ignorar eventos obsoletos Regras de validação de pedidos, por exemplo, Quantidades de comércio máximo Componentes de comerciante automatizado usam um banco de dados em memória para análise Autenticação em dois estágios para interfaces de usuário conectando-se à ATs Criptografia em interfaces de usuário e conexões ao padrão de design ATs Observer para o MVC para gerenciar visualizações. A lista acima é apenas alguns design Decisões que identifiquei durante o desenho da arquitetura. Não é uma lista completa de táticas. À medida que o sistema está sendo desenvolvido, táticas adicionais devem ser empregadas em vários níveis de granularidade para atender aos requisitos funcionais e não funcionais. Abaixo estão três diagramas que descrevem o padrão de design do disruptor, o padrão de design do filtro e o componente de consulta contínua. Visão comportamental Esta visão de uma arquitetura mostra como os componentes e camadas devem interagir um com o outro. Isso é útil ao criar cenários para testar projetos de arquitetura e para entender o sistema de ponta a ponta. Essa visão consiste em diagramas de seqüência e diagramas de atividades. Diagramas de atividades que mostram o processo interno dos sistemas de negociação algorítmica e como os operadores devem interagir com o sistema de negociação algorítmica são mostrados abaixo. Tecnologias e estruturas O passo final na concepção de uma arquitetura de software é identificar possíveis tecnologias e estruturas que possam ser utilizadas para realizar a arquitetura. Como princípio geral, é melhor aproveitar as tecnologias existentes, desde que satisfaçam adequadamente os requisitos funcionais e não funcionais. Uma estrutura é uma arquitetura de referência realizada, e. JBoss é uma estrutura que realiza a arquitetura de referência JEE. As seguintes tecnologias e frameworks são interessantes e devem ser consideradas na implementação de um sistema de negociação algorítmica: CUDA - A NVidia possui uma série de produtos que suportam modelagem de finanças computacionais de alto desempenho. Pode-se alcançar até 50x melhorias no desempenho ao executar simulações de Monte Carlo na GPU em vez da CPU. Rio Apache - Rio é um kit de ferramentas usado para desenvolver sistemas distribuídos. Ele foi usado como uma estrutura para a construção de aplicativos com base no padrão SBA Apache Hadoop - no caso de registro invasivo ser um requisito, então o uso do Hadoop oferece uma solução interessante para o problema dos grandes dados. O Hadoop pode ser implantado em um ambiente em cluster que suporta tecnologias CUDA. AlgoTrader - uma plataforma de negociação algorítmica de código aberto. O AlgoTrader poderia ser implantado no lugar dos componentes do comerciante automatizado. FIX Engine - um aplicativo autônomo que aceita os protocolos do Financial Information Exchange (FIX), incluindo FIX, FAST e FIXatdl. Embora não seja uma tecnologia ou uma estrutura, os componentes devem ser criados com uma interface de programação de aplicativos (API) para melhorar a interoperabilidade do sistema e seus componentes. Conclusão A arquitetura proposta foi projetada para satisfazer requisitos muito genéricos identificados para sistemas de negociação algorítmica. De um modo geral, os sistemas de negociação algorítmica são complicados por três fatores que variam de acordo com cada implementação: Dependências em sistemas externos de negócios e de intercâmbio Desafio de requisitos não funcionais e Evolução de restrições arquitetônicas A arquitetura de software proposta deveria, portanto, ser adaptada caso a caso para Para satisfazer requisitos organizacionais e regulatórios específicos, bem como para superar restrições regionais. A arquitetura do sistema de negociação algorítmica deve ser vista como apenas um ponto de referência para indivíduos e organizações que desejam projetar seus próprios sistemas de negociação algorítmica. Para uma cópia completa e fontes usadas, baixe uma cópia do meu relatório. Obrigado. Como funciona uma arquitetura de sistema de comércio algorítmico. Na verdade, existem apenas 3 blocos principais em um sistema de comércio Algo. 1. Manipulador de dados de mercado (por exemplo, manipulador FAST) 2. Módulo de estratégia (por exemplo, estratégia crossOver) 3. Ordem roteador (por exemplo, roteador FIX) você pode adicionar verificações de risco no módulo de estratégia ou no módulo de roteador de pedidos ou ambos. Por enquanto, seu fluxo de dados está correto, você deve estar pronto para ir. Lembre-se de que você está projetando um ATS para uma latência mínima, e adicionar mais camadas ou complexidade virão ao custo da latência. Arquitetura mínima de ATS E se você adicionar os sinos e os assobios, pareceria o seguinte: se você também está interessado no meio da implementação da arquitetura acima, você deve manter as seguintes coisas em mente. Evite locksmutexes. No caso de você ter que usá-lo, tente substituí-los por estruturas sem trava usando atomics. Existem algumas bibliotecas disponíveis para estruturas de dados sem bloqueio (por exemplo, libcds, kit de concorrência etc.). C-11 suporta std :: atomic. E você deve se esforçar para usá-los também. Evite o que é feito no QuickFIX. É escrito para segurança de flexibilidade, pois a criação e destruição do objeto (bloqueio) é feita para cada invocação de qualquer mensagem para o roteador. Certamente, não há como escrever um código sensível à latência. Nenhuma alocação de memória em tempo de execução. O caminho de tempo de execução deve usar gerenciamento de memória personalizado e sem bloqueio com pool de memória pré-alocada. Toda a inicialização pode ser feita em construtores. Acoplamento apertado. O modelo de Threading, o modelo de IO e o gerenciamento de memória devem ser projetados para colaborar uns com os outros para alcançar o melhor desempenho geral. Isso vai contra o conceito OOP de acoplamento solto, mas é necessário evitar o custo de tempo de execução do polimorfismo dinâmico. Use modelos. Na mesma linha, eu também sugeriria que você olhasse para a C templatização para conseguir flexibilidade de código. Otimização do OSHardware: Finalmente, você deve procurar trabalhar com a placa de rede Linux RT Kernel e Solarflare com o driver OpenOnLoad para alcançar a latência mínima. Você pode olhar para isolar a CPU e executar seu programa nesse núcleo específico. E, finalmente, a API pública que você precisaria expor aos desenvolvedores de estratégias. Gostaria que este fosse o conjunto mínimo que encapsularia toda a complexidade desse intercâmbio particular. Class OrderRouter public: virtual bool sendNewOrd (OrderInfo) 0 virtual bool sendRplOrd (OrderInfo) 0 virtual bool sendCxlOrd (OrderInfo) 0 virtualBut isso significa que a Classe OrderInfo precisa ter TODOS os detalhes exigidos pelo destinoexchange. Em geral, os intercâmbios exigem o mesmo tipo de informação, mas, à medida que você acompanha e apoia mais experiências de intercâmbio, você se encontrará adicionando mais variáveis nesta classe. Os seguintes são os principais desafios que você precisa se perguntar: 1. arquitetura multiprocesso ou arquitetura Multi-Threaded. Seja para construir um processo monolítico com vários tópicos, ou escrever vários processos. O custo do processo múltiplo é a latência de passagem de mensagem, enquanto o custo do processo único de thread múltiplo é que qualquer falha pode reduzir o sistema inteiro. 2. Mensagem que passa: enquanto você pode escolher uma infinidade de opções, você está restrito por consideração de latência. O IPC mais rápido seria a memória compartilhada, mas então, como você faria a sincronização passar algum tempo com essas duas perguntas, porque elas seriam o bloco de construção em que sua arquitetura se encontra. Editar: FIX e FAST Em relação ao protocolo popularstandard, o FIX é para enviar ordens e o FAST é para dados de mercado. Dito isto, a maioria das trocas tem seu próprio protocolo nativo, que é mais rápido que o FIX, porque o FIX geralmente é implementado em cima do seu protocolo nativo. Mas eles ainda suportam o FIX para aumentar a velocidade de implantação. Por outro lado, enquanto o FIX é adotado pela maior parte das trocas, o FAST não possui uma ampla aceitação. Se alguma coisa, haveria apenas um punhado de troca adotando-o. A maioria deles envia o próprio FIX (baixa latência) ou usa seu próprio protocolo binário nativo. por exemplo. Na Índia, NSE, BSE e MCXMCXSX, todas as três trocas fornecem o protocolo FIX, além do protocolo nativo, mas apenas a BSE oferece FAST para dados de mercado. E isso também está passando de FAST para nativo com a introdução do EOBI. Você pode extrapolar o mesmo para outras trocas. Como John mencionou, a OMS é o cerne de qualquer plataforma de negociação e você deve começar a pesquisar sobre isso. Você precisaria gastar tempo para determinar seu ciclo de vida comercial, eventos e recursos que deseja inserir no OMS e aqueles que você deseja que seu Algo Engine lide. A Metcetera oferece uma OMS de código aberto, eu não usei isso pessoalmente, mas é uma das poucas no mercado. A próxima coisa que você deve observar é fornecer uma interface para a fonte de dados e empurrá-la. Isto é para um sistema de entrada de pedido de cliente para lançar os detalhes da ordem e o mecanismo da Algo para gerá-lo. Muitas Sales Side OMS039s usam uma combinação de programas proprietários escritos em JavaC usando o FIX. O protocolo FIX permite que você comunique em tempo real em todos os sistemas em um formato de mensagem pré-definido de amplificador simplificado estabelecido pela comunidade de protocolo FIX. Vá para a página inicial do Organismo de Protocolo FIX para obter mais informações sobre isso. Também olha para o Open Source FIX Engine. Uma implementação de fonte aberta do mecanismo FIX. Em seguida, vem uma interface de dados de mercado para obter informações sobre o mercado de segurança do tempo em tempo real, os dados que variam de HighLowOpenClose ao Best BidBest Ask, Volume negociado total, Último preço, Último volume, Citações de lances, Pedir orçamentos, etc. As informações que você procura realmente dependem do tipo de Estratégia que deseja implementar. Eu acredito que o Interactive Broker fornece um feed de dados em tempo real via FIX. A conectividade do Exchange é a próxima onde o Algo interpreta os sinais, cria um pedido e roteia para um Exchange ou ECN. Desenvolvê-lo em casa pode ser difícil, pois você precisaria trabalhar com a associação do Exchange, certificar sua plataforma e pagar uma taxa de associação regular. Uma maneira mais barata é usar uma API de corretor (como IB) e rotear a ordem através delas. Os dados históricos também são essenciais, pois você pode querer comparar o comportamento atual do mercado com seus valores históricos. Parámetros como spread médio, perfis VWAP, volume diário médio etc. podem ser necessários para influenciar a tomada de decisões. Você pode tê-lo no banco de dados (preferido), mas se a velocidade da essência, então baixe-o no cache do servidor quando você inicia seu programa. Uma vez que seus sistemas periféricos estão configurados, você pode começar a desenvolver seu programa de algo da maneira que você deseja que ele funcione. Esta infra-estrutura básica permitiria que você insira uma ordem de algo pai, lesse dados de mercado, reaja aos sinais, mas gerando ordens para crianças e colocando no livro de pedidos de câmbio e dados históricos para influenciar a tomada de decisões. O OMS mantém a ligação entre a ordem do filho amador principal, seus status em tempo real e atualizações pela plataforma de conectividade de troca ou algo. O que você deseja implementar no interior do Algo é completamente para você. Arquitetura do Sistema de NegociaçãoAlgorítrica A negociação automatizada algorítmica ou a Negociação Algorítica tem estado no centro do mundo comercial há alguns anos. A percentagem de volumes atribuídos a esta forma de negociação vem aumentando nos últimos anos. Como resultado, tornou-se um mercado altamente competitivo que é fortemente dependente da tecnologia. Conseqüentemente, a arquitetura básica sofreu grandes mudanças ao longo da última década e continua a fazê-lo. Hoje é uma necessidade de inovar em tecnologia para competir no mundo da negociação algorítmica, tornando-se um viveiro de avanços nas tecnologias de computadores e redes. Arquitetura tradicional Qualquer sistema comercial, conceitualmente, não passa de um bloco computacional que interage com a troca em dois fluxos diferentes. Recebe dados de mercado Envia solicitações de pedidos e recebe respostas da troca. Os dados de mercado que são recebidos normalmente informam o sistema do último livro de pedidos. Pode conter algumas informações adicionais, como o volume negociado até agora, o último preço e quantidade negociada para um script. No entanto, para tomar uma decisão sobre os dados, o comerciante pode precisar analisar valores antigos ou derivar determinados parâmetros do histórico. Para atender a isso, um sistema convencional teria um banco de dados histórico para armazenar os dados do mercado e ferramentas para usar esse banco de dados. A análise também envolveria um estudo das tradições passadas pelo comerciante. Daí, outro banco de dados para armazenar as decisões comerciais também. Por último, mas não menos importante, uma interface GUI para o comerciante visualizar todas essas informações na tela. Todo o sistema agora pode ser dividido em A (s) troca (s) do mundo externo O servidor Dados do mercado recebem Dados do mercado da loja Armazenar ordens geradas pelo usuário Aplicação Pegue as entradas do usuário, incluindo as decisões comerciais Interface para visualizar as informações, incluindo os dados e Ordens Um gerente de pedidos enviando ordens para a troca. Nova arquitetura A arquitetura tradicional não pode aumentar as necessidades e exigências da negociação automatizada com DMA. A latência entre a origem do evento para a geração da ordem foi além da dimensão do controle humano e entrou nos reinos de milissegundos e microssegundos. Assim, as ferramentas para lidar com os dados do mercado e analisá-lo precisavam se adaptar de acordo. O gerenciamento de pedidos também precisa ser mais robusto e capaz de lidar com mais pedidos por segundo. Uma vez que o período de tempo é tão pequeno em comparação com o tempo de reação humano, o gerenciamento de riscos também precisa lidar com pedidos em tempo real e de forma completamente automática. Por exemplo, mesmo se o tempo de reação para uma ordem for 1 milissegundo (o que é muito comparado às latências que vemos hoje), o sistema ainda é capaz de fazer 1000 decisões comerciais em um único segundo. Isso significa que cada uma dessas 1000 decisões comerciais deve passar pelo Gerenciamento de Riscos no mesmo segundo para alcançar a troca. Este é apenas um problema de complexidade. Uma vez que a arquitetura agora envolve lógica automatizada, 100 comerciantes agora podem ser substituídos por um único sistema. Isso adiciona escala ao problema. Então, cada uma das unidades lógicas gera 1000 ordens e 100 dessas unidades significam 100.000 pedidos a cada segundo. Isso significa que a tomada de decisão e a peça de envio de pedidos precisam ser muito mais rápidas do que o receptor de dados de mercado, de modo a combinar a taxa de dados. Por isso, o nível de infra-estrutura que este módulo exige deve ser muito superior em comparação com o de um sistema tradicional (discutido na seção anterior). Daí o motor que executa a lógica da tomada de decisão, também conhecido como o mecanismo complexo de processamento de eventos, ou CEP, passou do aplicativo para o servidor. A camada de aplicação, agora, é pouco mais do que uma interface de usuário para visualizar e fornecer parâmetros para o CEP. O problema da escala também leva a uma situação interessante. Digamos que 100 lógicas diferentes estão sendo executadas em um evento de dados de mercado único (como discutido no exemplo anterior). No entanto, pode haver peças comuns de cálculos complexos que precisam ser executados para a maioria das 100 unidades lógicas. Por exemplo, cálculo de gregos para opções. Se cada lógica funcionasse de forma independente, cada unidade faria o mesmo cálculo grega que iria desnecessariamente usar os recursos do processador. Para otimizar a redundância do cálculo, os cálculos redundantes complexos geralmente são transferidos para um mecanismo de cálculo separado que fornece os gregos como uma entrada para o CEP. Embora a camada de aplicação seja principalmente uma visão, algumas das verificações de risco (que agora são operações com fome de recursos devido ao problema da escala), podem ser descarregadas para a camada de aplicação, especialmente aquelas que estão relacionadas com sanidade de entradas de usuários como o dedo gordo Erros. O resto das verificações de risco são realizadas agora por um Sistema de Gerenciamento de Risco (RMS) separado no Gerenciador de Pedidos (OM), imediatamente antes de liberar um pedido. O problema da escala também significa que, quando anteriormente, havia 100 comerciantes diferentes gerenciando seus riscos, agora existe apenas um sistema RMS para gerenciar riscos em todas as estratégias de unidades lógicas. No entanto, algumas verificações de risco podem ser específicas para certas estratégias e algumas talvez precisem ser feitas em todas as estratégias. Daí o RMS em si envolve, nível de estratégia RMS (SLRMS) e RMS global (GRMS). Também pode envolver uma UI para visualizar o SLRMS e o GRMS. Emergência de protocolos Com as inovações são necessárias. Uma vez que a nova arquitetura foi capaz de dimensionar muitas estratégias por servidor, surgiu a necessidade de se conectar a vários destinos a partir de um único servidor. Assim, o gerente de pedidos hospedou vários adaptadores para enviar pedidos para vários destinos e receber dados de várias trocas. Cada adaptador atua como um intérprete entre o protocolo que é entendido pela troca e o protocolo de comunicação dentro do sistema. Intercâmbios múltiplos significam adaptadores múltiplos. No entanto, para adicionar uma nova troca ao sistema, um novo adaptador deve ser projetado e conectado à arquitetura, uma vez que cada troca segue seu único protocolo otimizado para recursos que essa troca fornece. Para evitar esse incômodo de adição de adaptador, os protocolos padrão foram projetados. O mais proeminente entre eles é o protocolo FIX (Financial Information Exchange). Isso não só torna mais fácil a conexão com diferentes destinos, mas também reduz-se drasticamente ao mercado quando se trata de conectar-se com um novo destino. A presença de protocolos padrão facilita a integração com fornecedores de terceiros, também para análises ou feeds de dados de mercado. Como resultado, o mercado torna-se muito eficiente como a integração com um novo destinatário não é mais uma restrição. Além disso, a simulação torna-se muito fácil, pois receber dados do mercado real e enviar ordens para um simulador é apenas uma questão de usar o protocolo FIX para se conectar a um simulador. O próprio simulador pode ser construído internamente ou adquirido de um fornecedor de terceiros. Os dados gravados da mesma forma podem ser reproduzidos com os adaptadores sendo agnósticos para saber se os dados estão sendo recebidos do mercado ao vivo ou de um conjunto de dados gravados. Emergência de arquiteturas de baixa latência Com os blocos de construção de um sistema de negociação algorítmico no local, as estratégias otimizadas na capacidade de processar enormes quantidades de dados em tempo real e tomar decisões comerciais rápidas. Mas com o advento de protocolos de comunicação padrão como FIX, a barreira de entrada de tecnologia para configurar uma mesa de negociação algorítmica, tornou-se menor e, portanto, mais competitivo. À medida que os servidores obtiveram mais memória e freqüências de clock mais altas, o foco mudou para reduzir a latência para a tomada de decisões. Ao longo do tempo, a redução da latência tornou-se uma necessidade por muitas razões, como: A estratégia faz sentido apenas em um ambiente de baixa latência. Sobrevivência dos competidores mais aptos escolhe-o se você não for rápido o suficiente. O problema é que a latência é realmente um termo abrangente que abrange vários Diferentes atrasos. Para quantificar todos eles em um termo genérico, geralmente não faz muito sentido. Embora seja muito fácil de entender, é bastante difícil quantificar. Portanto, torna-se cada vez mais importante como o problema da redução da latência é abordado. Se olharmos para o ciclo de vida básico, um pacote de dados de mercado é publicado pela troca. O pacote viaja pelo fio. O pacote chega a um roteador no lado do servidor. O roteador encaminha o pacote pela rede do lado do servidor. O pacote chega na porta Ethernet do servidor. Dependendo se este é o processamento UDPTCP ocorre e o pacote despojado de seus cabeçalhos e trailers faz o caminho para a memória do adaptador. O adaptador então analisa o pacote e converte-o em um formato interno para a plataforma de negociação algorítmica. Este pacote agora viaja através dos vários módulos do sistema CEP, marca de loja, etc. O CEP analisa e envia uma solicitação de pedido. A solicitação de pedido passa novamente O inverso do ciclo como o pacote de dados do mercado. A alta latência em qualquer uma dessas etapas garante uma alta latência durante todo o ciclo. Assim, a otimização de latência geralmente começa com o primeiro passo neste ciclo que está no nosso controle, ou seja, o pacote viaja através do fio. A coisa mais fácil de fazer aqui seria encurtar a distância até o destino, tanto quanto possível. Colocações são instalações fornecidas por trocas para hospedar o servidor de negociação nas proximidades da troca. O diagrama a seguir ilustra os ganhos que podem ser feitos cortando a distância. Para qualquer tipo de estratégia de alta freqüência envolvendo um único destino, Colocation tornou-se um facto deve. No entanto, as estratégias que envolvem vários destinos precisam de um planejamento cuidadoso. Vários fatores, como o tempo gasto pelo destino para responder aos pedidos de pedidos e sua comparação com o tempo de ping entre os dois destinos, devem ser considerados antes de tomar essa decisão. A decisão também pode depender da natureza da estratégia. A latência da rede geralmente é o primeiro passo na redução da latência geral de um sistema de comércio algorítmico. No entanto, existem muitos outros locais onde a arquitetura pode ser otimizada. Tempo de latência de propagação levado para enviar os bits ao longo do fio. Conduzido pela velocidade da luz, é claro. Foram introduzidas várias otimizações para reduzir a latência de propagação além de reduzir a distância física. Por exemplo, o tempo estimado de ida e volta para um cabo comum entre Chicago e Nova York é de 13,1 milissegundos. As redes de propagação, em outubro de 2012, anunciaram melhorias de latência. Trazendo o tempo estimado de ida e volta para 12,98 milissegundos. A comunicação por microondas foi adotada ainda mais por empresas como Tradeworx, trazendo o tempo estimado de ida e volta para 8,5 milissegundos. Observe que o mínimo teórico é de cerca de 7,5 milissegundos. As inovações contínuas estão empurrando os limites da ciência e alcançando rapidamente o limite teórico da velocidade da luz. Os últimos desenvolvimentos na comunicação com laser, adotados anteriormente em tecnologias de defesa, afastaram ainda mais uma latência já diluída por nanosegundos em curtas distâncias. Latência de processamento de rede introduzida por roteadores, switches, etc. O próximo nível de otimização na arquitetura de um sistema de negociação algorítmico seria o número de lúpulos que um pacote levaria para viajar do ponto A ao ponto B. Um salto é definido como Uma parte do caminho entre a fonte eo destino durante o qual um pacote não passa por um dispositivo físico como um roteador ou um switch. Por exemplo, um pacote pode percorrer a mesma distância através de dois caminhos diferentes. Mas pode ter dois saltos no primeiro caminho versus 3 saltos no segundo. Assumindo que o atraso de propagação é o mesmo, os roteadores e switches introduzem sua própria latência e geralmente como uma regra de polegar, mais o lúpulo é a latência adicionada. A latência do processamento de rede também pode ser afetada pelo que chamamos microbursts. Microbursts são definidos como um aumento súbito da taxa de transferência de dados que pode não afetar necessariamente a taxa média de transferência de dados. Uma vez que os sistemas de negociação algorítmica são baseados em regras, todos esses sistemas reagirão ao mesmo evento da mesma maneira. Como resultado, muitos sistemas participantes podem enviar ordens que levam a uma onda repentina de transferência de dados entre os participantes e o destino que leva a um microburst. O diagrama a seguir representa o que é um microburst. A primeira figura mostra uma visão de 1 segundo da taxa de transferência de dados. Podemos ver que a taxa média está bem abaixo da largura de banda disponível de 1Gbps. No entanto, se mergulhar mais profundamente e olhar a imagem de segundos (a vista de 5 milissegundos), vemos que a taxa de transferência aumentou acima da largura de banda disponível várias vezes por segundo. Como resultado, os buffers de pacotes na pilha de rede, tanto nos pontos de extremidade da rede quanto nos roteadores e switches, podem transbordar. Para evitar isso, normalmente uma largura de banda muito superior à taxa média observada é geralmente alocada para um sistema de comércio algorítmico. Tempo de latência de serialização necessário para puxar os bits para dentro e fora do fio. Um tamanho de pacote de 1500 bytes transmitidos em uma linha T1 (1.544.000 bps) produziria um atraso de serialização de cerca de 8 milissegundos. No entanto, o mesmo pacote de 1500 bytes usando um modem de 56K (57344bps) levaria 200 milissegundos. Uma linha Ethernet 1G reduziria essa latência para cerca de 11 microssegundos. Latência de interrupção introduzida por interrupções ao receber os pacotes em um servidor. A latência de interrupção é definida como o tempo decorrido entre quando uma interrupção é gerada quando a fonte da interrupção é atendida. Quando uma interrupção é gerada, as interrupções são sinais para o processador emitido por hardware ou software, indicando que um evento precisa de atenção imediata. O processador, por sua vez, responde suspendendo sua atividade atual, salvando seu estado e lendo a interrupção. Sempre que um pacote é recebido no NIC, uma interrupção é enviada para lidar com os bits que foram carregados no buffer de recebimento da NIC. O tempo necessário para responder a esta interrupção não afeta apenas o processamento da nova carga útil, mas também a latência dos processos existentes no processador. O Solarflare introduziu onload aberto em 2011, que implementa uma técnica conhecida como bypass do kernel, onde o processamento do pacote não é deixado para o kernel do sistema operacional, mas para o próprio espaço de usuários. Todo o pacote é diretamente mapeado para o espaço do usuário pela NIC e é processado lá. Como resultado, as interrupções são completamente evitadas. Como resultado, a taxa de processamento de cada pacote é acelerada. O diagrama a seguir demonstra claramente as vantagens do bypass do kernel. Tempo de latência de aplicação aceito pelo aplicativo para processar. Isso depende dos vários pacotes, do processamento alocado para a lógica do aplicativo, da complexidade do cálculo envolvido, da eficiência da programação, etc. O aumento do número de processadores no sistema, em geral, reduzirá a latência da aplicação. Same is the case with increased clock frequency. A lot of algorithmic trading systems take advantage of dedicating processor cores to essential elements of the application like the strategy logic for eg. This avoids the latency introduced by the process switching between cores. Similarly, if the programming of the strategy has been done keep in mind the cache sizes and locality of memory access, then there would be a lot of memory cache hits resulting further reduction of latency. To facilitate this, a lot of system use very low level programming languages to optimize the code to the specific architecture of the processors. Some firms have even gone to the extent of burning complex calculations onto hardware using Fully Programmable Gate Arrays (FPGA). With increasing complexity comes increasing cost and the following diagram aptly illustrates this. Levels of sophistication The world of high frequency algorithmic trading has entered an era of intense competition. With each participant adopting new methods of ousting the competition, technology has progressed by leaps and bounds. Modern day algorithmic trading architectures are quite complex compared to their early stage counterparts. Accordingly, advanced systems are more expensive to build both in terms of time and money.
No comments:
Post a Comment