The design of the structure of Treelogic’s Big Data system will always meet the demands of the different types of data processing.
TREELOGIC TEAM | 25/01/2019
The millions of pieces of data that are currently generated in the digital age would be of no use without systems to channel all that information. The group of technologies that enables the mass processing of this data set is what is known as Big Data.
The Internet of Things, the concept of interconnections between devices that we have already dealt with more than once in this blog, results in the sending and receiving of data being continuous and almost unlimited. This concept is known as data streaming. As we can see, we are dealing with a colossal amount of information which needs very well structured planning and organising to ensure that the data storage, transmission and analysis processes are as fast as they are efficient.
At Treelogic we know very well how Big Data architectures are built. We have completed a large number of projects related to this technology, such as the analysis and detection of fraudulent networks, the monitoring and locating of customer products in real time, and the labelling and classification of bank transactions. This experience has allowed us to become a benchmark in the field of digital transformation.
Our team is a multidisciplinary group comprised of talented professionals with extensive experience who are able to adapt to any customer needs. The design of the structure of Treelogic’s Big Data system will always meet the demands of the different types of data processing. The volume, type of synchronisation and information source, among many other factors, make each project unique and with specific features, which we fully take into account..
Before beginning any project related to Big Data, the sources of the data that we are going to gather must be clearly identified. It is essential to precisely identify where we will obtain this data from, in order to define the Big Data architecture. Regardless of whether the source is internal or external, Big Data systems must gather all the information stored in the data centres to quickly process it, and in this way obtain analyses proving to be of great value when it comes to meeting the previously established goals.
The type of transmission between emitter and receiver must also be taken into account, as well as how this affects the particular use in question. There are times when communication is synchronous, in other words, the communication between both systems is direct and in real time. However, in other cases the information reaches our systems after it is generated. This is asynchronous information. When processing a bank charge, for example, it is not the same to record this at the very instant it is actually produced and do this once our systems finish processing it. Here, one situation could lead to an overdraft and therefore a penalty for the customer.
Data storage is another of the basic factors for any Big Data architecture. The information for the multiple operations that take place in a structure of this type is deposited in the data centres and must be transmitted in a swift and secure manner. This way, we can ensure that the transmission of the information is efficient within the entire Big Data architecture.
However, there are different information storage configurations depending on the type of data source and/or later processing or exploitation needs, For example, when processing streaming data, the storage layer must have minimal latency, and our system must ensure that once it has captured the piece of data and stored it, it is not lost under any circumstance and is immediately available to the other systems, in other words, guaranteeing fault tolerance, availability and accessibility to the piece of data. In other cases, if a study or analysis of, say, customer networks is necessary, it is advisable for the information to be stored as graphs, as well as being stored as raw data.
The third layer in our standard design of a Big Data architecture is the processing, which also depends on the project and its needs. If the data set is very large and there is no need for a real-time response, the best option would be to work with distributed and parallel processing tools, such as Apache Spark. Another option is for the processing to be in real time, for the data to immediately reach the analysis layer, in order to further speed up the process. In this case we would use tools purely based on data streaming, such as Apache Flink or Apache Storm.
Another series of essential points in any Big Data architecture are:
La visión artificial es una disciplina muy amplia que tiene múltiples usos. En este caso, nos centraremos en las aplicaciones en el ámbito industrial y, más concretamente, en el relevante papel que ocupan los servicios de visión artificial en la Industria 4.0.
El concepto de Industria 4.0 trata de reflejar la nueva evolución de la industria apoyada en soluciones tecnológicas e innovadoras conocidas como “habilitadores digitales”. La visión estratégica del concepto Industria 4.0 recalca la importancia de convertir cualquier industria en una factoría de datos capaz de gestionar y automatizar eficientemente sus procesos productivos, independientemente del sector de negocio.
Que una industria pueda adquirir el estatus de factoría de datos conlleva que sea capaz de digitalizar las actividades de sus procesos y convertir los datos que maneja en conocimiento útil para la toma de decisiones. Es necesario recalcar la importancia de convertir datos en conocimiento, ya que recopilar información de un proceso es condición necesaria pero no suficiente para mejorar el mismo.
En este ámbito, la información no estructurada que proviene de imágenes o archivos de vídeo aporta innumerables oportunidades para adquirir el máximo conocimiento de un determinado proceso. A diferencia del resto de información estructurada generada por sensores con la que puede contar una empresa, tanto las imágenes como los vídeos deben ser procesados y analizados previamente a ser incorporados a un sistema de control, a un sistema de apoyo a la decisión o a una solución específica de Business Intelligence.
Aquellos proveedores tecnológicos que sean capaces de construir soluciones que asimilen la información contenida en una imagen de forma similar a nuestra percepción visual, tendrán una posición predominante como habilitadores digitales en la industria 4.0.
La aproximación de Treelogic en este campo consiste en combinar técnicas de Visión Artificial con Aprendizaje Automático. Las soluciones desarrolladas a partir de esta combinación presentan un importante potencial, dado que pueden ser aplicadas tanto a diferentes sectores, como a diferentes problemáticas, yendo un paso más allá de las limitaciones propias de las técnicas tradicionales de análisis de imagen.
Treelogic ha apostado por personal especializado en estas dos disciplinas trabajando de forma colaborativa. Gracias a ello, es posible afrontar proyectos complejos en los que, partiendo de un análisis del aspecto, forma y tamaño de aquello que se quiera analizar (personas, objetos, vehículos, máquinas, infraestructuras, etc.), se llegue a interpretar y predecir los comportamientos que están teniendo lugar, utilizando para ello los movimientos, posturas, dinámicas o tendencias que se adoptan a lo largo del tiempo.
La inversión de todo tipo de industrias en esta tecnología, especializada en la interpretación de imágenes o vídeos, desencadena ventajas competitivas evidentes, pudiendo traducirse en mejoras de procesos, ahorro de costes o adaptación de los puestos de trabajo tradicionales, en favor de actividades con una especialización digital y tecnológica que favorezca el nivel de automatización y control de la industria.
Sobre este último punto, es relevante hacer hincapié en el valor añadido que aporta esta transición tecnológica a los empleados, dado que su trabajo estará apoyado por soluciones tecnológicas que facilitan sus tareas, aumentan la eficiencia de los procesos, incrementan los niveles de seguridad y automatizan al máximo posible las actividades industriales.
Por tanto, es evidente concluir que no hay un único camino para adoptar medidas innovadoras en el sector industrial, ni todas las soluciones tienen el mismo encaje en cualquier ámbito, sino que para cada empresa se debe planificar un planteamiento y estrategia de innovación adaptado a su operativa, en el cual los servicios que se desplieguen se encuentren totalmente personalizados para los requisitos de funcionamiento y resultados esperados en cada caso.
En este sentido, Treelogic, como proveedor tecnológico, actúa como motor del cambio ante determinadas situaciones o problemáticas, aplicando una filosofía de desarrollo ágil, flexible y adaptado a las necesidades de cada uno de sus clientes. El objetivo principal de nuestra actuación es conocer su operativa interna e involucrarnos en sus necesidades reales, de tal modo que sea posible construir soluciones personalizadas sustentadas por el uso de las tecnologías que mejor se adecúen, evitando sistemas rígidos o generalistas.
Nuestra concepción se basa en dar respuesta mediante solucionas innovadoras y personalizadas a retos actuales de las industrias, creando un marco común de trabajo que facilite el diálogo y entendimiento entre expertos tecnólogos y responsables de fabricación o negocio. Consideramos que esta forma de trabajar y relacionarse con nuestros clientes permite acometer con éxito proyectos que busquen optimizar procesos productivos y obtener la máxima rentabilidad de los recursos humanos y materiales con los que se cuenta.
En este marco de trabajo, procesos de trazabilidad, control de calidad, mantenimiento predictivo, soporte a la producción, seguridad industrial, control de procesos, logística, medición, detección de presencia, guiado o caracterización de comportamientos tienen un amplio abanico de posibilidades mediante la aplicación de técnicas de Visión Artificial combinadas con estrategias de Inteligencia Artificial y Aprendizaje Automático.
For any project related to Big Data, the type of data that is going to be worked with is one of the key points. There are many categories of data, but categorisations related to their source and structure are the most common. Creating these categories helps make the great complexity of Big Data structures easier to understand.
Under this parameter, we can group data into three clearly differentiated types:
La visión artificial es una disciplina muy amplia que tiene múltiples usos. En este caso, nos centraremos en las aplicaciones en el ámbito industrial y, más concretamente, en el relevante papel que ocupan los servicios de visión artificial en la Industria 4.0.
El concepto de Industria 4.0 trata de reflejar la nueva evolución de la industria apoyada en soluciones tecnológicas e innovadoras conocidas como “habilitadores digitales”. La visión estratégica del concepto Industria 4.0 recalca la importancia de convertir cualquier industria en una factoría de datos capaz de gestionar y automatizar eficientemente sus procesos productivos, independientemente del sector de negocio.
Que una industria pueda adquirir el estatus de factoría de datos conlleva que sea capaz de digitalizar las actividades de sus procesos y convertir los datos que maneja en conocimiento útil para la toma de decisiones. Es necesario recalcar la importancia de convertir datos en conocimiento, ya que recopilar información de un proceso es condición necesaria pero no suficiente para mejorar el mismo.
En este ámbito, la información no estructurada que proviene de imágenes o archivos de vídeo aporta innumerables oportunidades para adquirir el máximo conocimiento de un determinado proceso. A diferencia del resto de información estructurada generada por sensores con la que puede contar una empresa, tanto las imágenes como los vídeos deben ser procesados y analizados previamente a ser incorporados a un sistema de control, a un sistema de apoyo a la decisión o a una solución específica de Business Intelligence.
Aquellos proveedores tecnológicos que sean capaces de construir soluciones que asimilen la información contenida en una imagen de forma similar a nuestra percepción visual, tendrán una posición predominante como habilitadores digitales en la industria 4.0.
La aproximación de Treelogic en este campo consiste en combinar técnicas de Visión Artificial con Aprendizaje Automático. Las soluciones desarrolladas a partir de esta combinación presentan un importante potencial, dado que pueden ser aplicadas tanto a diferentes sectores, como a diferentes problemáticas, yendo un paso más allá de las limitaciones propias de las técnicas tradicionales de análisis de imagen.
Treelogic ha apostado por personal especializado en estas dos disciplinas trabajando de forma colaborativa. Gracias a ello, es posible afrontar proyectos complejos en los que, partiendo de un análisis del aspecto, forma y tamaño de aquello que se quiera analizar (personas, objetos, vehículos, máquinas, infraestructuras, etc.), se llegue a interpretar y predecir los comportamientos que están teniendo lugar, utilizando para ello los movimientos, posturas, dinámicas o tendencias que se adoptan a lo largo del tiempo.
La inversión de todo tipo de industrias en esta tecnología, especializada en la interpretación de imágenes o vídeos, desencadena ventajas competitivas evidentes, pudiendo traducirse en mejoras de procesos, ahorro de costes o adaptación de los puestos de trabajo tradicionales, en favor de actividades con una especialización digital y tecnológica que favorezca el nivel de automatización y control de la industria.
Sobre este último punto, es relevante hacer hincapié en el valor añadido que aporta esta transición tecnológica a los empleados, dado que su trabajo estará apoyado por soluciones tecnológicas que facilitan sus tareas, aumentan la eficiencia de los procesos, incrementan los niveles de seguridad y automatizan al máximo posible las actividades industriales.
Por tanto, es evidente concluir que no hay un único camino para adoptar medidas innovadoras en el sector industrial, ni todas las soluciones tienen el mismo encaje en cualquier ámbito, sino que para cada empresa se debe planificar un planteamiento y estrategia de innovación adaptado a su operativa, en el cual los servicios que se desplieguen se encuentren totalmente personalizados para los requisitos de funcionamiento y resultados esperados en cada caso.
En este sentido, Treelogic, como proveedor tecnológico, actúa como motor del cambio ante determinadas situaciones o problemáticas, aplicando una filosofía de desarrollo ágil, flexible y adaptado a las necesidades de cada uno de sus clientes. El objetivo principal de nuestra actuación es conocer su operativa interna e involucrarnos en sus necesidades reales, de tal modo que sea posible construir soluciones personalizadas sustentadas por el uso de las tecnologías que mejor se adecúen, evitando sistemas rígidos o generalistas.
Nuestra concepción se basa en dar respuesta mediante solucionas innovadoras y personalizadas a retos actuales de las industrias, creando un marco común de trabajo que facilite el diálogo y entendimiento entre expertos tecnólogos y responsables de fabricación o negocio. Consideramos que esta forma de trabajar y relacionarse con nuestros clientes permite acometer con éxito proyectos que busquen optimizar procesos productivos y obtener la máxima rentabilidad de los recursos humanos y materiales con los que se cuenta.
En este marco de trabajo, procesos de trazabilidad, control de calidad, mantenimiento predictivo, soporte a la producción, seguridad industrial, control de procesos, logística, medición, detección de presencia, guiado o caracterización de comportamientos tienen un amplio abanico de posibilidades mediante la aplicación de técnicas de Visión Artificial combinadas con estrategias de Inteligencia Artificial y Aprendizaje Automático.
On the other hand, if we organise information from the standpoint of its origin, we obtain five data sources:
La visión artificial es una disciplina muy amplia que tiene múltiples usos. En este caso, nos centraremos en las aplicaciones en el ámbito industrial y, más concretamente, en el relevante papel que ocupan los servicios de visión artificial en la Industria 4.0.
El concepto de Industria 4.0 trata de reflejar la nueva evolución de la industria apoyada en soluciones tecnológicas e innovadoras conocidas como “habilitadores digitales”. La visión estratégica del concepto Industria 4.0 recalca la importancia de convertir cualquier industria en una factoría de datos capaz de gestionar y automatizar eficientemente sus procesos productivos, independientemente del sector de negocio.
Que una industria pueda adquirir el estatus de factoría de datos conlleva que sea capaz de digitalizar las actividades de sus procesos y convertir los datos que maneja en conocimiento útil para la toma de decisiones. Es necesario recalcar la importancia de convertir datos en conocimiento, ya que recopilar información de un proceso es condición necesaria pero no suficiente para mejorar el mismo.
En este ámbito, la información no estructurada que proviene de imágenes o archivos de vídeo aporta innumerables oportunidades para adquirir el máximo conocimiento de un determinado proceso. A diferencia del resto de información estructurada generada por sensores con la que puede contar una empresa, tanto las imágenes como los vídeos deben ser procesados y analizados previamente a ser incorporados a un sistema de control, a un sistema de apoyo a la decisión o a una solución específica de Business Intelligence.
Aquellos proveedores tecnológicos que sean capaces de construir soluciones que asimilen la información contenida en una imagen de forma similar a nuestra percepción visual, tendrán una posición predominante como habilitadores digitales en la industria 4.0.
La aproximación de Treelogic en este campo consiste en combinar técnicas de Visión Artificial con Aprendizaje Automático. Las soluciones desarrolladas a partir de esta combinación presentan un importante potencial, dado que pueden ser aplicadas tanto a diferentes sectores, como a diferentes problemáticas, yendo un paso más allá de las limitaciones propias de las técnicas tradicionales de análisis de imagen.
Treelogic ha apostado por personal especializado en estas dos disciplinas trabajando de forma colaborativa. Gracias a ello, es posible afrontar proyectos complejos en los que, partiendo de un análisis del aspecto, forma y tamaño de aquello que se quiera analizar (personas, objetos, vehículos, máquinas, infraestructuras, etc.), se llegue a interpretar y predecir los comportamientos que están teniendo lugar, utilizando para ello los movimientos, posturas, dinámicas o tendencias que se adoptan a lo largo del tiempo.
La inversión de todo tipo de industrias en esta tecnología, especializada en la interpretación de imágenes o vídeos, desencadena ventajas competitivas evidentes, pudiendo traducirse en mejoras de procesos, ahorro de costes o adaptación de los puestos de trabajo tradicionales, en favor de actividades con una especialización digital y tecnológica que favorezca el nivel de automatización y control de la industria.
Sobre este último punto, es relevante hacer hincapié en el valor añadido que aporta esta transición tecnológica a los empleados, dado que su trabajo estará apoyado por soluciones tecnológicas que facilitan sus tareas, aumentan la eficiencia de los procesos, incrementan los niveles de seguridad y automatizan al máximo posible las actividades industriales.
Por tanto, es evidente concluir que no hay un único camino para adoptar medidas innovadoras en el sector industrial, ni todas las soluciones tienen el mismo encaje en cualquier ámbito, sino que para cada empresa se debe planificar un planteamiento y estrategia de innovación adaptado a su operativa, en el cual los servicios que se desplieguen se encuentren totalmente personalizados para los requisitos de funcionamiento y resultados esperados en cada caso.
En este sentido, Treelogic, como proveedor tecnológico, actúa como motor del cambio ante determinadas situaciones o problemáticas, aplicando una filosofía de desarrollo ágil, flexible y adaptado a las necesidades de cada uno de sus clientes. El objetivo principal de nuestra actuación es conocer su operativa interna e involucrarnos en sus necesidades reales, de tal modo que sea posible construir soluciones personalizadas sustentadas por el uso de las tecnologías que mejor se adecúen, evitando sistemas rígidos o generalistas.
Nuestra concepción se basa en dar respuesta mediante solucionas innovadoras y personalizadas a retos actuales de las industrias, creando un marco común de trabajo que facilite el diálogo y entendimiento entre expertos tecnólogos y responsables de fabricación o negocio. Consideramos que esta forma de trabajar y relacionarse con nuestros clientes permite acometer con éxito proyectos que busquen optimizar procesos productivos y obtener la máxima rentabilidad de los recursos humanos y materiales con los que se cuenta.
En este marco de trabajo, procesos de trazabilidad, control de calidad, mantenimiento predictivo, soporte a la producción, seguridad industrial, control de procesos, logística, medición, detección de presencia, guiado o caracterización de comportamientos tienen un amplio abanico de posibilidades mediante la aplicación de técnicas de Visión Artificial combinadas con estrategias de Inteligencia Artificial y Aprendizaje Automático.
At Treelogic we are experts in the development of this type of digital structure relating to the mass management of information. The purpose of these Big Data architectures is to offer solutions for the organisations that use them through the interpretation of information, based on the analysis and generation of reports. This allows them to take the appropriate decisions efficiently.
To give an idea of our experience, we have been implementing computer solutions for years in sectors as complex as banking and insurance. In these, millions of pieces of data are managed each day, and the objective of cutting-edge companies is to identify business opportunities from this mass information. However, to reach that position it is necessary to extract data and analyse them so that they can make behavioural predictions that create an advantage over the competition.
This way, the recommendations provided by Treelogic Big Data architectures for financial and insurance companies, among others, help companies to better understand users and offer the them better opportunities.
This is something that customers such as insurance companies and banks in particular demand, being able to predict the behaviour of users and thus prevent fraud. And thanks to the advanced level of our technology, at Treelogic we have the ability to offer these types of organisations what they are looking for.
KAPPA ARCHITECTURE
The vast majority of us who are dedicated to Big Data will have begun in this field after hearing talk of the famous Vs. There were originally three: volume, variety and velocity; which turned into four with the addition of value, thanks to Machine Learning or Artificial Intelligence.
TO DEEP, OR NOT TO DEEP, THAT IS THE QUESTION!
Deep Learning is an active area of research and is revolutionizing other domains within the broader field of artificial intelligence. One of these areas is artificial vision, or Computer Vision.
THE TREELOGIC APPROACH: WE DEAL WITH DATA
One of Treelogic’s main objectives, in all of our projects, is to help the client discover how data can add value to their business. Identifying and exploiting the competitive advantage within any sector is fundamental in order to achieve the best market position.
TREELOGIC IN THE DIGITAL TRANSFORMATION OF THE HEALTHCARE SECTOR
Technology can improve people's lives. Working to achieve this goal is one of the pillars on which Treelogic's extensive experience in the healthcare industry is based.
INDUSTRY 4.0, THE LATEST REVOLUTION
Big data, Artificial Intelligence (AI), Machine Learning, Deep Learning, artificial vision or automation are trending terms and form part of the latest socioeconomic movement of our time, the fourth industrial revolution. A change that is already transforming production processes and that affects our daily lives.
TREELOGIC: BANKING AND INSURANCE
These are times of continuous change. Our society, once more stable, is now experiencing permanent and dynamic change as a consequence of advancing technology. The constant transformation we are experiencing affects all areas of the economy, and financial organizations play a crucial role in this whole process.