摘要：本申请提供一种基于硬盘和内存的列式存储和查询方法及设备，通过创建数据源对应的数据表的元信息，在内存中对数据源创建数据表的结构，根据所述元信息把当前的数据行生成为一个列式数据块并存储到硬盘，能够更加有效地使用内存，实现后续在硬盘上查询数据的性能达到与在内存上查询数据相近的性能，能够进一步支持后续以高速的查询效率为基础的强大的数据分析能力。进一步的，所述列为索引列时，通过对每个索引列建立一个倒排索引，并采用RadixTree结构将索引列存储到固态硬盘的对应位置的文件中，能够提高后续数据查询的效率。

摘要：本发明的目的是提供一种分布式数据向量化处理方法和装置，其中，所述方法包括：建立多行数据缓存以存储多行基于行的字节数组；将基于行的字节数组转换为基于列的字节数组；对代码指令进行向量化处理；以所述向量化处理后的代码指令对所述基于列的字节数组进行向量化计算。本发明的分布式数据向量化处理方法和装置，避免了多次读出的系统开销，并能有效的利用系统缓存，同时通过有效的利用CPU的高效指令集来加速计划的执行效率，提高系统的性能。

摘要：本申请的目的是提供一种处理分布式事务的方法与设备。与现有技术相比，在分布式系统中，本申请的第一设备是由多个节点组成的一个组，所述第一设备获取SQL编译器发送的关于待处理的事务的目标表的加写锁请求，并基于所述加写锁请求，对所述目标表进行加写锁处理，从而避免多个事务并发时的冲突问题，确保事务的隔离性，若所述加写锁处理成功，向所述SQL编译器发送所述目标表的待处理版本信息，以确保后续SQL编译器对目标表的正确版本进行操作。进一步地，本申请通过重启未响应所述加写锁请求的所述子节点，或将所述子节点的服务迁移到其他物

摘要：本申请的目的是提供一种单机机器学习模型与分布式机器学习模型之间进行转换的方法与设备。与现有技术相比，本申请获取模型训练参数信息，并对其进行数据类型转换或描述文件解析，然后根据所述模型训练参数信息训练出分布式机器学习模型，再将所述分布式机器学习模型转换为单机机器学习模型；本申请还获取单机机器学习模型，提取出所述单机机器学习模型参数信息，对所述单机机器学习模型参数信息进行数据类型转换或描述文件解析，然后根据所述单机机器学习模型构造分布式机器学习模型；本申请可实现单机机器学习模型与分布式机器学习模型之间的相互转

摘要：本申请的目的是提供一种数据文件的存储和查询方法及设备，存储时，创建数据文件的元信息，元信息包含数据文件在数据表中的存储位置；将数据文件与该数据文件对应的元信息分别写入数据表中第一列簇和第二列簇的同一行中；根据第二列簇中的元信息建立指向数据文件在数据表中的存储位置的索引；查询时，获取查询条件，并在第二列簇中查找符合查询条件的元信息；根据索引，确定符合查询条件的元信息所对应的数据文件在数据表的第一列簇中的存储位置；由第一列簇中的存储位置获取数据文件。与现有技术相比，存储时数据一致性好，数据库的复杂度和维护难度较低，查询时处理的数据量较小，查询速度快。

摘要：本申请的目的是提供一种用于分布式系统的执行过程化SQL语句的方法，通过对过程化SQL语句进行词法分析和语法分析，以建立所述过程化SQL语句的中间表示；对所述中间表示进行语义分析，以转化为若干执行块；逐块执行所述执行块。本申请所述方法和设备增强了大数据平台上的SQL语言表达能力，使得用户可以在数据库层完成复杂的业务逻辑。通过与现有过程化SQL语言的语法兼容，使得现有应用迁移到大数据平台的成本大幅降低。

摘要：本申请的目的是提供一种实时处理引擎的故障恢复方案，该方案中任意一个服务器在启动时若获取到同步锁，则成为主服务器对外提供服务；在主服务器对外提供服务器的过程中，若发生故障，主服务器将释放所述同步锁，以触发备服务器申请所述同步锁，使得备服务器可以获取到同步锁从而成为新的主服务器，此外，主服务器在执行实时处理应用时，记录关于当前执行的实时处理应用的应用信息，以使备服务器在成为主服务器时，通过获取所述应用信息继续执行对应的实时处理应用，从而实现故障的自动恢复。

摘要：本申请的目的是提供一种用于分布式图计算的方法与设备。与现有技术相比，本申请先获取原始图数据，然后根据图算法处理所述原始图数据以获得所述图算法对应的规整图数据，以便于适配不同种类的图算法，接着将所述图算法对应的计算任务分发至多个计算节点执行，其中，在执行过程中当满足持久化条件，进行持久化操作，切断数据依赖，减少重复计算量，提高处理效率。进一步地，本申请在对图数据进行聚合操作及连接操作之前，先对其进行合并操作，从而提高运算效率，减轻网络传输压力。进一步地，本申请采用一种数据序列化和反序列化的方法，以便于计算过程中的产生的中间数据在计算节点之间传递。

摘要：本申请的目的是提供一种SQL优化方法及设备，本申请通过对获取的该至少两条SQL语句进行分析并提取，得到SQL语句的基本信息、每一条SQL语句对应的表及其表的列的对应关系；基于该SQL语句的基本信息、SQL语句对应的表及其表的列的对应关系，删除所述SQL语句中的无用表，得到初步过滤表后的SQL语句；删除初步过滤表后的SQL语句中的表对应的无用列，得到优化后的SQL语句，实现了从至少两条SQL语句及SQL语句对应的表及其表的列的对应关系的基础上，来对多条SQL语句进行预先优化，不仅达到了对每一条SQL语句进行优化的目的，还提高了整体SQL优化效果，进而节省了现有技术中的预先计算的资源额外开销。

摘要：本申请的目的是提供一种数据批处理的方法及设备，本申请通过判断待批处理数据的处理延时要求是否小于等于预设阈值，若小于等于，获取所述待批处理数据中的事务的依赖关系和对应的依赖顺序，将所述待批处理数据中的事务按所述依赖关系和依赖顺序合并成组合事务，对每个组合事务进行批处理，其中，每个组合事务包含一个或多个没有依赖关系的事务；若大于，则将所述待批处理数据的更新操作进行拆分，得到删除操作和插入操作，将属于所述待批处理数据的同一键值下的删除操作和插入操作进行合并，将合并后的所有键值下的删除操作和插入操作分别进行批处理，从而根据不同的场景需求采用不同的数据批处理方案。