Posts

Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优

Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优 1 环境准备 1.1 示例代码 import org.apache.spark.sql.SparkSession object SparkSqlHive { def main(args: Array[String]): Unit = { val ss = SparkSession.builder().master("local[2]").appName("the test of SparkSession") .config("spark.sql.hive.convertMetastoreOrc", "false")

Excel做数据分析?是真的很强

原文链接:怎样用 Excel 做数据分析? 知乎:Jackpop,粉丝10万+,每日更新精品内容! 做数据分析可能会用到很多工具,Python、R、Java

前端小游戏——植物大战僵尸

给大家分享一个植物大战僵尸网页游戏源代码,感兴趣的小伙伴可收藏学习 ?完整源码 文章目录 ⌛️效果展示 ⌛️游戏介绍 ⌛️游戏内容 (1)冒险模式 (2)

开源 SPL 重新定义 OLAP Server

OLAP(Online Analytical Processing)是指在线联机分析,基于数据查询计算并实时获得返回结果。日常业务中的报表、数据查询、多维分析等一

【目标检测】YOLOv5遇上知识蒸馏

前言 模型压缩方法主要4种: 网络剪枝(Network pruning) 稀疏表示(Sparse representation) 模型量化(Model quantification) 知识蒸馏(Konwledge distillation) 本文主要来研

基于Python的网络爬虫开发与实现

目录 1 绪论 1 1.1选题背景 1 1.1.1课题的国内外的研究现状 1 1.1.2课题研究的必要性 2 1.2课题研究的内容 2 2 开发软件平台介绍 4 2.1 软件开

幼儿园小程序实战开发教程(终篇)

我们已经写了四篇教程,涵盖了需求分析及各个页面,本篇是我们的最终篇。 咨询信息 我们小程序需要收集家长和孩子的信息,为此我们也规划了数据源。如果

基于MATLAB的指纹识别算法仿真实现

目录 一、理论基础 二、核心程序 三、测试结果 一、理论基础 在指纹图像预处理部分,论文对预处理的各个步骤包括规格化、图像分割、中值滤波、二值化、细化

【数据挖掘】特征化分析(信息增益)

目录 前言 数据预处理 导入库 读取样本数据 计算过程 计算每个属性的熵 计算给定的样本分类所需要的期望信息 计算所有属性的信息增益 结果可视化 信息增益较大的

PhyGeoNet一种可用于不规则区域的物理信息极限学习机

题目 Physics-Informed Geometry-Adaptive Convolutional Neural Networks for Solving Parametric PDEs on Irregular Domai 作者 Han Gao a,b , Luning Suna,b , Jian-Xun Wanga,b a Department of Aerospace and Mechanical Engineering, University of Notre Dame, Notre Dame, IN b Center for Informatics and Computational Science, University of Notre Dame, Notre Dame, IN 期刊会议 在review 年份 2020 1 动机

Unity 实现A* 寻路算法

前言 A* 寻路算法是什么 游戏开发中往往有这样的需求,让玩家控制的角色自动寻路到目标地点,或是让 AI 角色移动到目标位置,实际的情况可能很复杂,比如地

SD-WAN不断冲击传统WAN架构

随着全球化数字信息转型,网络结构也是在不断的发展和完善。随着云时代的到来,传统的网络布局的局限性开始凸显出来。在过去几年广域网最重要的变化是

Java中的JDK动态代理

目录 1. 什么是动态代理? 2.动态代理的实现方式有几种? 3. JDK动态代理 4. CGLB动态代理 5.动态代理的效率 6.为什么要使用动态代理呢? 7. JDK

[深度学习] 名词解释--正则化

正则化 花书的定义:凡是可以减少泛化误差(过拟合)而不是减少训练误差的方法,都叫正则化方法。 目的:拟合训练数据,防止模型过拟合,通常使用L2正

MySQL多表查询

目录 1、创建class数据库 2、创建student和score表 3、向student表插入记录的INSERT语句 4、向score表插入记录的

计算机网络--网络层

今天我们继续往网络协议栈的下一层学习,网络层。有了前面的基础,这次学习想必会轻松许多,博主最近也开始渐渐努力了,最近准备学习python和g

贝叶斯分类器 (3)

目录 错误率与风险 朴素贝叶斯分类器 错误率与风险 书接上回,我们讲到最大后验概率,我们期望把概率最大时对应的属性,当做它最终的结果。 我们自然也会思

【C语言】程序环境和预处理

文章目录 程序环境和预处理 程序的编译环境和执行环境 详解编译+链接 编译本身也分为几个阶段 运行环境 预处理详解 预定义符号 #define #define定义标识符 #

记一次:jenkins自动化部署服务

背景:本地测试服务器每次需要打包,发布,部署太麻烦,整一个jenkins自动化部署,因为之前做过一次,然后新做了一个短信平台的微服务,突然之

图解操作系统-cpu cache

不同物理器件的访问速度不一:速度快的代价高、容量小;代价低且容量大,速度较慢。 为充分发挥各种器件优点,计算机存储数据的物理器件不会只选择一种

嵌入式分享合集84

今天做的某地区的项目, 了解了一下 很是不开心 原来这几年丢的不仅是某公湖 真呵呵 一、学习单片机 如何系统地入门学习STM32? 假如你会使用8051 ,

Pytorch+Python实现人体关键点检测

用Python+Pytorch工程代码对人体进行关键点检测和骨架提取,并实现可视化。 使用背景: 物体检测为许多视觉任务提供动力,如实例分割、姿

科比,老大1000天

不知不觉,老大已经走了1000天了,正好这个星期的数据分析的课就是科比投篮可视化,让我一起来分享一下吧。 对照列表机翻,仅供参考 action_type 进攻方式(更

参与CSDN1024程序员节活动

有幸参与了CSDN主办的1024程序员活动-岳麓对话,聆听各位专家畅谈中国软硬件产业的根技术以及前沿科技的发展现状和未来。 听程序员们聊技术,

Redis实战篇一 (短信登录)

Redis企业实战(黑马点评) 项目整体架构 项目部署 后端部署 前端部署 短信登陆 基于Session实现登录 集群的Session共享问题 基于Redi

泊松流(Poisson Flow)生成模型

又搬来了神器啊~~~ 扩散模型最早来源于物理中的热力学,最近却在人工智能领域大放异彩。还有什么物理理论可以推动生成模型研究的发展呢?最近,来自

什么样的人适合学习网络安全?

有很多想要转行网络安全或者选择网络安全专业的人在进行决定之前一定会有的问题:什么样的人适合学习网络安全?我适不适合学习网络安全? 会产生这样的

深度学习提高模型准确率方法

这里写目录标题 深度学习 数据 使用更多数据 更改图像大小 减少颜色通道 算法 模型改进 增加训练轮次 迁移学习 添加更多层 调整超参数 总结 深度学习 我们已经收集好

网络安全、夺旗赛(CTF)技能汇总

本文综合博主参赛准备经历,总结介绍了过程中了解的网络安全、夺旗赛(CTF)相关知识及资源,分为资料篇、工具篇、解题思路篇。 资料篇 CTF Wiki 对CTF

卡尔曼滤波实例——预测橘子的轨迹

目录 流程 一、采用轮廓的方式检测橘子位置 (一)滚动条获取阈值 (二)获取到图像中的包围橘子对应的白色图形的最小矩形框的信息 二、获取橘子检测框的质

人生重开模拟器(Python实现)

文章目录 人生重开模拟器介绍 代码实现 打印初始界面 设置初始属性 设置角色性别 设置角色出生点 针对每一岁,生成人生经历 人生重开模拟器介绍 人生重开模拟器

比较CPU和GPU中的矩阵计算

GPU 计算与 CPU 相比能够快多少?在本文中,我将使用 Python 和 PyTorch 线性变换函数对其进行测试。 以下是测试机配置: CPU:英特尔 i7 6700k (4c/8t) GPU:RTX 3070 TI(6,

可解释人工智能XAI

可解释人工智能XAI 本文基于Freddy Lecue博士在2022年国际人工智能顶会AAAI上完成的可解释人工智能进展报告,腾讯研究院在202

OpenCV 编译安装与环境配置

OpenCV 编译安装与环境配置 Windows 中编译安装 OpenCV Linux 中编译安装 OpenCV Windows 中编译安装 OpenCV 解压安装包,一般解压在库版本对应的目录下,例如在 Windows 平台下,解压后的目录可以保存

CSDN云IDE初体验 - 有些惊艳

云IDE产品介绍 云IDE使用教程 免费使用地址:点击【云IDE】,即可开始创建工作空间啦~ CSDN云IDE初体验 - 有些惊艳 本文关键字:CSDN