cuda及pytorch对应版本安装

由于单机两张卡,4090+2080Ti,在跑qwen1.5-14B模型的时候用到了两张卡,其中提示到flash-attn2只支持ampere或更新的GPU,查了下发现它暂时还不支持2080,搜了下网上说可以降到flash-attn1.x。于是尝试了pip install flash-attn=1.0.9.

Published: 11 Mar 2024

Java IO类型

介绍

Published: 24 Jan 2022

容易混淆的CAP及ACID定义

容易混淆的CAP和ACID概念

Published: 23 Jan 2022

GraalVM:在容器内部署Java本地镜像

GraalVM是一款可以运行不同语言程序的高性能虚拟机。目前它能运行包括Java, Scala, Kotlin以及Groovy在内的JVM语言。它还支持JavaScript,Node.js, Ruby, R, Python以及LLVM能支持的原生语言。GraalVM有许多用途,对于云部署及容器领域,其中的一项特性可能最让人兴奋不已。它可以将JVM字节码提前编译成本地可执行文件或共享库,而生成的二进制文件并不依赖JVM来执行。

Published: 04 Sep 2019

下一代JVM:GraalVM的十大特性

GraalVM有许多不同的组件,如果你只是听说过它或有些简单的了解,肯定无法一窥全豹。本文将列举下GraalVM的几大常用功能,看看它们都能做些什么。

Published: 27 Aug 2019

下一代的多语言JVM:GraalVM

GraalVM是一款高性能的可嵌入式多语言虚拟机,它能运行不同的编程语言,包括:

Published: 15 Aug 2019

Kubernetes简介及入门

如今单体应用(monolithic application)日渐被认为是一种反模式(antipattern),而云平台则成为了应用部署的香饽饽。这个转变可不仅仅像是在别人的机器上启动一个虚机那么简单。如何能有效地利用云的资源和伸缩性,意味着和要过去的单体应用划清界限,转而拥抱新的架构和开发实践。

Published: 07 Aug 2019

云原生微服务框架——Helidon

在互联网早期的相当长一段时间内,WEB应用都是”单体应用(monolithic)“。也就是说所有的API和前端展示层代码都被封装在一个独立的、自给自足的应用当中。业务逻辑,校验,数据获取及计算,持久化,安全,UI都封装成一个大的包,部署在应用服务器或者web服务器上,比如说Tomcat, Apache或者Microsoft IIS。这个方法过去有效,未来也仍将有效,只不过当你的应用到达一定规模之后,就会面临诸多挑战:

Published: 02 Aug 2019

Java 10的类型推导

Java 10带来了全新的语言特性:局部变量类型推导(local variable type inference)。它的主要目标就是减少样板代码(boilerplate),增强代码可读性。可以使用关键词var来替代局部变量的类型声明——编译器会根据变量初始化语句来自己填充正确的类型的。比如说:

Published: 23 Jul 2019

JVM之动态方法调用:invokedynamic

在本文的前面的姊妹篇中,介绍了Java方法调用的5种操作码中的4种。它们是Java 8和Java 9中方法调用的标准字节码形式。

Published: 19 Jul 2019