笔记

产品研发中的系统化思维(1):囚徒困境
此处应该有图片

从2010年起,工作的重心与研发的联系越来越紧密。非科班出身,边学习边工作。十二年饮冰,步步皆艰辛。访问最多的网站肯定是某搜索引擎,使用频次最高的按键依然是Ctrl+C和Ctrl+V. 开始时战战兢兢,只会敲命令背语法亦步亦趋,到14年开始创业已是放荡不羁不换行不注释无所畏惧,再到隐入城市,在城中村中求静,潜心打磨产品,一不小心,就已过了4年有余,产品也由套框架、买主题,上线测试,用户评议、合规注册,再到改版重构,数次迭代,渐渐累积了各种矛盾各种负面情绪,或当然还会有敬畏。显然市场竞争技术研发产品进化是逆水行舟不进则退,无论从何角度看都没有躺平的意愿。而前进的诱惑和担忧,却又彷若夫妻有七年止痒,市场反响褒贬不一,用户反馈噪杂无序,微弱的性能优势在价格竞争中不值一提,研发资源有限却又被各种任务快速消费。产品的历史 …


阅读原文
jupyterhub notebook ldap统一认证
此处应该有图片

冷饭重炒

这其实是在19年就应该发出来的一点笔记,只是以前都存在自己脑子里,而且现在随着版本的变动,配置上也有了一点点小变化,所以炒一下冷饭。

需求是什么

在一个小公司里面,如何为算法工程师分配GPU资源是个问题。大厂当然有成熟的k8s+各种gpu虚拟化黑科技。但很显然,这需要完整的体系,从用户认证到临时存储、持久化存储、日志存储、资源配额、资源用量统计、任务队列等等的配套,才能结合k8s的调度一起来完成GPU资源分配。 在2019年的时候,服务器少,人也少,项目和任务单一,所以那时候只搞了服务器端的ldap认证,不存在什么资源协调问题,所以裸机直接上了。 到了20年,机器增多,人也增多,任务和环境的诉求也不一样,这个时候,再走裸机,很显然,无论从资源利用率、数据安全、环境冲突(即使有Anaconda …


阅读原文
FreeBSD ZFS存储与samba配置
此处应该有图片

作为穷人,我们选择基于FreeBSD+ZFS+SAMBA构建山寨存储

毋庸质疑,也无需赘述

freebsd操作系统是公认的“快”、“安全”、“稳定”

zfs是人类有史以来最先进的文件系统

FreeBSD入门

软件包管理

Linux® 命令 (Red Hat/Debian) FreeBSD 等价命令 目的
yum install package / apt-get install package pkg install package 从远程仓库安装 package
rpm -ivh package / dpkg -i …

阅读原文
FreeBSD Lagg 端口聚合与LACP配置
此处应该有图片

基础环境

os:FreeBSD 12.3-RELEASE

网卡:Mellanox Technologies ConnectX-4 Lx

交换机:华为ce6820-48S6CQ-B

需求

FreeBSD 通过ConnectX-4 两个端口连接到交换机。 配置端口聚合(bonding、aggregate,port-chanel,portgroup 好多种说法),实现2个端口负载均衡。

配置

FreeBSD侧配置:

kldload if_lagg ### 加载bonding,即freebsd里的lagg内核模块

ifconfig lagg0 create ### 创建lagg接口

ifconfig mce0 up ### 启动mce1 网卡

ifconfig mce1 up ### 启动mce1 …


阅读原文
内核优化参数记录之FreeBSD
此处应该有图片

#最大的待发送TCP数据缓冲区空间 net.inet.tcp.sendspace=65536

#最大的接受TCP缓冲区空间 net.inet.tcp.recvspace=65536

#最大的接受UDP缓冲区大小 net.inet.udp.sendspace=65535

#最大的发送UDP数据缓冲区大小 net.inet.udp.maxdgram=65535

#本地套接字连接的数据发送空间 net.local.stream.sendspace=65535

#加快网络性能的协议 net.inet.tcp.rfc1323=1 net.inet.tcp.rfc1644=1 net.inet.tcp.rfc3042=1 net.inet.tcp.rfc3390=1

# …


阅读原文