写在前面,本文是有在上海某位大佬的原创文章,因个人觉得非常不错,得到本人同意后发表在本人网站上,原文链接在这,非常尊重那些在工作中独立思考、善于创作的人。也敬佩他们的分享精神。

背景

自我介绍下,四年工作经验,头两年全栈开发,后两年专职做前端,目前已达到高级前端工程师水平,经历过三家公司。第一家公司,电商行业,做阿里 ISV 供应商,为淘宝卖家服务,也是我第一次接触百万 UV 级别的产品,在第一家公司呆了两年,由于达到技术瓶颈期,随跳槽,第二家公司,航运物流行业,呆了六个月(工作强度对我来说,是真的高),身体不适,没有同意转正。目前这家,担任项目管理和前端组长,两个角色,目前呆了两年,做了很多东西,把自己的一些想法跟大家聊一聊。

入职时的环境

这是一家做保险和金融行业的公司,属于传统行业的科技公司,有点外包的性质,当然,也有自己的 SaaS 产品,由于是传统行业的公司,技术栈相对互联网公司来说,稍微落后一点。我刚来的时候,上一个前端要辞职了,然后做对接工作(告诉我,有啥问题,直接搜代码),我算是接盘侠,前任留下的屎山,其他的,大概有以下几点:

前端组 4 个人

其中一个归 CTO(做后端) 管,另外两个在广东,我入职的时候,也没有确认,到底要不要带人。我来的时候,就已经在了,后面我领导跟我说,要带下他们,我当时压根就没有带人的想法,也是个坑。

历史项目有很多个,都是基于一套从 GitHub 上弄过来的项目框架

  • 没有前端工程化体系,开发周期长,开发质量差,维护困难

  • 前后端混合项目,剥离前端代码没有剥离干净,后端很多文件都在,不知道重不重要,前端代码运行在服务端,每次修改一行代码,看效果,需要拖到服务器上进行编译,编译大概 1-2 分钟左右,非常痛苦。

  • 完全熟悉该项目的人员已离职(技术和产品),项目交接没有处理好。

  • 业务逻辑非常混乱,没有相关的产品流程图,全凭记忆。

  • 服务器上运行的 Node 版本非常低,到现在还是 8.x,各种低版本的库都在,比如 Ant Design 用的 3.6.2,在项目开发中遇到穿梭框无法进行树状显示(代码一摸一样,在高版本 3.19.2,可以显示)。又比如还有这种 "translate.js": "git+https://github.com/MichelSimonot/translate.js.git”

  • 尝试过升级库和卸载其他库,各种报错。

  • 代码缺乏注释,一个文件几千行,对 ReactRedux 使用,欠缺理解。

  • 有过一次”爆炸”,此项目如果再继续迭代下去,随时可能继续”爆炸”,现在已经是在踩雷开发阶段。

    在 2019 年 10 月 18 号,24:00 发生生产事故,事故表现为,操作特定页面,浏览器崩溃,卡死。

    WechatIMG1151.png

    脚本执行时间非常长,后面经查,是由以下代码引起

    1
    2
    3
    4
    5
    6
    7
    actions.getAgentListByPage({
    companyId: currentAgent.companyId,
    pageIndex: 1,
    pageSize: 20000,
    searchProvince: currentAgent.province,
    searchCity: currentAgent.city
    })

    页面很多地方存在请求 pageSize:20000 的情况,该代码是由前任前端编写,具体为何写出这样的代码,原因未知,处理方案给到后端解决,前端配合加入 workbench 字段,凌晨 1 点左右得到解决。

  • 一套项目上,运行着两套系统。

  • 打包出来的项目代码体积有 49.5MB,页面首次加载耗时 11.4 min

    WechatIMG1153.png

基于以上的原因,向领导提出过重构,没有同意,我认为可能有两个方面的顾虑,

  • 从人力资源条件来讲,并不允许。
  • 从公司战略角度来讲,能挣钱的项目就是好项目。但是,这并不影响我建设前端工程化体系。

项目人员能力较弱

  • 测试同学报备 BUG,没有记录可复现步骤。
  • 任务管理工具平台没有真正利用起来,相关项目需求,BUG 没有整理起来放在上面。
  • 产品不理解大概的技术实现,没有把产品文档梳理,留存下来,不理解客户的真正需求,以至于技术实现比较鸡肋。

前后端接口对接,没有相关的文档

产品画的原形 和 UI 设计稿不规范

列举了以上的这些点,烂摊子太多了,好在有一个点,领导的支持力度还不错,看我是如何突围的。

明确自己的任务

前端技术建设的核心目的,是为了提高开发效率,保证开发质量,为保障项目高质量按时交付,同时兼顾考虑中长期研发实际情况,结合团队实际能力,为未来做技术储备,为业务发展提供更多的可能性,大概将自己的分为以下三类

  • 基础架构设计,主要目的是从架构层面出发,通过流程化设计,规避常见问题,提高开发效率。
  • 工程化设计,与代码强相关,主要目的是提高代码质量,增强代码的长期可维护性,降低开发时间和成本。
  • 团队管理,通过合理有效的团队管理,提高团队人效比,为未来项目研发、技术发展,进行人才储备、技术研发。
  • 项目管理,进行合理的项目管理,合适的工时排期和迭代计划,提高项目交付质量和效率。

如何解决

首先,要对现有的问题进行梳理归纳,按照问题的优先级进行排序,然后,分阶段性目标进行实现,对于上面的问题,我大概整理了一张表格

问题 优先级 成本 目标
如何打造前端工程化体系 p0 提升整个前端团队的开发效率、按时交付、保证交付质量。
如何进行团队管理 p0 进行人才储备,提高团队人员技术能力
如何进行项目管理 p1 掌控全局,知道项目下的人都在做什么,资源协调

团队管理

人员管理

  • 初来乍到,首先就是跟大家一起聊聊天,了解他/她的想法,以及个人情况、技术能力、兴趣爱好、性格特点等。

  • 团建聚餐,经常请大家喝奶茶/咖啡,不定时的组织活动,通常是聚餐(个人出钱),为下面的工作,好开展。

  • 导师帮带,新人进来后,安排一个人带着他,答复常见问题,由简单的需求再到核心模块的负责,一点一点施展压力。

  • 新人适应,负责安排新成员的发展方向,并在新人入职的前几周,了解项目框架和开发模式,再安排其做基于现有页面的优化,帮助其了解不同人负责的业务。

  • 责任划分,明确团队里人员定位,并使其知晓,根据成员能力不同,态度不同,安排适合其的任务。

  • 前端周会,每周一次,组织大家开前端周会,在这个会上,过下大家目前手头上的事情,有没有遇到什么问题,需要协调的一些资源,进度把控等。

  • 技术分享,不定时的前端技术分享,主题不限,并把相关分享后的资料,上传到前端文档管理,方便日后的人员进行查看。

权限管理

主要是指代码权限控制,目的是确保代码安全,问题可控可避免可追溯

具体管理举措有以下几条:

  • 公司仓库,代码属于公司财产,对代码进行权限隔离,启用内网 GitLab,默认关闭所有外网访问权限,针对每个项目,按实际需要给开发赋予指定权限。

  • 提交权限,允许开发在自己仓库下提交,但涉及到公司仓库的合并,需要发起 PR,然后在组长进行 CR 后,才能提交到主仓库。

  • 发布权限,对于将要发布到生产环境,权限给到组长,只允许组长进行发布。

前后端接口对接

前后端开发联调有一个严重问题,就是后端接口变动或者字段改动时,没有在事前事后通知相应前端开发,测试人员,导致效率底下,并且会出现各种异常情况。

因此,通过梳理开发流程,出接口文档,作为对接标准。

我们使用 apiDoc 来作为前后端联调标准。

WechatIMG1176.png

但在实际情况中,还是会有一些接口文档和实际接口不符的情况发生,导致一些问题产生,这个我们也在思考。

前端工程化体系

刚入职的时候,由于上面的项目框架问题太多,之前也尝试过解决,但,解决不了,领导也意识到了这点,而且也有新项目进来,就让我重新搞一套项目框架。所以,我自研了一套基于 Webpack 的项目框架和工程化体系,做这件事的目的,就如我上面提到过的一样,提升整个前端团队的开发效率、按时交付、保证交付质量。

基础架构设计

Git 分支管理规范化

我们使用的是 Git Flow 分支管理策略

Git Flow 最开始是由 Vincent Driessen 发行并广受欢迎,这个模型是在 2010 年构思出来的,而现在距今已有 10 多年了,而 Git 本身才诞生不久。在过去的十年中,Git Flow 在许多软件团队中非常流行

分支命名规范
  • master 分支:master 分支只有一个,名称即为 master。GitHub 现在叫 main

  • develop 分支:develop 分支只有一个,名称即为 develop

  • feature 分支:feature/<功能名>,例如:feature/login,以便其他人可以看到你的工作

  • hotfix 分支:hotfix/日期,例如:hotfix/0104

分支说明
  • master || main 分支:存储正式发布的产品,master || main 分支上的产品要求随时处于可部署状态。master || main 分支只能通过与其他分支合并来更新内容,禁止直接在 master || main 分支进行修改。

  • develop 分支:汇总开发者完成的工作成果,develop 分支上的产品可以是缺失功能模块的半成品,但是已有的功能模块不能是半成品。develop 分支只能通过与其他分支合并来更新内容,禁止直接在 develop 分支进行修改。

  • feature 分支:当要开发新功能时,从 master 分支创建一个新的 feature 分支,并在 feature 分支上进行开发。开发完成后,需要将该 feature 分支合并到 develop 分支,最后删除该 feature 分支。

  • release 分支:当 develop 分支上的项目准备发布时,从 develop 分支上创建一个新的 release 分支,新建的 release 分支只能进行质量测试、bug 修复、文档生成等面向发布的任务,不能再添加功能。这一系列发布任务完成后,需要将 release 分支合并到 master 分支上,并根据版本号为 master 分支添加 tag,然后将 release 分支创建以来的修改合并回 develop 分支,最后删除 release 分支。

  • hotfix 分支:当 master 分支中的产品出现需要立即修复的 bug 时,从 master 分支上创建一个新的 hotfix 分支,并在 hotfix 分支上进行 BUG 修复。修复完成后,需要将 hotfix 分支合并到 master 分支和 develop 分支,并为 master 分支添加新的版本号 tag,最后删除 hotfix 分支。

提交信息规范

提交信息应该描述“做了什么”和“这么做的原因”,必要时还可以加上“造成的影响”,主要由 3 个部分组成:HeaderBodyFooter

Header
Header 部分只有 1 行,格式为<type>(<scope>): <subject>

type 用于说明提交的类型,共有 8 个候选值:

  1. feat:新功能(feature)

  2. fix:问题修复

  3. docs:文档

  4. style:调整格式(不影响代码运行)

  5. refactor:重构

  6. test:增加测试

  7. chore:构建过程或辅助工具的变动

  8. revert:撤销以前的提交

  9. scope 用于说明提交的影响范围,内容根据具体项目而定。

subject 用于概括提交内容。

Body 省略

Footer 省略

WechatIMG1175.png

这样做起来的好处,这个项目下:

  • 对于分支,每个人在做什么,我看分支就清楚。
  • 对于修改内容,看前缀就知道这个文件改动了什么。
  • 对于版本迭代,看 Tag 都上线了什么内容。

总之,一目了然。

开发人员基本流程

codeProcess.png

在这个流程中,开发人员只对个人仓库拥有可控权,无法直接改变公司仓库代码,当需要提交到公司仓库下时,需要发起 PR 请求,经过组长 CR 后,将其代码合并到公司仓库下。

主分支代码和线上代码进行隔离,由组长将指定版本的 Tag 发布到生产环境,再通过运营人员直接从 GitLab 上拉取指定的 Tag,然后打包发布。

通过以上流程,前端代码能保证高质量,高稳定性的状态,运行在服务器端。

工程化设计

要根据实际业务情况和团队规模,技术水平来做,关键是要形成一个闭环,所谓闭环就是从零开始到上线再到迭代的全链路,有很多节点,这些节点需要根据实际情况进行设计,避免过度设计。

定制 Webpack 项目框架

为何不是 create-react-app

create-react-app 是基于 webpack 的打包层方案,包含 build、dev、lint 等,他在打包层把体验做到了极致,但是不包含路由,不是框架,也不支持配置。所以,如果大家想基于他修改部分配置,或者希望在打包层之外也做技术收敛时,就会遇到困难。

为何不是 umi

umi 提供的功能很多,这也导致它太过于臃肿。而且你还要去学它的封装化配置,而不是学原生第三方库的配置,如果你只想要一些简单的功能,追求更高的可玩性,哪 umi 不太适合。

所以,我自己定制了一套脚手架,实现了以下功能:

  • 快速上手,只要了解 React、Mobx、Webpack 和 React Router,就可以快速搭建中后台管理平台
  • 路由系统,基于 react-router 实现的路由系统
  • Loading,不需要重复写组件 Loading 判断
  • 国际化,基于 react-intl-universal 实现的国际化
  • 网络请求,基于 axios 实现的请求拦截
  • 页面交互,基于 mobx 实现的数据交互方式
  • UI,使用业界最著名的 ant-design
  • 代码规范校验,使用 eslint、pre-commit、lint-staged、prettier、stylelint
  • 模拟请求数据,基于 mockjs 实现
  • 打包工具,目前最流行的 Webpack

解决了以下的问题:

  • 约束开发人员代码规范
  • 方便提供给其他开发使用标准的脚手架,并提供技术支持

完成整个编码过程的一个闭环:

  • 编码前:编码规范,最佳实践
  • 编码中:自研项目框架、代码校验
  • 编码后:发布部署工具 JenKins,手动发布或 CI/CD

这些节点要视实际情况,以最小成本去做,然后逐步升级。比如编码规范,我们是采用业界比较著名的 Airbnb JavaScript 代码规范,搭配eslint、pre-commit、lint-staged、prettier、stylelint 去进行约束。

这套项目框架,目前开发体验非常爽,在我司多个产品线上,投入使用,并已开源,**框架地址**,演示页面比较少,大佬们觉得不错的话,可以给个 Star 🌟,也欢迎给项目提 issues ~

业务场景

我们是做 ToB 业务,存在页面上大量使用表单的场景,所以,把我们的表单页面做成可配置化,实现了大部分页面表单配置化,减少前端人力资源投入。

针对公司的实际业务场景,其他子系统不会特别复杂,页面也不会多,共享一套账号体系,这里采用的思路是只有一个项目,不分主从系统,通过 Webpack 配置多页面,不同的子系统进入的首页内容不一样,加载内容不一样,菜单导航,则通过后端对每个租户进行区分,来做到租户看到的菜单系统不一样。

如果子系统特别复杂,有主从系统概念,可以考虑使用微服务设计,这里不做过多介绍。

静态资源

除了业务代码以外,前端还会有一些公共静态资源,例如 React 资源,Ant Design 资源,BizCharts 资源,以及一些图片文件等。

对于这些文件,是所有项目所共享的,假如这些文件分散在各个项目里,既没必要,也容易导致不同项目依赖文件不统一。

我们是放在 S3 上,做 CDN 静态资源加速,然后前端项目通过引入url 来使用这些资源,这样可以减轻自己的服务器网络带宽消耗。

项目管理

  • 任务分配,产品把相关的需求,经过讨论,可行性分析,通过项目管理工具,放到迭代计划中,录入开发工时,测试工时。

  • 文档管理,采用项目管理工具自带的文档,要求做到文档可以团队编辑,可以查看到编辑历史。

  • 项目周会,过大家手上目前的迭代进度,遇到的问题,需要协调的资源,风险控制等。

  • 项目复盘,复盘首先是要做的是事实陈述,开始诊断、分析存在差异的原因,找出导致成功或失败的根本原因后进行规律总结。明白为什么会成功、哪些关键行为起了作用,这些行为有没有适用条件,对于提高后续行动的成功率有没有价值。

熟悉产品线业务

所谓技术服务业务,找产品了解现有的业务流程以及痛点,甚至未来要做的一些产品规划,好的技术架构,要考虑各种各样的业务场景,怎样才能结合业务的复杂度,设计出颗粒度更加细化的组件。

画出产品架构图

WechatIMG1152.png

提升相关人员的能力

产品人员

需求频繁且混乱,决策摇摆不定、动辄推倒重来。市面上一个好的产品经理是很贵的,没个三四万是拿不下一个真正靠谱的能抗住复杂产品线的产品经理,但是很多公司老板是不愿意花这个钱,一般就会招个工作一两年的产品经理先过来,顶个位置把这个工具给做出来就行了。恰恰因为这样一个认知导致产品经理这一层他既没话语权,又不能让自己闲着,所以层出不穷的需求全堆上来了,而对于公司长久型的产品架构就把控不住,如果一个产品经理无法起到,上对客户负责,下对开发负责,不会对所有需求进行筛选,把需求只会丢给开发,不会进行工时把控和质量把控。甚至对现有产品有什么功能,都不了解,那么就不是一个合格的产品。

所以对产品经理的要求非常严格,因为一个公司,如果战略方向把握住了,那么核心是要看产品,能否把握住市场方向,非常关键。这样才能决定你是否能占有市场,由于我司是做一个 ToB SaaS 化的平台,所以,必须要求产品经理清楚的了解客户实际需求,需求背后的实际场景,提炼出来哪些是共性的需求,哪些是客户定制化的需求,然后再讨论,再进行落地实际的开发。

测试人员

对测试人员,尽量覆盖全所有场景,保证核心流程畅通,要求能找到复现步骤,提高开发解决 BUG 的效率。

设计规范

由于我司采用的是 Ant Design UI 库,所以设计标准,尽量都是按照 Ant Design 现成组件和样式来做,避免开发二次修改,参考这个链接 Ant Design 设计原则

某个列表页

WechatIMG1180.png

普通的列表,和设计,产品都约定好,上面是筛选,下面是按钮,底部是表格展示。

某个详情页

WechatIMG1181.png

详情页大量会使用到表单,所以直接使用 Ant DesignFrom 表单组件。

表单每行放多少个,都是以 Ant Design 组件来的。

这样带来的好处就是尽量避免定制化的开发,所有列表和详情都是按照这种风格来进行开发。

总结

上面这些,包含其他的,大概花了一年多的时间,建设完成,我们目前的基建状况如下表所示

Infrastructure.png

前端人员的开发效率较之前,提升了一倍左右的开发效率,前提是完全熟悉我这套项目框架的开发模式。

项目管理,人员工时占比,资源协调,目前下来都还不错,平稳进行。

如果你觉得对你有帮助或启发,欢迎点赞留言。

Python从List中统计连续情况

前言

虽然已经很久没写东西了,但是我一直在,这次直接分享在工作中写一个小工具时统计在List中的连续情况,这个可以是数字,可以是日期,此文只分享的是一种思维;

问题

需要知道一个list如[1,2,3,5,6,8,9,10,11,12,13,15,17,18,19,22]的连续情况,像下面这样做一个统计即可:

1
2
3
4
5
6
7
8
list=[1,2,3,5,6,8,9,10,11,12,13,15,17,18,19,22]
需要的结果是要这样的:
1 ~ 3
5 ~ 6
8 ~ 13
15 ~ 15
17 ~ 19
22 ~ 22

解决

我当然是在某位大佬的帮助下使用了python3.8的环境解决问题。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
list=[1,2,3,5,6,8,9,10,11,12,13,15,17,18,19,22]
for sampledata in [list]:
if len(sampledata)<2:

res=[sampledata[0],sampledata[-1]]
else:
res=[sampledata[0]]
for index in range(len(sampledata)-1):
a=sampledata[index]
b=sampledata[index+1]
if b-a==1:
continue
else:
res+=[a,b]
res.append(sampledata[-1])
print(sampledata)
for i in range(0,len(res),2):
print(res[i],'~',res[i+1])
# -----------结果如下---------------------------
[1, 2, 3, 5, 6, 8, 9, 10, 11, 12, 13, 15, 17, 18, 19, 22]
1 ~ 3
5 ~ 6
8 ~ 13
15 ~ 15
17 ~ 19
22 ~ 22

最后

如我所愿,得到我想要的结果,其实我在工作中是需要得到连续的日期,思想是一致的。

2019 年底过的太匆忙,连续加班的日子逼至春节前夕,这里就春节前做个简单的总结预告。

19 年有收获,有遗憾,有匆忙,有闲暇。都过去了,行李还没收拾好,等春节后目前的项目做完,好好做一下 19 年的个人总结吧(前方高能预警,有关于生活,关于情感,关于旅行,关于工作,关于技能,关于思考),祝大家春节愉快!

我参考了很多代码,没有发现能够兼顾效率和准确率的代码,于是自己手写了一个能用的代码。虽然 sql 语句很长,但是能够查询的非常快,在给关键字段加了索引的情况下,查询两百万条数据不超过 2 秒;如果有大佬能有更简洁的代码,请写在评论区吧,我会在本篇文章后面加上的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
SELECT NAME, IFNULL(count + count1, 0) AS `count`
FROM (
SELECT t1.NAME, t.count, t1.count1
FROM (
SELECT CASE
WHEN HOUR(DISCOVERTIME) BETWEEN 0 AND 3 THEN '00'
WHEN HOUR(DISCOVERTIME) BETWEEN 3 AND 6 THEN '03'
WHEN HOUR(DISCOVERTIME) BETWEEN 6 AND 9 THEN '06'
WHEN HOUR(DISCOVERTIME) BETWEEN 9 AND 12 THEN '09'
WHEN HOUR(DISCOVERTIME) BETWEEN 12 AND 15 THEN '12'
WHEN HOUR(DISCOVERTIME) BETWEEN 15 AND 18 THEN '15'
WHEN HOUR(DISCOVERTIME) BETWEEN 18 AND 21 THEN '18'
WHEN HOUR(DISCOVERTIME) BETWEEN 21 AND 23 THEN '21'
END AS `name`, IFNULL(COUNT(1), 0) AS `count`
FROM 表名
WHERE 1 = 1
-- 这里可以添加其他条件 比如 and flag=1 and type = 2 and isdelete = 0
-- AND to_Days(DISCOVERTIME) = to_days(now()) 这里不建议这么写,有to_days()这种运算的逻辑可以放到程序中去处理,没必要在数据库中去做运算,我们在开发过程中尽量避免这一点,可以参考下面这种写法,这个时间的处理可以参考我的另外一篇博客 http://www.fujiatian.com/post/24365.html
and DISCOVERTIME >= '2019-11-11 00:00:00' AND DISCOVERTIME < '2019-11-12 00:00:00'
GROUP BY CASE
WHEN HOUR(DISCOVERTIME) BETWEEN 0 AND 3 THEN 1
WHEN HOUR(DISCOVERTIME) BETWEEN 3 AND 6 THEN 2
WHEN HOUR(DISCOVERTIME) BETWEEN 6 AND 9 THEN 3
WHEN HOUR(DISCOVERTIME) BETWEEN 9 AND 12 THEN 4
WHEN HOUR(DISCOVERTIME) BETWEEN 12 AND 15 THEN 5
WHEN HOUR(DISCOVERTIME) BETWEEN 15 AND 18 THEN 6
WHEN HOUR(DISCOVERTIME) BETWEEN 18 AND 21 THEN 7
WHEN HOUR(DISCOVERTIME) BETWEEN 21 AND 23 THEN 8
END
) t
RIGHT JOIN (
SELECT '00' AS NAME, 0 AS count1
UNION
SELECT '03' AS NAME, 0 AS count1
UNION
SELECT '06' AS NAME, 0 AS count1
UNION
SELECT '09' AS NAME, 0 AS count1
UNION
SELECT '12' AS NAME, 0 AS count1
UNION
SELECT '15' AS NAME, 0 AS count1
UNION
SELECT '18' AS NAME, 0 AS count1
UNION
SELECT '21' AS NAME, 0 AS count1
) t1
ON t.NAME = t1.NAME
) t

本片完结!

mysql 查询当日数据

在本次大屏项目的开发过程中, 我主要用 java 写后端接口,为大屏提供数据,这里不写接口的设计,直接总结写 sql 语句的一些心得吧。

需求:

在页面需要统计功能的时候,可能需要展示当天、本年,本季度、本月、本周的数据,当数据量多了之后,查询效率和如何写 sql 语句实现都是需要考虑的问题,下面我就以最简单的查当日数据做一个简单的分析与总结

  1. 写法一:
1
2
3
4
5
6
7
SELECT
*
FROM
表名
WHERE
regid = 'xxxx'
AND TO_DAYS( createtime ) = TO_DAYS( now() );
  1. 写法二:
1
2
3
4
5
6
7
8
SELECT
*
FROM
表名
WHERE
regid = 'xxxx'
AND createtime >= '2019-10-27 00:00:00'
AND createtime < '2019-10-28 00:00:00'

分析:

写法一和写法二,经过我的实际测试,在没有加索引的情况下,查询效率是差不多的,我测试的表有 170 万条数据,每天还在大量的新增数据,在本地查询数据是 8 秒多,这样的查询速度肯定是不能忍受的;mysql慢
在给 regid 字段和 createtime 加了索引后,查询数据有了天与地的巨大差别,直接上图:
mysql快

总结:

在数据量超过 10w 条以后,通过实际检验,在查询数据库的过程中就不建议使用to_days()这样的数据量内置函数了,这样会导致内部数据大量的复制计算,最后才去做比较,这样性能消耗太大了,能直接用程序去计算,然 sql 查询语句只做最简单的大于,小于,等于这样的比较就好了,这样效率能达到比较好的结果。
同理查询当年数据,查询当月数据,查询当前季度,查询本周数据都是这么个道理,如何写相关的 sql 语句,参考博客

特别说明:

因为我是使用 Java 开发后端接口,所以直接使用mybatis plus一把梭哈了,简单高效!

1
2
3
4
5
6
		// 获取一个时间,并格式化
Date datetime = (param.getInputTime() == null || param.getInputTime() == "") ? new Date() : DateUtils.parseDate(param.getInputTime());
QueryWrapper<User> queryWrapper = new QueryWrapper<>();//创建一个查询构造器
// 不需要查询所有字段,所以只需要我需要的字段。
queryWrapper.select("name", "createtime" ).eq("streetname", param.getStreetName()).ge("createtime", DateUtils.getMonthBeginTime(datetime)).lt("createtime", DateUtils.getMonthEndTime(datetime)).orderByDesc("createtime");
List<User> selectList = rxajDao.selectList(queryWrapper); //拿到数据

DateUtils.getMonthBeginTime()这个写的一个静态工具类,只需要传入一个时间,就自动得到这个月的开始时间,DateUtils.getMonthEndTime()获取本月的结束时间,同理可以直接写获取当天开始时间和当天结束时间的方法,去查询当日的所有数据,这个只需要一个 java 的时间工具类就可以了,这个在网上找一大把这里就不推荐了,找到后,自己适当的改改一般没啥大问题;

mysql 常用时间类的内置函数:

函数 说明 示例语句 结果
curdate() 获取当天的日期 yyyy-mm-dd select curdate(); 2019-11-15
curtime() 获取到当前时间点,精确到秒,HH:mm:ss select curtime(); 11:33:44
now() 获取当前时间 yyyy-mm-dd HH:mm:ss select now(); 2019-11-15 11:35:05
unix_timestamp() 时间戳 select unix_timestamp(now()) 1573789055
from_unixtime() 将时间戳转为时间 select from_unixtime(1573788997); 2019-11-15 11:36:37
year() 获取年份 select year(now()); 2019
week() 获取本年的第几周 select week(now()) 45;表示今天是 2019 年的第 45 周
hour() 获取小时数 select hour(curtime()) 11
minute() 获取分钟数 select minute(curtime()) 44,代表现在是 44 分钟
monthname() 获取月份英文名 select monthname(now()); November
month() 获取月份数 select month(now()); 11
date_format(时间,格式) 格式化时间 select date_format(now(),”%Y-%m-%d %H:%i”); 2019-11-15 11:47 获取到分钟

关于大屏项目中分辨率和高宽比的总结

前言:

最近做第一次大屏项目,虽然我是写后端,但是前端和整个项目也是紧密相连的,项目组因为客户显示的大屏分辨率和设计图的一些问题浪费了一些不必要的时间。所以在这里记录一下;

问题:

情况说明:客户现场的大屏幕是由一般二十几寸的 1920 * 1080 分辨率的小屏幕,由 5 x 3 拼接成的一个大屏幕,我们错误的是按照 1920 *5 :1080 * 3 这样的分辨率去设计了第一版 UI,发现连内容都显示不完整,大小比例都严重不协调。导致前端 UI 重做,浪费的大量的人力物力。

屏幕高宽比非常重要

分析:

去详细了解了关于拼接的大屏幕分辨率,高宽比一些基本的常识,原来 15 个 1920 * 1080 的显示器拼接的大屏最后显示的还是 1920 *1080 的分辨率显示,只是高宽比原来更大了,高宽比也变成了 80:27,单个的小显示器是 16:9 的宽高比。从理论上讲,是可以实现 1920 * 5 : 1080 * 3 的分辨率的,这样电脑的显卡也不支持啊,是不是?这个是由大屏的拼接技术决定的,而目前的大屏还是逻辑分辨率(1920 * 1080 ),在大屏幕上只是同比例放大了而已,由于拼接后的大屏高宽比和电脑显示器的不一致,会导致投放到大屏上的页面一定的拉伸和压缩;
1
2

处理方案:

解决办法:目前只能以 1920 * 1080 的分辨率去设计页面,页面的大小按照客户现场的大屏高宽比(16 * 5 :9 * 3)去设计,这样能达到最好的显示效果;

最后强调: 屏幕高宽比非常重要!屏幕高宽比非常重要!屏幕高宽比非常重要!

_参考博客_:

http://www.woshipm.com/ucd/198774.html > https://blog.csdn.net/qq_42061692/article/details/85566174

不知不觉服务器都已经买了一年了,服务器的 SSL 证书也要更新了,这里做一个记录

服务器配置:

  1. 系统 windows server 2012
  2. IIS7

证书申请:

  1. 域名是托管在某良心云的,所以通过良心云可以免费申请 SSL 证书,申请 SSL 链接
  2. 下载 SSL 证书获取 IIS 文件的文件,这里面的文件夹是需要的,其他的按需获取
    SSL
  3. 上传到服务器桌面

服务器更新 SSL 证书流程:

  1. 打开 IIS 服务器管理器,双击服务器名称、双击服务器证书1
  2. 点击导入2
  3. 导入 SSL 证书(第二项密码是 IIS 文件夹内 keystorePass.txt 文件的内容)3
  4. 网站绑定证书3
  5. 443 端口绑定证书56

查看效果:

如图所示,网站 SSL 证书更新成功

网站SSL证书更新成功

指令 含义 备注
mkdir soft 在当前目录建一个 soft 文件夹
cd soft/ 打开这个文件夹
ll 查看当前文件夹内的所有文件(包含所有文件夹)
rz 上传文件到当前目录中
tar-zxvf 文件名.后缀 解压文件
./configure – prefix=/usr/local/nginx 执行当前目录的./configure命令, prefix=/usr/local/nginx 表示安装到这个目录中去
make 执行编译
make install 命令进行安装
more config.conf 查看 config.conf 文件

1
2
3
4
5
6
/usr/local/nginx/sbin/nginx -c  /usr/loca/nginx/conf/nginx.conf

// 查看是是否启动成功
ps -ef | grep nginx


2019 年 9 月 13 日,过了一个猿宵节,花了一天多增加了一个日志页面,在本博客的左边心情栏进入。

前言

因为看到大神SaltyLeo的文章,觉得 3D 滚动的随笔页面还不错,就打算自己写一个,这个功能在 github 上也有源码,但是我在使用的过程中发现,这个数据源是写了一个 js 文件,以提供静态的 json 数据。于是我就想能够自己动态添加就好了,于是自己写了一个后端程序,后端管理日志的页面,然后这个页面能够动态获取 api 的数据。实现了在随处写写心情、日志的功能。下面写写实现的过程。

技术栈

  • 后端:提供 api,提供增删改查的功能

    1. .net WebAPI ; framework4.6
    2. sqlsugar:充当 ORM 连接数据库
    3. mysql 5.7.27
    4. swagger
  • 后端管理页面:对数据进行增删改查的操作

    1. html + css + js
    2. layui ;版本信息:2.5.5
    3. ajax
  • 日志页面

  • 实用工具

    1. vs2017
    2. vs code
    3. Navicat Premium
    4. chrome
  • 部署环境

    • 1C2G1M 服务器(Windows)
    • Nginx
    • node.js + git 部署

后端提供 API

后端使用了.net WebApi 的 MVC 的分层模式,分别是逻辑层,数据层,控制器,我再加了一个公共方法类的 Common 层,方便自己维护,或者以后添加新功能。创建项目很简单,这里不再赘述,着重讲使用sqlsugar的一些心得,迫于在.net 中使用 EF 太庞大,虽然使用起来很方便,然而我需要的功能不要难么多,所以我选择了比较精小强悍的sqlsugar,性能也不错,使用也方便。sqlsugar 官网有很详尽的文档可以参考。

  1. 引用:在引用sqlsugar的时候请注意本地.net framework 版本相对应,引用方法:在类库中右击引用,选择 管理 NugGet 程序包 如图所示:引用sqlsugar

  2. 建立连接数据库上下文,可以直接参考官网的代码:

    1
    2
    3
    4
    5
    6
    7
    8
    SqlSugarClient db = new SqlSugarClient(
    new ConnectionConfig()
    {
    ConnectionString = "server=.;uid=sa;pwd=@jhl85661501;database=SqlSugar4XTest",
    DbType = DbType.SqlServer,//设置数据库类型
    IsAutoCloseConnection = true,//自动释放数据务,如果存在事务,在事务结束后释放
    InitKeyType = InitKeyType.Attribute //从实体特性中读取主键自增列信息
    });

    但我为了让后期有扩展和可维护的空间,我专门为连接上下文的类进行了简单封装处理,连接数据库的字符串写在网站的we.config文件中;

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    public  class DBContextHelper
    {
    // 读取数据库连接字符串
    internal static string DbConnectionString = ConfigurationManager.ConnectionStrings["DefaultConnection"].ConnectionString;
    internal static DbType DbType = DbType.MySql;

    public static SqlSugarClient CurrentDbContext
    {
    get
    {
    return DbContextRepository.DbContext;
    }
    }

    public static SimpleClient SimpleContext
    {
    get
    {
    return DbContextRepository.SimpleContext;
    }
    }

    private static DBContextRepository DbContextRepository
    {
    get
    {
    return new DBContextRepository(DbType, DbConnectionString);
    }
    }
  3. 使用连接上下文:在具体写逻辑的时候可以看sqlsugar官网的 demo,使用 linq 或者 lambda 样式写都没问题,随你的便(开心就好 😂)

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
     // 在一个类中先定义db
    private SqlSugarClient db = DBContextHelper.CurrentDbContext;
    public ResultModel GetMoodList()
    {
    var list = db.Queryable<log>().Where(t => t.isdelete == false).OrderBy("createtime desc").ToList();
    var data = list.MapToList<log, logDto>();
    ResultModel response = new ResultModel();
    response.data = data;
    return response;
    }
  4. 使用接口管理工具 Swagger 进行 api 的测试管理,也是通过 NUgget 管理工具直接引入项目中,就可以直接打开熟悉的 api 管理页面了。swagger

日志管理界面

日志管理界面,使用的是layui的表格(包含分页功能)、form,弹出层等组建,官网的教程写的很详细,这里就不贴代码了。主要想说的是,因为 layui 动态表格分页功能是GET请求的方式,而且对返回的数据格式、字段有一定要求,比如code=0等,这些,需要注意。我在这里花费了比较大量的时间;因为个人需要的功能比较单一,就没有封装Ajax请求后端的方法,就是用了原生的方法,这里使用的比较多的坑点。始终相信:兵来将挡,水来土掩,总会解决的。

给一张效果图:

后端管理界面

日志页面

这里只需要去GitHub 下载源码,引入相应的jscss文件,加载好数据,就能够有 3D 翻转的炫酷效果,当然,因为原生的是加载quotes.js文件中的静态数据,而我是需要获取 api 的数据,所以进行了一番魔改,style.css文件也相应的改了一点,但是改动不多。

这里贴上效果图:

效果图

这里贴上主要的代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
<!DOCTYPE html>
<html>
<head>
<title>FuJiaTian | 日志</title>
<meta charset="utf-8" />
<meta
name="viewport"
content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no, minimal-ui"
/>
<link
href="https://fonts.googleapis.com/css?family=Play:400,700"
rel="stylesheet"
type="text/css"
/>
<link rel="stylesheet" href="css/style.css" />
</head>

<body>
<section id="info">
<header>
<hgroup>
<h1>FuJiaTian</h1>
<h2>愿这里是福家田园</h2>
</hgroup>
<a target="_blank" href="https://www.fujiatian.com">田园野望者</a>
</header>
<aside>
<p>
Quotes:
<a href="http://www.fujiatian.com/" target="_blank"
>www.fujiatian.com</a
>
</p>
</aside>
</section>
<section class="quotes"></section>
<script src="js/jquery.min.js"></script>
<script src="js/foldscroll.js"></script>
<script src="js/quotes.js"></script>
<script type="text/javascript">
$(function() {
var ua = navigator.userAgent;

var ipad = ua.match(/(iPad).*OS\s([\d_]+)/),
isIphone = !ipad && ua.match(/(iPhone\sOS)\s([\d_]+)/),
isAndroid = ua.match(/(Android)\s+([\d.]+)/),
isMobile = isIphone || isAndroid;

//判断

if (isMobile) {
$("#info").css("display", "none");
}
$.ajax({
//请求方式
type: "GET",
//请求的媒体类型
contentType: "application/json;charset=UTF-8",
//请求地址
url: "你的api接口地址",
//数据,json字符串
// data: JSON.stringify(list),
//请求成功
success: function(res) {
getFoldscroll(res.data);
},

//请求失败,包含具体的错误信息

error: function(e) {
getFoldscroll(quotes);
}
});
});
// Call the foldscroll plugin
function getFoldscroll(data) {
var limit = 15;
var $container = $(".quotes");
for (var i = 0, n = Math.min(limit, data.length); i < n; i++) {
$container.append(
"<article>" +
"<p>" +
data[i].quote +
"</p>" +
"<em>" +
data[i].author +
"</em> <br />" +
"<cite>" +
data[i].createtime +
"</cite>" +
"</article>"
);
$container.foldscroll({
perspective: 900,
margin: "220px"
});
}
}
</script>
</body>
</html>

总结与待解决的问题

通过这次自己做小项目,也发现了自己的一些问题,比如form表单的请求方式(如actionmethod都不是很熟悉,也算是自己查漏补缺了。目前也只是能够使用的阶段,还没到完成的地步。希望共勉吧

  1. .net WebApi前后端分离跨域问题,但是这个问题通过某度google搜索,已经暂时解决了,解决办法是在WebApiConfig.cs文件中添加一下代码config.EnableCors(new EnableCorsAttribute("*", "*", "*"));,如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    public static class WebApiConfig
    {
    public static void Register(HttpConfiguration config)
    {
    // Web API 配置和服务
    // Web API 路由
    config.MapHttpAttributeRoutes();
    // 解决跨域问题
    config.EnableCors(new EnableCorsAttribute("*", "*", "*"));
    config.Routes.MapHttpRoute(
    name: "DefaultApi",
    routeTemplate: "api/{controller}/{action}/{id}",
    defaults: new { id = RouteParameter.Optional }
    );

    }
    }
  2. 未解决的神奇 Bug:Failed to load resource: the server responded with a status of 401 (Unauthorized),现在在IIS服务器上都没解决,但是我另辟蹊径在nginx部署上了代码。没有这个问题。

    bug

  3. 不知道是服务器原因,还是.net代码的问题,或者是form表单post请求的问题,返回的时候导致会出现服务器错误的问题,但是数据已经正确提交到数据库了(目前已经满足了个人需求了)。

  4. .net WebApi返回的时间带大写字母T的问题,还没解决,网上查过的方法(修改WebApiConfig.cs)已经尝试过了,不管用。

  5. (完)

序言

因为本博客使用的是 hexo 框架,使用的 valine 无后端评论系统,技术支持是leancloud,今日,leancloud官方发了邮件,说从 10 月 1 号开始,将对没绑定域名的应用暂停提供服务,所以本人就本着相应国家号召,做合法的好公民的初心,积极营造健康,开放的互联网环境,分享自己在leancloud绑定域名的操作步骤,为了自己的博客系统能够正常的发展下去。

邮件

LeanCloud 绑定自定义域名

  • 通过官方网站登陆;
  • 进入自己的应用点击设置>域名绑定,自定义一个二级域名,在云引擎域名这里填入你自己自定义的二级域名,按下图填入。
    绑定域名第一步

添加域名 CNAME 解析

在 leancloud 应用中添加域名后,还需要在自己的域名服务商那里添加CNAME解析,下图在腾讯云平台的操作图。
域名解析

最后效果

最后直接上图吧,域名需要备案,域名备案环节不在本篇的讨论范围。
效果

0%